Septembre est le Mois de la prévention et de la sensibilisation au suicide, et lately semble être chaque mois le Mois de la sensibilisation à l'IA. Ces deux événements se sont malheureusement rencontrés. histoires récentes à propos des compagnons IA qui encouragent les idées suicidaires chez les adolescents.
Les outils GenAI sont présentés comme des assistants, des copilotes, des mentors et des « amis » utiles pour les étudiants, toujours disponibles pour répondre à leurs questions, renforcer leur confiance et même leur apporter un soutien émotionnel. En théorie, cela semble positif. En pratique, les risques sont importants.
Les risques des compagnons IA
Contrairement à un enseignant, un conseiller ou même un pair, les compagnons IA ne savent pas s'arrêter. Ils ne reconnaissent pas les signes avant-coureurs. Ils ne signalent pas les comportements problématiques. Au contraire, ils réagissent automatiquement, avec des tendances flagorneuses qui encouragent au lieu de le faire. Cela peut signifier :
- Renforcer les pensées nocives lorsqu’un élève est aux prises avec des comportements d’automutilation ou des idées suicidaires.
- Donner des conseils inappropriés ou dangereux sans contexte ni jugement.
- Créer une dépendance envers un « ami » qui n’est pas réel, laissant les étudiants isolés du soutien humain.
Sans surveillance, ces interactions sont invisibles pour les écoles. Un élève pourrait être pris dans une spirale infernale, sans qu'aucun adulte ne s'en aperçoive.
Pourquoi la surveillance est importante
Nous avons déjà observé ce schéma : chaque nouvelle technologie apporte des opportunités et des risques. YouTube a offert aux élèves des ressources d'apprentissage infinies et des distractions infinies. Les réseaux sociaux leur ont permis de se connecter, mais aussi de lutter contre le cyberharcèlement et de s'exposer à des dangers. À chaque fois, les écoles se sont adaptées en renforçant la visibilité et les contrôles.
L'IA est tout simplement la prochaine frontière. La différence, c'est que celle-ci peut répondre.
C'est pourquoi la surveillance n'est pas facultative. Les écoles doivent observer comment les élèves utilisent les outils d'IA, les guider vers une utilisation sûre et productive, et intervenir lorsque l'activité signale un risque. Sans surveillance, les districts scolaires agissent à l'aveuglette.
Voici ce que je sais :
- L'IA peut être puissante de manière très positive ; c'est aussi sujet au risque
- Les garde-fous ajoutés par les outils d'IA sont sujet au contournement par les étudiants
- L'IA ne va nulle part, donc les écoles doivent mettre en œuvre des solutions pour le garder sûr, géré, approprié, signalé et transparent
Notre rôle
Chez Lightspeed, nous accompagnons les écoles depuis plus de 25 ans dans cette démarche : favoriser l'innovation tout en assurant la sécurité des élèves. Du filtrage YouTube à la surveillance des risques liés aux réseaux sociaux, nous nous sommes toujours adaptés aux nouvelles technologies. L'IA ne fait pas exception.
Nous aidons déjà les districts scolaires à comprendre comment les élèves utilisent l'IA, et comment ils en abusent. Car les enjeux sont plus importants que les résultats aux examens ou la productivité. Il s'agit de vies humaines.
Apprendre encore plus
Nous avons rassemblé des données et des informations uniques sur la manière dont les étudiants interagissent avec l'IA, les risques que nous constatons et la manière dont les écoles peuvent réagir. Vous pouvez en lire plus ici :
En tant qu’éducateurs et leaders technologiques, nous ne pouvons pas nous permettre d’être passifs face à l’IA.
L'innovation est réelle, mais les risques le sont tout autant. Et la sécurité des étudiants doit être une priorité.
