L'IA est là. Mais est-elle sans danger pour les étudiants ?
Un décret présidentiel, une multitude d’avantages éducatifs et l’omniprésence des outils d’IA sont autant de facteurs qui favorisent une utilisation accrue dans les écoles.
Mais lorsque les étudiants se tournent vers l’IA pour obtenir des conseils et de la compagnie, les risques s’étendent bien au-delà de la tricherie et de l’intégrité académique.
La sécurité et la surveillance proactives de l’IA doivent être le fondement de la stratégie d’IA de toute école.
Risques liés à l'accès non surveillé des étudiants à l'IA
Il ne s'agit pas seulement de tricherie et d'intégrité académique. Les risques liés à l'utilisation de l'IA par les étudiants peuvent être mortels.
Près de 3/4 des adolescents déclarent utiliser des chatbots IA comme compagnons, et plus de la moitié le font régulièrement.
L'IA est par nature encline à la flagornerie et est plus susceptible d'accepter et d'encourager que de dissuader. Malheureusement, cela peut inclure l'incitation à la violence et à l'automutilation, ce qui peut conduire à une escalade plus rapide des situations dangereuses.
Il a été démontré que si ces conversations ne sont pas surveillées, elles ignorent rapidement les garde-fous et se transforment en conseils dangereux et mortels.
L’automutilation, le suicide, la violence, les deepfakes et la sextorsion peuvent tous être les conséquences d’une activité d’IA non surveillée.
Les garde-fous de l'IA native ne suffisent pas
Les élèves sont habiles à contourner les protections. Les écoles ne peuvent pas compter uniquement sur les garde-fous intégrés à l'IA.
ChatGPT, Gemini, Co-Pilot, CharacterAI… Tous les acteurs majeurs de l’IA construisent et améliorent activement des garde-fous au sein de leurs systèmes.
Mais nous savons que les enfants essaieront – et réussiront – à contourner les barrières de sécurité.
De plus, pour garantir la sécurité et une utilisation appropriée, les écoles doivent garantir une intervention précoce sur les invites préoccupantes (quelle que soit la réponse de l’IA).
Que se passe-t-il avec l'IA dans les écoles aujourd'hui ?
Au cours de l’année dernière, nous avons constaté plus de 10 000 incidents sur les sites d’IA, même si l’IA est largement bloquée.
Blocage ou autorisation de l'IA
Aujourd'hui, la plupart des établissements scolaires (85%) bloquent encore l'accès à l'IA générative pour la plupart des élèves. Cependant, la tendance évolue progressivement vers l'ouverture de l'accès à l'IA pour certaines applications et certains groupes d'élèves.
Même lorsque l'IA est bloquée, les discussions pilotées par l'IA dans d'autres applications peuvent être introduites sans vérification et peuvent entraîner des risques.
D'où viennent les alertes IA
Character.AI ainsi que les meilleures plateformes d'IA génèrent la majorité des alertes de niveau 3 (élevé) et 4 (imminent) dans Lightspeed Alert.
Mais des centaines d'autres outils d'IA et de chats IA intégrés à d'autres outils présentent les mêmes risques. L'année dernière, des alertes ont été émises pour plus de 130 domaines différents liés à l'IA.
Exemples d'alertes IA
Les alertes que nous voyons démontrent que les étudiants utilisent l’IA pour partager leurs problèmes de santé mentale et pour discuter de l’automutilation et de la violence.
Sans alerte, ces discussions IA sont souvent totalement non surveillées.
Ces activités préoccupantes doivent être immédiatement signalées aux responsables de la sécurité scolaire et des services aux étudiants.
Lightspeed Alert peut aider avec l'IA
Surveillance et sécurité dans les écoles
Alert ajoute une surveillance proactive et des alertes en temps réel aux interactions de l'IA
Avec Lightspeed Alert, vous n'avez pas besoin de compter sur des garde-fous ou des journaux d'IA natifs.
Les écoles reçoivent des alertes en temps réel sur les activités préoccupantes où qu'elles se produisent, y compris ChatGPT, Gemini, Co-Pilot et d'autres outils et fonctionnalités d'IA générative.
- Un étudiant utilise l'IA générative
- Types d'étudiants concernant l'invite
- L'alerte génère un incident en temps réel et avertit le personnel approprié (y compris notre examen humain, si activé)
- Quelle que soit l’efficacité de la redirection de l’IA ou des garde-fous de sécurité, une intervention précoce peut prévenir une tragédie.
Découvrez comment votre école se classe grâce à une évaluation de la sécurité
Une évaluation de sécurité gratuite de 30 jours fournira une analyse complète du profil de sécurité de vos écoles, y compris l'utilisation risquée de l'IA par les élèves.
Voici comment commencer :
1. Remplissez le formulaire pour lancer le processus. Rencontrez nos experts pour commencer votre évaluation en toute simplicité.
2. Exécutez Alert en arrière-plan pendant 30 jours pour collecter des données sur votre culture de sécurité et vos points de risque. (Même si l'alerte est exécutée en arrière-plan, nous vous contacterons en cas de situation imminente !)
3. Obtenez une évaluation de sécurité complète, mettant en évidence les alertes, les sites à risque et les zones de préoccupation en matière de sécurité avec l'IA et d'autres situations.
4. Partagez ces données avec les autres chefs d'établissement afin de favoriser des améliorations significatives en matière de sécurité.
Demandez une évaluation de sécurité aujourd'hui
Faites de la sécurité un élément clé de votre stratégie d'IA
Assurer une utilisation SMART (sûre, gérée, appropriée, signalée et transparente) de l'IA
Vétérinaire
Examinez les applications d'IA (et les applications non IA dotées de fonctionnalités d'IA) en termes de confidentialité, de sécurité, de protection et d'impact.Aperçu de Lightspeed)
Bloquer/Autoriser
Bloquez les applications ou catégories d'IA non approuvées. Autorisez les applications approuvées par groupe ou par catégorie, selon le cas.Filtre Lightspeed)
Rapport
Rédiger un rapport sur l'utilisation des applications d'IA par utilisateur, classe, école ou groupe et évaluer l'impact éducatif ou organisationnel.Aperçu de Lightspeed)
Détecter
Détectez l'utilisation de l'IA en classe en temps réel et informez les enseignants afin qu'ils puissent évaluer la validité de l'utilisation.Salle de classe Lightspeed)
Moniteur
Assurez une utilisation sûre de l’IA grâce à une surveillance continue, une évaluation des risques et des alertes en temps réel.Alerte Lightspeed)
SOURCES :
Faux ami (Centre de lutte contre la haine numérique)
Base de données des incidents d'IA
Sexting avec Gemini (The Atlantic)
Un compagnon IA lui a suggéré de tuer ses parents. Sa mère porte plainte (Washington Post)
Un chatbot a encouragé un adolescent à tuer ses parents à cause du temps passé devant un écran (BBC)
Un adolescent avait des pensées suicidaires. ChatGPT était l'ami à qui il s'est confié (NY Times)
