Antes do início do novo ano letivo, algumas empresas de tecnologia emitiram alertas preocupantes para educadores americanos que adotam a inteligência artificial em sala de aula: chatbots, disseram elas, poderiam colocar os alunos em perigo e levar à automutilação. A vigilância era fundamental. "Os riscos do uso de IA por estudantes podem ser literalmente fatais", alertou uma empresa. Outra observou: "A vida dos estudantes depende disso".“
O "isso" é o software que essas empresas vendem — ferramentas que usam inteligência artificial para analisar as conversas dos alunos com chatbots e alertar os adultos sobre possíveis perigos. Nos Estados Unidos, professores e administradores estão recorrendo cada vez mais a empresas como GoGuardian e Lightspeed Systems para o monitoramento em tempo real das conversas entre alunos e chatbots, de acordo com entrevistas com mais de uma dezena de educadores. O objetivo é detectar precocemente sinais de alerta de consequências graves, incluindo suicídios entre adolescentes.
“Durmo melhor sabendo que temos essa ferramenta para nossos alunos”, diz Ian Haight, diretor de sistemas e serviços de tecnologia das Escolas Públicas de Kalamazoo, em Michigan.