In vista del nuovo anno scolastico, alcune aziende tecnologiche hanno lanciato un cupo allarme agli insegnanti americani che adottavano l'intelligenza artificiale in classe: i chatbot, affermavano, potevano mettere in pericolo gli studenti e indurli all'autolesionismo. La vigilanza era fondamentale. "I rischi per gli studenti che usano l'intelligenza artificiale possono essere letteralmente mortali", ha ammonito un'azienda. Un'altra ha osservato: "La vita degli studenti dipende da questo".“
Il "tutto" è il software che queste aziende vendono: strumenti che utilizzano l'intelligenza artificiale per analizzare le conversazioni degli studenti con i chatbot e avvisare gli adulti di potenziali pericoli. Negli Stati Uniti, insegnanti e dirigenti scolastici si stanno rivolgendo sempre più ad aziende come GoGuardian e Lightspeed Systems per il monitoraggio in tempo reale delle conversazioni tra studenti e bot, secondo interviste con oltre una dozzina di educatori. L'obiettivo è individuare precocemente i segnali di allarme di conseguenze gravi, inclusi i suicidi tra adolescenti.
“"Dormo meglio sapendo che abbiamo questo strumento a disposizione dei nostri studenti", afferma Ian Haight, direttore dei sistemi e dei servizi tecnologici per le scuole pubbliche di Kalamazoo nel Michigan.