Setembro é o Mês de Prevenção e Conscientização sobre o Suicídio, e todo mês parece ser o mês de conscientização sobre IA. Essas duas coisas se uniram de maneiras trágicas, com histórias recentes sobre companheiros de IA incentivando ideação suicida em adolescentes.
As ferramentas GenAI são comercializadas como assistentes, copilotos, mentores e "amigos" prestativos para os alunos — sempre disponíveis para responder a perguntas, aumentar a confiança e até mesmo fornecer apoio emocional. Em teoria, isso parece positivo. Na prática, os riscos são sérios.
Os riscos dos companheiros de IA
Ao contrário de um professor, conselheiro ou mesmo um colega, os companheiros de IA não sabem quando parar. Eles não reconhecem sinais de alerta. Não sinalizam comportamentos problemáticos. Em vez disso, respondem no piloto automático, com tendências bajuladoras que incentivam quando não deveriam. Isso pode significar:
- Reforçando pensamentos prejudiciais quando um aluno está lutando contra automutilação ou ideação suicida.
- Dar conselhos inadequados ou inseguros sem contexto ou julgamento.
- Criar dependência de um “amigo” que não é real, deixando os alunos isolados do apoio humano.
Se não forem monitoradas, essas interações são invisíveis para as escolas. Um aluno pode estar em uma espiral descendente, e nenhum adulto jamais saberá.
Por que monitorar a IA nas escolas é importante
Já vimos esse padrão antes: toda nova tecnologia traz consigo oportunidades e riscos. O YouTube ofereceu aos alunos recursos de aprendizagem infinitos — e distrações infinitas. As mídias sociais lhes deram conexão — e também cyberbullying e exposição a danos. A cada vez, as escolas se adaptaram, aumentando a visibilidade e os controles.
A IA nas escolas é simplesmente a próxima fronteira. A diferença é que esta pode responder.
É por isso que monitorar a IA não é opcional. As escolas precisam observar como os alunos estão usando as ferramentas de IA, orientá-los para a segurança e o uso produtivo da IA e intervir quando a atividade sinalizar risco. Sem monitoramento, os distritos estão voando às cegas.
Aqui está o que eu sei sobre o uso de IA nas escolas:
- A IA pode ser poderosa de maneiras muito positivas; também é propenso a riscos
- Os guarda-corpos adicionados pelas ferramentas de IA são propenso a evasão por estudantes
- A IA não vai a lugar nenhum, então as escolas precisam implementar soluções para mantê-lo seguro, gerenciado, apropriado, relatado e transparente
Nosso papel
Na Lightspeed, passamos mais de 25 anos ajudando escolas a trilhar esse caminho: impulsionando a inovação e, ao mesmo tempo, mantendo os alunos seguros. Da filtragem do YouTube ao monitoramento de riscos nas mídias sociais, sempre nos adaptamos às novas tecnologias. Com a IA não é diferente.
Já estamos ajudando os distritos a entender como os alunos estão usando a IA — e como estão fazendo mau uso dela. Porque os riscos são maiores do que notas em testes ou produtividade. São vidas.
Saber mais
Reunimos dados e insights exclusivos sobre como os alunos estão interagindo com a IA, quais riscos estamos observando e como as escolas podem responder. Você pode ler mais aqui:
Como educadores e líderes em tecnologia, não podemos nos dar ao luxo de ser passivos em relação à segurança da IA.
A inovação é real, mas os riscos também. E a segurança dos alunos precisa vir em primeiro lugar.
