A IA já chegou. Mas será que ela é segura para os estudantes?
Uma ordem executiva presidencial, uma infinidade de benefícios educacionais e a onipresença das ferramentas de IA estão impulsionando o aumento do uso nas escolas.
Mas, à medida que os alunos recorrem à IA em busca de conselhos e companhia, os riscos vão muito além da trapaça e da integridade acadêmica.
A segurança e o monitoramento proativos da IA precisam ser a base da estratégia de IA de qualquer escola.
Riscos do acesso não monitorado à IA por alunos
Não se trata apenas de trapaça e integridade acadêmica. Os riscos do uso de IA por alunos podem ser literalmente fatais.
Quase 3/4 dos adolescentes relatam usar chatbots de IA como companheiros — mais da metade faz isso regularmente.
A IA, por natureza, é propensa à bajulação e tem mais probabilidade de concordar e encorajar do que dissuadir. Infelizmente, isso pode incluir o incentivo à ideação em torno da violência e da automutilação, o que pode levar a uma escalada mais rápida de situações perigosas.
Sem monitoramento, essas conversas rapidamente ignoram as proteções e se transformam em conselhos perigosos e mortais.
Automutilação, suicídio, violência, deepfakes e sextorsão podem ser resultados de atividades de IA não monitoradas.
As proteções nativas da IA não são suficientes
Os alunos são inteligentes em driblar proteções. As escolas não podem contar apenas com as proteções integradas da IA.
ChatGPT, Gemini, Co-Pilot, CharacterAI… Todos os principais players de IA estão ativamente construindo e aprimorando proteções dentro de seus sistemas.
Mas sabemos que as crianças tentarão — e conseguirão — escapar das grades de proteção.
Além disso, para garantir a segurança e o uso apropriado, as escolas precisam garantir intervenção precoce em avisos preocupantes (independentemente da resposta da IA).
O que está acontecendo com a IA nas escolas hoje
No ano passado, vimos mais de 10.000 incidentes em sites de IA, embora a IA seja amplamente bloqueada.
Bloqueio vs. Permissão de IA
Hoje, a maioria das escolas (85%) ainda bloqueia o uso da IA Generativa para a maioria dos alunos. Mas a tendência está gradualmente se movendo em direção à abertura do acesso à IA para alguns aplicativos e alguns grupos de alunos.
Mesmo quando a IA está bloqueada, chats controlados por IA em outros aplicativos podem ser introduzidos sem verificação e podem gerar riscos.
De onde vêm os alertas de IA
O Character.AI, juntamente com as principais plataformas de IA, está gerando a maioria dos alertas de nível 3 (alto) e 4 (iminente) no Lightspeed Alert.
Mas centenas de outras ferramentas de IA e chats de IA dentro de outras ferramentas apresentam os mesmos riscos. No último ano, alertas vieram de mais de 130 domínios diferentes relacionados à IA.
Exemplos de alertas de IA
Os alertas que vemos demonstram que os alunos estão usando IA para compartilhar preocupações com saúde mental e discutir automutilação e violência.
Sem o Alerta, esses chats de IA geralmente não são monitorados.
Essas atividades preocupantes precisam ser imediatamente comunicadas aos líderes de segurança escolar e serviços estudantis.
O Lightspeed Alert pode ajudar com IA
Monitoramento e Segurança nas Escolas
O Alert adiciona monitoramento proativo e alertas em tempo real às interações de IA
Com o Lightspeed Alert, você não precisa contar com guardrails ou logs de IA nativos.
As escolas recebem alertas em tempo real sobre atividades preocupantes onde quer que elas aconteçam, incluindo ChatGPT, Gemini, Co-Pilot e outras ferramentas e recursos de IA generativa.
- Aluno usa IA generativa
- Tipos de alunos em relação ao prompt
- O alerta gera um incidente em tempo real e notifica o pessoal apropriado (incluindo nossa Revisão Humana, se habilitada)
- Independentemente da eficácia do redirecionamento da IA ou das salvaguardas de segurança, a intervenção precoce pode prevenir tragédias
Veja como sua escola se sai em uma avaliação de segurança
Uma avaliação de segurança gratuita de 30 dias fornecerá uma análise abrangente do perfil de segurança em suas escolas, incluindo o uso arriscado de IA pelos alunos.
Veja como começar:
1. Preencha o formulário para iniciar o processo. Reúna-se com nossos especialistas para iniciar sua avaliação com facilidade.
2. Execute o Alerta em segundo plano por 30 dias, coletando dados sobre sua cultura de segurança e pontos de risco. (Mesmo que esteja em segundo plano, entraremos em contato com você em caso de emergência!)
3. Obtenha uma Avaliação de Segurança abrangente, destacando alertas, locais de risco e áreas de preocupação com a segurança com IA e outras situações.
4. Compartilhe os dados com outros líderes escolares para promover melhorias significativas na segurança.
Solicite uma avaliação de segurança hoje mesmo
Faça da segurança uma parte fundamental da sua estratégia de IA
Garantir o uso de IA SMART (seguro, gerenciado, apropriado, relatado e transparente)
Veterinário
Analise aplicativos de IA (e aplicativos não-IA com recursos de IA) para privacidade, segurança, proteções de segurança e impacto.Visão da velocidade da luz)
Bloquear/Permitir
Bloqueie aplicativos ou categorias de IA não aprovados. Permita aplicativos aprovados por grupo ou classificação, conforme apropriado.Filtro Lightspeed)
Relatório
Relatar o uso de aplicativos de IA por usuário, turma, escola ou grupo e avaliar o impacto educacional ou organizacional.Visão da velocidade da luz)
Detectar
Detecte o uso de IA em sala de aula em tempo real e notifique os professores para que eles possam avaliar a validade do uso.Sala de aula Lightspeed)
Monitor
Garanta o uso seguro da IA com monitoramento contínuo, avaliação de riscos e alertas em tempo real.Alerta de velocidade da luz)
