Septiembre es el Mes de la Prevención y Concientización sobre el Suicidio, y lately cada mes parece ser el mes de la concientización sobre la IA. Estas dos cosas se han unido de manera trágica, con historias recientes Sobre los compañeros de IA que fomentan la ideación suicida en los adolescentes.
Las herramientas GenAI se promocionan como asistentes, copilotos, mentores y útiles "amigos" para los estudiantes, siempre disponibles para responder preguntas, aumentar la confianza e incluso brindar apoyo emocional. En teoría, esto suena positivo. En la práctica, los riesgos son graves.
Los riesgos de los compañeros de IA
A diferencia de un profesor, un consejero o incluso un compañero, los compañeros de IA no saben cuándo detenerse. No reconocen las señales de advertencia. No señalan comportamientos problemáticos. En cambio, responden automáticamente, con tendencias aduladoras que animan cuando no deberían. Esto puede significar:
- Reforzar pensamientos dañinos Cuando un estudiante está luchando con la autolesión o la ideación suicida.
- Dar consejos inapropiados o inseguros sin contexto ni juicio.
- Creando dependencia de un “amigo” que no es real, dejando a los estudiantes aislados del apoyo humano.
Si no se supervisan, estas interacciones son invisibles para las escuelas. Un estudiante podría estar en una espiral de problemas sin que ningún adulto lo sepa.
Por qué es importante monitorear la IA en las escuelas
Ya hemos visto este patrón: cada nueva tecnología conlleva oportunidades y riesgos. YouTube ofreció a los estudiantes un sinfín de recursos de aprendizaje y distracciones. Las redes sociales les brindaron conexión, pero también ciberacoso y exposición a riesgos. En cada ocasión, las escuelas se adaptaron, incorporando visibilidad y controles.
La IA en las escuelas es simplemente la próxima frontera. La diferencia es que esta puede responder.
Por eso, monitorear la IA no es opcional. Las escuelas necesitan ver cómo los estudiantes usan las herramientas de IA, orientarlos hacia la seguridad y el uso productivo de la IA, e intervenir cuando la actividad indique un riesgo. Sin monitoreo, los distritos actúan a ciegas.
Esto es lo que sé sobre el uso de IA en las escuelas:
- La IA puede ser poderosa de maneras muy positivas; también es propenso al riesgo
- Las barandillas añadidas por las herramientas de IA son propenso a la elusión por estudiantes
- La IA no va a desaparecer, así que... Las escuelas necesitan implementar soluciones Para mantenerla segura, gestionada, apropiada, informada y transparente
Nuestro papel
En Lightspeed, llevamos más de 25 años ayudando a las escuelas a lograr este objetivo: impulsando la innovación y manteniendo la seguridad de los estudiantes. Desde el filtrado de YouTube hasta la monitorización de riesgos en redes sociales, siempre nos hemos adaptado a las nuevas tecnologías. La IA no es la excepción.
Ya estamos ayudando a los distritos a comprender cómo los estudiantes usan la IA (y cómo la abusan). Porque lo que está en juego es más importante que los resultados de las pruebas o la productividad. Se trata de vidas.
Más información
Hemos reunido datos y conocimientos únicos sobre cómo los estudiantes interactúan con la IA, qué riesgos estamos viendo y cómo pueden responder las escuelas. Puedes leer más aquí:
Como educadores y líderes tecnológicos, no podemos permitirnos ser pasivos en lo que respecta a la seguridad de la IA.
La innovación es real, pero también lo son los riesgos. Y la seguridad de los estudiantes es prioritaria.
