September är månaden för självmordsförebyggande och medvetenhet, och varje månad verkar vara en månad för medvetenhet om AI. Dessa två saker har sammanfallit på tragiska sätt, med senaste berättelserna om AI-följeslagare som uppmuntrar självmordstankar hos tonåringar.
GenAI-verktyg marknadsförs som assistenter, andrepiloter, mentorer och hjälpsamma "vänner" för studenter – alltid tillgängliga för att svara på frågor, stärka självförtroendet och till och med ge emotionellt stöd. I teorin låter det positivt. I praktiken är riskerna allvarliga.
Riskerna med AI-följeslagare
Till skillnad från en lärare, kurator eller ens en jämnårig vet inte AI-medarbetare när de ska sluta. De känner inte igen varningstecken. De flaggar inte för besvärande beteende. Istället reagerar de på autopilot, med sykofantiska tendenser som uppmuntrar när de inte borde. Det kan innebära:
- Förstärka skadliga tankar när en elev kämpar med självskadebeteende eller självmordstankar.
- Att ge olämpliga eller osäkra råd utan sammanhang eller bedömning.
- Att skapa beroende av en "vän" som inte är verklig, lämnar eleverna isolerade från mänskligt stöd.
Om dessa interaktioner lämnas oövervakade är de osynliga för skolan. En elev kan vara i en spiral, och ingen vuxen skulle någonsin få veta det.
Varför det är viktigt att övervaka AI i skolor
Vi har sett det här mönstret förut: varje ny teknik medför både möjligheter och risker. YouTube gav eleverna oändliga inlärningsresurser – och oändliga distraktioner. Sociala medier gav dem kontakt – men även nätmobbning och exponering för skada. Varje gång anpassade sig skolorna genom att öka synligheten och kontrollerna.
AI i skolor är helt enkelt nästa gräns. Skillnaden är att den här kan svara.
Därför är det inte valfritt att övervaka AI. Skolor behöver se hur elever använder AI-verktyg, vägleda dem mot AI-säkerhet och produktiv användning, och ingripa när aktivitet signalerar risk. Utan övervakning går skoldistrikten i blindo.
Här är vad jag vet om användningen av AI i skolor:
- AI kan vara kraftfull på mycket positiva sätt; det är också benägen att riskera
- Skyddsräcken som lagts till av AI-verktyg är benägen att kringgås av studenter
- AI kommer ingenstans, så skolorna behöver implementera lösningar för att hålla det säkert, hanterat, lämpligt, rapporterat och transparent
Vår roll
På Lightspeed har vi i mer än 25 år hjälpt skolor att följa denna linje: att stärka innovation samtidigt som eleverna skyddas. Från att filtrera YouTube till att övervaka risker på sociala medier har vi alltid anpassat oss i takt med ny teknik. AI är inget undantag.
Vi hjälper redan skoldistrikt att förstå hur elever använder AI – och missbrukar den. För insatserna är högre än testresultat eller produktivitet. Det handlar om liv.
Läs mer
Vi har sammanställt unik data och insikter om hur elever interagerar med AI, vilka risker vi ser och hur skolor kan reagera. Du kan läsa mer här:
Som utbildare och teknikledare har vi inte råd att vara passiva när det gäller AI-säkerhet.
Innovationen är verklig, men det är riskerna också. Och elevernas säkerhet måste komma först.
