AI가 이미 우리 앞에 있습니다. 하지만 AI는 학생들에게 안전할까요?
대통령 행정 명령, 다양한 교육적 혜택, AI 도구의 보편성으로 인해 학교에서 AI 사용이 증가하고 있습니다.
하지만 학생들이 조언과 교제를 위해 AI에 의지하면서 위험은 부정행위와 학문적 성실성을 훨씬 넘어 확대되었습니다.
사전 예방적 AI 안전 및 모니터링은 모든 학교의 AI 전략의 기반이 되어야 합니다.
학생들의 모니터링되지 않는 AI 접근의 위험
부정행위나 학문적 성실성 문제만은 아닙니다. 학생들이 AI를 사용하는 것은 말 그대로 치명적일 수 있습니다.
10대 청소년의 4분의 3이 AI 챗봇을 친구로 사용한다고 보고했으며, 절반 이상이 정기적으로 그렇게 한다고 답했습니다.
AI는 본질적으로 아첨하는 경향이 있으며, 만류하기보다는 동의하고 장려할 가능성이 더 높습니다. 안타깝게도, 여기에는 폭력과 자해에 대한 생각을 조장하는 것도 포함될 수 있으며, 이는 위험한 상황의 급속한 악화로 이어질 수 있습니다.
감시되지 않은 이런 대화는 금세 보호장치를 무시하고 위험하고 치명적인 조언으로 전락하는 것으로 나타났습니다.
자해, 자살, 폭력, 딥페이크, 성적 착취는 모두 모니터링되지 않는 AI 활동의 결과일 수 있습니다.
네이티브 AI 가드레일만으로는 충분하지 않습니다
학생들은 보안 장치를 피하는 데 매우 능숙합니다. 학교는 내장된 AI 보호 장치만으로는 대처할 수 없습니다.
ChatGPT, Gemini, Co-Pilot, CharacterAI… 모든 주요 AI 기업은 자사 시스템 내에서 가드레일을 적극적으로 구축하고 강화하고 있습니다.
하지만 우리는 아이들이 난간을 피하려고 시도하고 성공할 거라는 걸 알고 있습니다.
또한, 안전성과 적절한 사용을 보장하기 위해 학교에서는 AI 대응 여부와 관계없이 우려되는 프롬프트에 조기에 개입해야 합니다.
오늘날 학교에서 AI가 어떻게 활용되고 있는가
작년에는 AI가 광범위하게 차단되어 있음에도 불구하고 AI 사이트에서 10,000건 이상의 사고가 발생했습니다.
AI 차단 vs 허용
오늘날 대부분의 학교(85%)는 여전히 대부분의 학생들에게 생성 AI 사용을 차단하고 있습니다. 하지만 이러한 추세는 점차 일부 앱과 일부 학생 집단에게 AI 접근을 허용하는 방향으로 바뀌고 있습니다.
AI가 차단된 경우에도 다른 앱에 AI 기반 채팅을 검토 없이 도입할 수 있으며 위험이 발생할 수 있습니다.
AI 알림은 어디에서 오는가
Character.AI는 최고의 AI 플랫폼과 함께 Lightspeed Alert에서 대부분의 레벨 3(높음) 및 레벨 4(임박) 경고를 생성합니다.
하지만 수백 개의 다른 AI 도구와 그 도구 내의 AI 채팅 역시 동일한 위험을 초래합니다. 지난 한 해 동안 130개가 넘는 다양한 AI 관련 도메인에서 경고가 접수되었습니다.
AI 알림 예시
우리가 확인한 알림은 학생들이 AI를 사용하여 정신 건강 문제를 공유하고 자해와 폭력에 대해 논의하고 있음을 보여줍니다.
알림 기능이 없으면 이러한 AI 채팅은 전혀 모니터링되지 않는 경우가 많습니다.
이러한 우려스러운 활동은 학교 안전 및 학생 서비스 담당자에게 즉시 알려야 합니다.
Lightspeed Alert는 AI에 도움이 될 수 있습니다
학교의 모니터링 및 안전
Alert는 AI 상호 작용에 사전 예방적 모니터링과 실시간 알림을 추가합니다.
Lightspeed Alert를 사용하면 기본 AI 가드레일이나 로그에 의존할 필요가 없습니다.
학교는 ChatGPT, Gemini, Co-Pilot 및 기타 생성적 AI 도구와 기능을 포함하여 문제가 발생하는 모든 곳에서 관련 활동에 대한 실시간 알림을 받습니다.
- 학생이 생성형 AI를 활용한다
- 프롬프트와 관련된 학생 유형
- 알림은 실시간 사고를 생성하고 적절한 담당자(활성화된 경우 인적 검토 포함)에게 알립니다.
- AI 리디렉션이나 안전 가드레일의 효과와 관계없이 조기 개입을 통해 비극을 예방할 수 있습니다.
안전 평가를 통해 학교의 수준을 확인하세요
무료 30일 안전 평가를 통해 위험한 학생 AI 사용을 포함하여 학교 전반의 안전 프로필에 대한 포괄적인 분석을 제공합니다.
시작하는 방법은 다음과 같습니다.
1. 양식을 작성하여 절차를 시작하세요. 전문가와 상담하여 간편하게 평가를 시작하세요.
2. 30일 동안 백그라운드에서 알림을 실행하여 안전 문화 및 위험 지점에 대한 데이터를 수집합니다. (백그라운드에서 실행 중이더라도 긴급 상황 발생 시 연락드립니다!)
3. AI 및 기타 상황과 관련된 경고, 위험 지역, 안전 문제가 있는 영역을 강조하여 포괄적인 안전 평가를 받으세요.
4. 다른 학교 지도자들과 데이터를 공유하여 의미 있는 안전 개선을 추진하세요.
오늘 안전 평가를 요청하세요
안전을 AI 전략의 핵심 요소로 삼으세요
SMART(안전, 관리, 적절, 보고, 투명성) AI 사용을 보장합니다.
수의사
개인정보 보호, 보안, 안전 가드레일 및 영향을 위해 AI 앱(및 AI 기능이 있는 비 AI 앱)을 검토하세요.광속 통찰력)
차단/허용
승인되지 않은 앱이나 AI 카테고리를 차단합니다. 그룹 또는 등급별로 승인된 앱을 허용합니다. (Lightspeed 필터)
보고서
사용자, 학급, 학교 또는 그룹별로 AI 앱 사용에 대한 보고서를 작성하고 교육적 또는 조직적 영향을 평가합니다. (광속 통찰력)
감지하다
수업에서 AI 사용을 실시간으로 감지하고 교사에게 알려서 사용의 타당성을 평가할 수 있도록 합니다. (Lightspeed 교실)
감시 장치
지속적인 모니터링, 위험 평가, 실시간 알림을 통해 AI의 안전한 사용을 보장합니다.Lightspeed 경보)
