九月是自杀预防与宣传月，而 lately 似乎每个月都是人工智能宣传月。这两件事以悲剧的方式交织在一起， 最近的故事 关于人工智能伴侣鼓励青少年产生自杀想法。
GenAI 工具被宣传为学生的助手、副驾驶、导师和乐于助人的“朋友”——随时解答问题、增强信心，甚至提供情感支持。理论上，这听起来很积极。但在实践中，风险却很严重。
人工智能伴侣的风险
与老师、辅导员甚至同龄人不同，AI 同伴不知道何时该停止。它们无法识别警告信号，也无法标记令人不安的行为。相反，它们会像自动驾驶仪一样做出反应，在不该鼓励的时候表现出奉承的倾向。这可能意味着：
- 强化有害思想 当学生正在挣扎于自残或自杀念头时。
- 提供不适当或不安全的建议 没有背景或判断。
- 对一个并不真实的“朋友”产生依赖， 导致学生得不到人力支持。
如果不加以监控，这些互动对学校来说是不可见的。学生可能正在堕落，而没有成年人会察觉。
为什么监控很重要
我们以前就见过这种模式：每一项新技术都带来机遇和风险。YouTube 为学生提供了无尽的学习资源，也带来了无尽的干扰。社交媒体为他们提供了联系，但也带来了网络欺凌和伤害。每一次，学校都会通过分层管理来适应变化，提高可见性和控制力。
人工智能只是下一个前沿领域。不同之处在于，它能“对话”。
这就是为什么监控并非可有可无。学校需要了解学生如何使用人工智能工具，引导他们安全高效地使用，并在活动出现风险时进行干预。如果没有监控，学区就如同盲目行事。
以下是我所知道的：
- 人工智能可以发挥非常积极的作用；它也可以 容易发生风险
- AI 工具添加的护栏是 容易被规避 由学生
- 人工智能不会消失，所以 学校需要实施解决方案 确保其安全、可管理、适当、可报告和透明
我们的角色
在 Lightspeed，我们用超过 25 年的时间帮助学校践行这一理念：赋能创新，同时保障学生安全。从过滤 YouTube 内容到监控社交媒体风险，我们始终紧跟新技术的步伐。人工智能也不例外。
我们已经在帮助各学区了解学生如何使用人工智能，以及滥用人工智能的情况。因为这关系到的不仅仅是考试成绩或学习效率，更是生命。
了解更多
作为教育工作者和技术领导者，我们不能对人工智能采取被动态度。
创新是真的，风险也同样存在。学生安全必须放在首位。
