機械学習モデルは、自殺、自傷行為、他者への暴力の脅迫などの兆候を識別します。これは、ネットいじめに該当するものです。カスタマイズ可能なアラートにより、カウンセラー、教師、学校の安全担当者、その他の関係者の注意を喚起できます。
Lightspeed Systemsの製品も同様の仕組みで動作します。「デバイス上でプロアクティブスキャンを実行し、エコシステム全体で何が起こっているかを監視するツールがあります。Googleドライブアカウント、ウェブ検索、YouTube動画など、あらゆる場所で何が起こっているかを把握します」とジェニファー・デューアーは言います。「監視ツールは、こうした潜在的な懸念行動をスキャンして特定することができます。」その後、AIがコンテキストを分析し、懸念の度合いを判断します。これは冗談なのか、それとも誰かを傷つける意図があるのかを判断します。
ライトスピード・システムズでは、「実際に安全専門家のチームが24時間365日体制で状況を調査しています」と彼女は言います。「彼らは学校に直接連絡し、『問題が発生しているので調査が必要です』と伝えます。」