人工知能（AI）チャットボットが利用者との対話の中で犯罪や自傷の兆候を察知した場合、どのように対応すべきかをめぐり論争が広がっている。個人情報の保護と公共の安全の間で、明確な基準の整備が必要だとの指摘が出ている。



20日（現地時間）、ウォール・ストリート・ジャーナル（WSJ）は「オープンAIの社員らが最近、カナダ・ブリティッシュコロンビア州内の学校で起きた銃撃事件の容疑者ジェシー・バン・ルーツェラー（18）のChatGPTでの対話内容から、犯行の可能性を事前に把握していた」と報じた。ルーツェラーは今月10日、銃を乱射して8人を死亡させ、25人を負傷させた後、自ら命を絶った。

WSJによると、ルーツェラーは昨年6月、数日にわたりChatGPTに銃による暴力のシナリオを描写していた。この対話内容はChatGPTの自動モニタリングシステムに検知され、約10人のオープンAI社員がルーツェラーの投稿に対する対応を協議した。一部は、ルーツェラーの文章を潜在的な暴力の兆候と解釈し、カナダの法執行機関に通報すべきだと主張した。

しかしオープンAIの経営陣は当該アカウントを停止しただけで、当局への通報は行わなかった。オープンAIの広報担当者はWSJに対し「ルーツェラーの活動は通報基準に達していないと判断した」とし、「（オープンAIは）捜査に協力している」と説明した。暴力の危険性や個人情報保護、警察が過度に介入することで生じ得る問題などを考慮した措置だとの立場だ。

今回の事態を受け、AI開発企業が「レッドフラッグ」（危険の兆候）を把握しながら黙認したのではないかとの批判が広がっている。オープンAIは「他人の身体に重大な危害を及ぼす差し迫った危険がある」と判断した場合、関連内容を法執行機関に通報できるモニタリング体制を整えている。

しかしChatGPTで犯罪に関する議論を行った後、実際の犯行に至った事件が発生したことで、基準があまりにも緩いのではないかとの指摘が出ている。

一方、AI開発企業側からは、レッドフラッグの明確な基準を設定するのは容易ではないとの反論もある。チャットボットの対話を監視して外部に通報する措置が過度になれば、利用者の反発を招くおそれがあるためだ。キム・ミョンジュAI安全研究所長は「暴力や犯罪の兆候だけで利用者の対話を監視することは、表現の自由の侵害や監視論争を招く可能性がある」とし、「AIへの依存度が高まる中、AIが引き起こす問題をめぐる倫理的・法的ジレンマもますます複雑になっている」と指摘した。

利用者とチャットボットの対話をどこまで監視すべきかについての国際的な合意基準はまだない。WSJは「オンラインプラットフォームは、利用者のプライバシーと公共の安全をどのように両立させるかをめぐり長年議論を続けてきた」とし、「この議論は今や、人々が最も私的で詳細な内容を打ち明けるAIチャットボットを運営する企業へと広がっている」と伝えた。

AIチャットボットをめぐる犯罪問題は訴訟にも発展している。米コネティカット州に住んでいたステイン・エリック・ソルバーグ（56）は昨年8月、母親のスザンヌ・アダムズさん（83）を絞殺した後、自ら命を絶った。遺族は同年12月、オープンAIとサム・アルトマン最高経営責任者（CEO）らを相手取り、カリフォルニア州の裁判所に損害賠償請求訴訟を起こした。AIチャットボットが自死だけでなく、殺人まで誘発したと主張する初の訴訟事例だ。

AI開発企業は、AIが危険な回答を行わないよう安全フィルターを設けている。オープンAIは昨年、精神健康の専門家約170人とともに「妄想的思考、過度な承認、自傷の兆候」を検知する安全装置を導入した。ChatGPTが利用者に“迎合している”との批判を受け、口調を調整できる機能も導入した。メタは、自殺や自傷、摂食障害などの敏感なテーマに関する検索結果を未成年者が閲覧できないよう遮断している。