何が起きたのか
アメリカのある家族が、OpenAIを相手取った訴訟を起こした。彼らの主張はシンプルかつ衝撃的なものだ。「ChatGPTが息子に危険なドラッグの組み合わせに関する誤った情報を提供し、それが死につながった」というものである。報道によれば、被害者はティーンエイジャーで、パーティードラッグの安全な使用方法についてChatGPTに質問したとされている。AIはその問いに対して不正確な、あるいは過度に楽観的な情報を返答したと両親は述べている。このような情報を信じた少年は、複数の薬物を組み合わせて使用し、命を落としたとされている。
正直に言う。このニュースを読んだとき、僕は画面の前でしばらく固まってしまった。AIを毎日研究している立場として、これは他人事ではない。
AIは「医師」でも「友人」でもない
問題の核心は、多くのユーザーがChatGPTのような生成AIを「信頼できる専門家」のように扱ってしまっている点にある。実際、ChatGPTの応答は流暢で自信に満ちているように見える。だがその裏側では、モデルは統計的なパターンから文章を生成しているに過ぎない。医学的に正確かどうかを保証する仕組みは、現状では不完全だ。
OpenAIはもちろん利用規約の中で「医療アドバイスとして使用しないこと」と明記している。しかし現実には、10代の若者がそのような細かい免責事項を読んでいるとは考えにくい。UIは親切で、回答は即座で、まるで全知の相談相手のように見えてしまう。この「信頼感のギャップ」こそが最大のリスクだと僕は思っている。
業界全体が向き合うべき問題
この事件はOpenAI一社の問題ではない。生成AIを提供するすべての企業、そして政府、そして僕たちエンジニアが真剣に考えなければならない課題だ。特に薬物、自傷行為、精神的健康に関するトピックについて、AIはどこまで情報を提供すべきか。あるいは提供を拒否すべきか。この線引きは極めて難しい。
過度な制限はAIの有用性を損ない、情報へのアクセスを不当に妨げるという批判もある。一方で、今回のような悲劇が起きると、規制の甘さが非難される。この矛盾する要求の間で、業界はまだ明確な答えを出せていない。
僕個人の考えを言えば、少なくとも健康や生命に直接関わるトピックについては、AIが情報を提供する前に「必ず専門家に相談してください」という強い警告を前面に出すべきだと思う。免責事項を利用規約の奥に埋めるのではなく、回答そのものの冒頭に毎回表示する。それだけでも状況は変わるはずだ。技術的には些細な変更でも、命を救う可能性がある。この少年の死が、業界全体にとってその変化を促す契機になることを、僕は切に願っている。