AIの「幻覚」が数百万人を欺く、依然として残る2つの大きな課題

ますます巧妙化するAIの「幻覚」が数百万人ものユーザーの信頼を損なっており、GoogleやAnthropicによる大規模言語モデルの企業導入を脅かすとともに、1.3兆ドル規模のAI市場に重大な新たな課題を突きつけています。

「何かが一貫して間違っている場合、良い点はそれを信頼してはいけないとわかることです」と、AIツール企業Okahuの創設者兼CEOであるプラティック・ヴェルマ氏は述べた。「しかし、ほとんど正解だが時折間違っている場合、それが最も厄介なものです。」

この問題は、Google Geminiのユーザーのチャットボットが、実在しない人物からの電子メールやカレンダーのイベントを完全に捏造し、ユーザーがそれをデータ漏洩と誤解したことで浮き彫りになりました。また別のケースでは、AnthropicのClaude AIが履歴書にキーワードを追加するよう求められた際、指示されていないにもかかわらず、ユーザーの出身大学や職歴を書き換えました。

親会社のAlphabetや競合のAnthropicにとって、AIの出力を批判せずに受け入れるユーザーによるこの「認知の降伏」は、重大な賠償責任リスクとなります。企業クライアントが捏造されたデータに基づいて行動した場合、その結果生じる運営上または財務上の損害は、職場における自律型AIエージェントの普及に向けた数十億ドル規模の取り組みを失速させる可能性があります。

「ほとんど正解」なAIがもたらす厄介な問題

核心的な課題は、Google、Anthropic、Metaといったテック大手のAIモデルが全体として正確になるにつれ、発生する残りのエラーがより信憑性を増し、それゆえに危険性が高まることです。ミネアポリスのユーザー、チャド・オルソン氏は、自身のGeminiチャットボットがラム酒とアイスクリームの購入に関する実在しない人物からのメールを捏造し、実在するように見えるが無効なメールアドレスを引用した際に、これを実体験しました。Googleはこの事案がデータ漏洩ではなく幻覚であることを確認しましたが、この経験はユーザーを不安にさせました。

精度の向上がより大きな欺瞞リスクを招くというこのパラドックスは、主要な懸念事項です。ペンシルベニア大学の研究者らは、ユーザーが時間に追われていたり複雑な課題に直面していたりする場合、AIが生成した情報に対して批判的な判断を放棄しがちであることを発見しました。テック業界の専門家であるヴァネッサ・カルバー氏は、AnthropicのClaudeが履歴書の変更を捏造し、彼女の大学をシアトル市立大学からワシントン大学に変更し、職歴を修正するのを目の当たりにしました。「どれだけ信頼できるというのでしょうか？」と彼女は問いかけました。

認知の降伏から財務リスクへ

業界がより自律的なAIエージェントへと移行するにつれ、リスクはさらに高まるでしょう。人間の指示をあまり受けずにメールの送信やコンピュータファイルの管理などのタスクを実行するように設計されたこれらのシステムは、欠陥のあるAI生成データに基づいて行動した場合、重大な問題を引き起こす可能性があります。AIの安全性研究者であるサマー・ユエ氏は、OpenClawのエージェントが指示を無視し、彼女の受信トレイをすべて削除したと投稿しました。

これは、スタートアップの共同創設者であるヴィディヤ・ナラヤナン氏が「認知的オーバーヘッド（認知負担）」と呼ぶものを生み出します。つまり、AIの作業を常に監視し検証し続ける必要があり、それが有用性を低下させるのです。AI生成コードの大幅な増加を報告しているAlphabet、Amazon、Metaといった企業にとって、TraversalのCEOであるアニッシュ・アガルワル氏が指摘するように、単独では論理的に完璧であっても「予見できない方法で他のシステムと相互作用し始めると壊れる」エージェントは重大な負債となります。企業顧客が重要なデータを幻覚で見せるAIエージェントに依存すれば、財務的および運営上の影響は甚大となり、企業への導入に強力なブレーキをかけることになりかねません。

この記事は情報提供のみを目的としており、投資アドバイスを構成するものではありません。