専門家が指摘、AIが害を及ぼす3つの領域

AIをあらゆる業務に導入しようと急ぐ企業は、顧客の反感を買い、ブランドの信頼を損ない、規制規範に違反するリスクを負っていると、実務家らは警告している。

最も熟練したAI実務家は、何を自動化するかではなく、何を人間に委ねるかによって定義される。カスタマーサービスの共感、マーケティングの信頼性、規制分野の透明性——この3つの領域では、AIは良いことよりも害を及ぼす可能性が高いと業界の実務家らは指摘する。

「顧客がアカウント解約を求めて電話してきた場合、AIが対応するのは簡単だ。しかし、例えば未亡人が夫のアカウント解約を求めて電話してきた場合、本当にAIにその対応を任せたいと思うだろうか？」と、AppleやeBayで幹部を務め、カスタマーサービス向けAIを先駆的に開発したダン・レイヴァ氏は語る。

レイヴァ氏の懸念は共感だけにとどまらない。eBayで決済業務責任者を務めていた同氏は、生成AIに関する最大の懸念の一つとして、企業がシステムが下した決定を事後的に説明できるかどうかを挙げる。この透明性の問題は、決済、医療、法律などの規制産業で特に深刻であり、大規模言語モデルは依然として偏ったブラックボックスであり、その意思決定は気まぐれだと同氏は付け加えた。

自動化を過度に進めた企業は、組織知や人材パイプラインを失うリスクがあるとレイヴァ氏は指摘する。「誰が自動化をやり過ぎたのか、そして他社との差別化を可能にする知識を失ったのはどこなのか、私たちは見極めることになるだろう」と同氏は述べた。この警告は、核爆弾を平和的な土木工事に利用しようとした1960年代の米政府の「プロジェクト・プロウシェア」を想起させる。この計画は、核兵器の新たな用途を示すどころか、決して使用すべきではない場合があることを最終的に実証したのである。

共感のギャップ

家庭医療と精神医療の二重認定を受けたナースプラクティショナーのナタリー・デセイン氏は、診療中のメモ取りから保険請求の処理まで、6つのAIツールを活用している。これらのツールにより週に15～20時間の時間が節約され、開業医1人で300人の患者を診ることが可能になった。しかし、これらのツールが果たす最も重要な機能は、精神科カウンセリング中に完全に目の前の患者に集中できるようにすることだと同氏は述べる。

「精神科では、患者としっかり向き合っていなければ、多くの症状を見逃してしまう」とデセイン氏は語る。「『自分を傷つけたいと思っていますか？』と尋ねる患者が何人かいる。もし患者を見ていなければ、正しい答えは得られないだろう」

信頼性と透明性への圧力

マーケティング分野では、AI生成コンテンツがソーシャルプラットフォームに溢れる中、人間によるストーリーテリングへのプレミアムが高まっている。この分析を執筆したWSJコラムニストのクリストファー・ミムズ氏によると、大企業は現在、LinkedInなどで氾濫するAIの粗悪なコンテンツを打破するために、人間のライターを求めている。ショート動画インフルエンサーの台頭——その直接語りかける形式のコンテンツはAIで捏造するのが難しい——も同じ傾向を反映している。

この問題は、より広範な情報エコシステムにも及んでいる。研究論文「ゴースト・カップル（The Ghost Couple）」によると、大規模言語モデルは架空の専門家を生成する際に、確率の高い少数の名前——例えばエレナ・バスケスやマーカス・チェンなど——をデフォルトで使用する傾向があり、AI生成コンテンツがウェブを汚染し、将来のモデルを合成データで訓練するというフィードバックループを生み出している。「ウェブは、大規模言語モデルの行動指紋の意図せざるアーカイブである」と研究者らは記している。

LexisNexisのCEOマイク・ウォルシュ氏は、生成AIによって顧客のリーガルリサーチサービスの利用方法が変化し、判例法の調査よりも文書作成に多くの時間を費やすようになったと述べる。自信を持ってそれができる理由は、LexisNexisのシステムはデータベース内に存在することが確認できる判例のみを引用することが許されているからであり、存在しない判例を幻覚（ハルシネーション）する汎用チャットボットとは異なるからだと同氏は説明する。このようなシステムを利用する弁護士は、AIが生成した出力を今でもすべて精査しているとウォルシュ氏は強調する。

投資家にとって、その意味するところは両刃の剣である。人間による監視を維持せずにAIを導入する企業は、効率性の向上を上回る規制上の罰則、ブランド毀損、顧客離れのリスクに直面する。CEOがAI主導の生産性向上に期待することと、従業員が報告する実態との間には、すでに大きな隔たりがある。ジュニアワーカーをAIで置き換える企業は、自らの人材パイプラインを破壊するリスクを負う——シニアエンジニアが退職した後、AIの成果物をレビューする人間がいなくなってしまうからだ。AI時代の勝者は、人間の判断を強化するためにテクノロジーを活用する企業であり、それを代替するために使う企業ではない。

本記事は情報提供のみを目的としており、投資助言を構成するものではありません。