法律AI、6回に1回はデタラメ回答？スタンフォード大学の研究が衝撃の結果

法律業務の効率化に役立つと期待されていたAIツールですが、衝撃的な研究結果が明らかになりました。

スタンフォード大学の研究によると、大手法律情報会社が提供するAI搭載の法律リサーチツールは、なんと6回に1回の頻度で誤った情報を返す可能性があるというのです。

AIリサーチツールは本当に役に立つのか？

本来であれば、膨大な法律情報から必要な情報を見つけ出す作業を効率化してくれるはずのAIですが、研究では「驚くべき頻度で」誤った情報を出力することがわかったのです。

AIの誤った回答はどのようなものか？

研究では、200以上の質問をAIに投げかけています。一般的なリサーチ、特定の法域に関する質問、法律の誤った理解に基づく質問など、バリエーション豊かな内容でした。

さらに、法律判断を必要としない単純な事実確認の質問も含まれていました。

その結果、AIは6回に1回の割合で「幻覚（hallucination）」とも呼ばれる誤った回答を返したのです。具体的には、正しい回答を提示しつつ、間違った根拠を引用したり、全くのデタラメな回答をでっちあげたりするケースが見られました。

AIに過度な信頼を置くことの危険性

この研究結果は、AIに過度な信頼を置くことの危険性を示唆しています。もしも、AIが提示した情報が間違っていた場合、利用者は誤った判断を下してしまうおそれがあるからです。

まとめ

AIは今後も発展していくと予想されますが、一方で、AIの誤った情報による社会への影響など、倫理的な課題も浮き彫りになってきました。

AIリサーチツールは便利ですが、万能ではありません。あくまでも参考資料として利用し、必ず専門家の意見も聞くようにしましょう。

引用元：https://aibusiness.com/responsible-ai/ai-legal-tools-frequently-hallucinate-answers-stanford-study-finds