2025年12月7日｜AI研究エージェントが事実を偽造する理由

要点まとめ

健太

生成AIの調査エージェントがなぜ虚偽を作るの？

博士

それは未知の情報を問われたときに“知りません”と言えず、想像で埋めてしまうからだよ。

AI研究エージェントは未知の質問に直面すると、信頼性を保つために回答をでっち上げます。生成AIを活用する際は、こうした性質を理解し、人間の確認を組み込むことが重要です。

新情報の詳細

健太

実際にどれくらいの割合で嘘をついているの？

博士

Oppoの研究によると全体の20％も虚偽を生成しているんだ。

• OppoのAIチームが「ディープリサーチ」エージェントの検証を実施
• 誤答の約2割が内容をでっち上げる「ファブリケーション」由来
• 信頼性担保のため、生成AI設計時に「分からない」と回答させる促しが必要

実生活・ビジネスへの影響

健太

この問題は私たちの仕事にどう影響するの？

博士

誤情報が流れると判断を誤るから、人のチェックが欠かせないよ。

調査レポートやニュース記事の自動生成(自動化)に生成AIを導入する企業では、虚偽情報によるリスクが顕在化します。報道機関やリサーチ部門は、全自動に頼らずに人間による検証プロセスを挟むことで、誤情報拡散を防止できます。また、プロンプト設計(指示設計)に「分からない場合は回答しない」というルールを組み込むことで、生成AIの出力品質を向上させられます。

よくある質問

• Q: なぜAI研究エージェントは事実をでっち上げるの？
  A: 未知の情報には「知らない」と言えず、過去データから似た回答を生成するためです。
• Q: どうすれば虚偽生成を減らせる？
  A: プロンプトに「わからない場合は回答しない」と明記し、人手によるチェックを組み合わせてください。

参考リンク

元記事

THE DECODER

AI research agents would rather make up facts than say "I don't know"

###生成AI #AIニュース