2025年6月16日｜SalesforceのCRMベンチマークで判明、生成AIの実用課題と成功率

Contents

要点まとめ
新情報の詳細
実生活・ビジネスへの影響
よくある質問
参考リンク

要点まとめ

健太

博士、人工知能って仕事でもちゃんと役に立つの？

博士

健太、それが最近の調査で、生成AI（人工知能）が職場の実際の会話ではまだうまくいっていないことがわかったんだよ。

Salesforceの最新CRMArena-Proベンチマークによると、生成AIはビジネスの実際の顧客対応で苦戦しています。たとえば、一度の質問応答ではトップモデルのGemini 2.5 Proでも58％の成功率に留まり、会話が続くと成功率は35％まで落ちました。この結果は生成AIがまだ完全な実戦対応力を持っていないことを示しています。

新情報の詳細

健太

どうして生成AIは長い会話になると失敗しやすいの？

博士

それは、生成AIは短いやりとりなら情報をうまく処理できるけど、長い会話では前の内容を正確に覚えて、適切に反応し続けるのが難しいからだよ。

Salesforceはビジネス用のCRM（顧客管理）分野で生成AIを評価した。
最新のGemini 2.5 Proモデルは単発の質問に対し58％の正答率。
複数ターンの会話になると成功率は35％に低下し、長期的な対話理解に課題。

実生活・ビジネスへの影響

健太

じゃあ、この結果は会社でのAI導入にどう影響するの？

博士

会社が生成AIを使うときは、まだ補助的な役割にとどめ、完全に任せるのは危険だとわかったんだ。うまく使えば効率化できるけど、過信は禁物だよ。

このベンチマークは、生成AIの実用化に対して慎重な視点を持つべきことを示しています。特にカスタマーサービスや営業の複雑な会話では、AIが人間を完全に代替するにはまだ時間がかかります。ただ、生成AIは情報検索や単純な質問対応の補助には大いに役立つため、うまく活用すれば業務効率の向上につながるメリットもあります。

よくある質問

Q: 生成AIはなぜ長い会話が苦手なの？
A: 生成AIは多くの情報を正確に記憶して関連付けながら返答を作る必要があり、長い対話ではその処理が複雑になって正確性が落ちるからです。
Q: ビジネスで生成AIを今から導入しても大丈夫？
A: 単純な質問応答の補助などに限定して使うなら有効ですが、重要な判断や長期的な顧客対応は人間が関わる必要があります。