2026年2月24日｜AIコーディングベンチマーク廃止の世界的衝撃

要点まとめ

健太

博士、なんでベンチマークを廃止するの？

博士

タスクに不備が多く、AIが覚えた答えをただ出しているだけと分かったからだよ。つまり、生成AIの実力を正しく評価できないんだ。

OpenAIはAIコーディングベンチマーク「Verified」を廃止します。多くの課題が正解をはじき、主力モデルは訓練時に解答を既に見ているため、スコアは生成AIの開発力ではなく暗記力を示していると判断しました。

新情報の詳細

健太

どんな問題があったの？

博士

仕様ミスやバグで正解コードを却下したり、訓練データの答えをそのまま使ったりしているんだ。

• ベンチマークの多くの課題は仕様ミスやバグで、正しいコードを却下する。
• 最先端のAIモデルは訓練データに解答例を含んでおり、テストは暗記力を測るだけ。
• これまでのスコアは生成AIの真のコーディング能力を反映していない。

実生活・ビジネスへの影響

健太

開発現場にはどう影響するの？

博士

新しい評価基準が普及すれば、企業は生成AIの能力を正確に測れるようになるよ。

企業は採用や評価でAIモデルのコーディング能力を測定する際、従来のベンチマークに頼れなくなります。そのため、新指標の開発が急務です。開発チームは面接や自動評価ツールを見直し、生成AIの実力を正しく判断できる仕組みが求められます。

よくある質問

• Q: 「Verifiedベンチマーク」とは何ですか？
  A: ソフトウェア開発向けのAIコーディング評価テストで、様々な課題を解くスコアでモデルを比較します。
• Q: なぜ暗記力が問題になるのですか？
  A: モデルが訓練データから回答例を丸覚えしていると、実際のコーディング能力を正しく評価できないからです。

参考リンク

元記事

The Decoder

OpenAI wants to retire the AI coding benchmark that everyone has been competi...

###生成AI #AIニュース