ベンチマークで90点超えたモデルが、3手先の論理パズルで詰まる──これ、笑い話じゃなくてモデル選定の判断軸になる話だ。
「知能テスト」で露わになる推論の構造
MIT Technology Reviewは、ゲームや論理パズルを使ったAI評価の現状を整理している。1959年に「機械学習」という言葉が広まった頃から、ゲームはAI進捗の試金石だった。チェス、囲碁、そして今や自然言語——と舞台は変わったが、現代のLLMには依然として「つまずく」領域がある：空間推論、多ステップの因果関係、反事実推論（「もしXでなかったら？」系の問い）がその代表だ。
flowchart LR
A[ベンチマーク
MMLU・HumanEval] -->|高スコア| B[採用モデル]
B --> C{実タスク}
C -->|コード生成| D[成功率高い
文字列補完]
C -->|空間推論| E[失敗しやすい
図形・位置関係]
C -->|反事実推論| F[失敗しやすい
仮定問答]
style D fill:#2980b9,color:#fff
style E fill:#e67e22,color:#fff
style F fill:#e67e22,color:#fff
style A fill:#7f8c8d,color:#fff
実際のところ、モデル選びに何が変わるか
「MMLU 90%以上」を採用基準にしているなら、それは均一な性能を保証しない。コードレビューBotやテスト自動生成に組み込む場合、「何に対して強いモデルか」を把握しないまま導入すると、特定ケースで一貫して失敗するパイプラインが出来上がる。LLM-as-judgeで評価ループを回しているなら、判定モデルのつまずき場所がそのまま評価の死角になる。
ベンチマーク汚染とコスト効率というトレードオフ
スコアが高い理由の一つは、そのパズルが訓練データに含まれていた可能性だ（ベンチマーク汚染）。また、推論コストが最も高いモデルが必ずしも空間推論に強いわけではない。「精度 vs. コスト」の前に「どの種類の精度か」を問わないと、見当違いの最適化になる。加えてレイテンシ：反事実推論のような複雑なタスクは、モデルが「考える」時間を要し、リアルタイム用途では致命的な遅延になる。
一つ問いかけ
あなたのパイプラインでLLMを使っている箇所、最後に「失敗パターン」を体系的に確認したのはいつか？ ベンチマーク以外の軸でモデルを評価したことがあるか？
参考: MIT Technology Review — AI models flub these intelligence tests. Can you fare any better?