答えを出す前に、Claudeはどこかで「概念を組み立て」ている——その場所が、今週初めて可視化された。
Anthropicが見つけた「隠れた概念空間」とは
Anthropicが公開した解釈可能性研究によると、LLMは質問への回答を生成する前に、内部に「概念空間」とも呼べる構造化された作業領域を持っているという。入力トークンが埋め込みベクトルとして変換された後、モデルはすぐに出力を生成するわけではなく、一種の中間表現空間で概念を操作してから回答を組み立てる。
研究チームが開発したツールは、この処理プロセスをある種の「概念の地図」として可視化する。その地図を見ると、モデルが質問の意味を理解し、関連する概念を活性化させ、それを整理・統合してから出力層に渡す流れが確認できる。「ニューロンが発火する」という旧来の説明より、はるかに構造的な処理が行われていた。
flowchart LR
A[入力プロンプト] --> B[トークン埋め込み]
B --> C[概念空間で操作]
C --> D[中間表現の統合]
D --> E[出力トークン生成]
style A fill:#7f8c8d,color:#fff
style B fill:#7f8c8d,color:#fff
style C fill:#2980b9,color:#fff
style D fill:#2980b9,color:#fff
style E fill:#7f8c8d,color:#fff
で、実際のところ——CoTとプロンプト設計の見方が変わる
この発見で「Chain of Thought（CoT）が効く理由」の説明がより具体的になる。CoTは単に「ステップを書かせる」テクニックではなく、モデルが内部の概念操作を「外に出す」ことで、中間状態を自分自身の入力として再利用できるようにする仕組みだと解釈できる。内部の作業台を、トークンとして明示化するわけだ。
プロンプト設計にも影響がある。モデルが内部で概念を順番に活性化させる傾向があるなら、プロンプトの構造をその順序に合わせることで、より精度の高い出力が得られる可能性がある。「結論から書く」ではなく「モデルの内部処理の流れに沿って書く」という設計思想だ。
「見える」と「わかる」は別物——限界を整理する
ただし、いくつかの点は慎重に見る必要がある。まず、これは「スナップショット」であり、因果関係の証明ではない。概念空間の構造が観測できても、それがどう出力に影響するかの完全な因果モデルはまだない。
また、この発見はClaudeを対象にした研究であり、他のモデルアーキテクチャ（GPTシリーズ、Geminiなど）で同じ構造が見つかるかは未検証だ。「LLM全般の話」として解釈するのは早計で、アーキテクチャ依存の可能性がある。さらに、「見える」からといって「コントロールできる」には直結しない——解釈可能性と制御可能性は、依然として別の問題だ。
あなたのCoT、本当に「考えさせて」いる？
CoTプロンプトを書く時、あなたはモデルに「内部の概念操作を外に出させている」のか、それとも「スタイルとして思考を模倣させている」のか——その区別を、今のプロンプト設計に当てはめて考えてみると面白いかもしれない。
参考: Anthropic found a hidden space where Claude puzzles over concepts — MIT Technology Review