これは何の話？

今回の発表では、

「次の単語を予測するだけで学習したLLMの中に、強化学習で使われるTD学習のような計算が自然に生まれているのではないか？」

という研究が紹介された。

背景にあるのが、脳科学と強化学習の意外なつながりである。

1990年代の研究では、動物のドーパミンニューロンの活動が、

「予想していた報酬」と「実際に得られた報酬」のズレ

を表す報酬予測誤差（Reward Prediction Error）と対応することが示され、強化学習におけるTemporal Difference（TD）学習との関係が注目された。

そこで今回の研究では、

強化学習を直接教えていないLLMにも、TD誤差に似た内部表現が生まれるのか？

を調べている。

結果としてLlama 3 70Bでは、文脈の中だけで簡単な強化学習課題を学習でき、その内部からTD誤差と強く対応する特徴量が発見された。

さらに、その特徴を意図的に操作するとモデルの行動まで変化した。

つまり、

「TD誤差っぽく見える特徴があった」だけではなく、その特徴をモデル自身が実際の計算に利用している可能性が示された

という研究である。

まず結論

今回の研究で重要なのは、

LLMに「強化学習アルゴリズムを実装しろ」と教えていないのに、内部にTD学習と対応する計算表現が現れた

という点である。

Llama 3 70Bは、

次のトークンを予測する

という目的で事前学習されている。

しかし、プロンプト内で過去の選択と結果を与えると、

何を選んだ

↓

どんな結果になった

↓

予想より良かった／悪かった

↓

次の選択を変える

という、強化学習に似た振る舞いを示した。

さらに内部をSAEで分解すると、TD誤差やQ値と対応する特徴が見つかった。

この研究から言えるのは、

大規模な次トークン予測を学習する過程で、将来を予測して更新するために役立つ計算アルゴリズムまで内部的に獲得する可能性がある

ということ。

ただし、

LLMの中にドーパミンニューロンがある

という意味ではない。

あくまで、

生物のドーパミン系を説明するTD誤差と、LLM内部で見つかった計算表現に類似性がある

という話である。

Knowledge ― そもそもTD学習とは？

TDはTemporal Differenceの略。

強化学習では、

「今思っている未来の価値」と、「次の瞬間に分かった未来の価値」のズレ

を使って学習する。

単純化すると、TD誤差は、

実際にもらった報酬 + 次の状態の予想価値 - 今まで予想していた価値

のようなものとして考えられる。

予想より良ければ、

「思ってたより良かった！」

となる。

予想より悪ければ、

「思ってたより悪かった……」

となる。

そのズレを利用して、

次からの予測を修正する。

これがTD学習の基本的な考え方である。

ドーパミンとの関係

1997年のSchultz、Dayan、Montagueらの研究では、霊長類のドーパミンニューロン活動が、報酬そのものだけではなく、

予測していた報酬と実際の出来事との差

に対応するような活動を示すことが整理された。

たとえば最初は、

報酬が来る

↓

ドーパミン反応

となる。

しかし学習すると、

報酬を予測する合図

↓

ドーパミン反応

へと変化していく。

そして、

来ると思っていた報酬が来ない

場合には、期待していたタイミングで活動が下がる。

この振る舞いが、TD学習における報酬予測誤差と非常によく対応する。

このため、

ドーパミンは単純な「快楽物質」ではなく、学習に必要な予測誤差信号の一部として働いている

という計算論的な理解が広がった。

Practice ― LLMに強化学習課題をやらせる

今回の研究ではLlama 3に、過去の試行結果をプロンプトとして与える。

重要なのは、

モデルの重みそのものは更新しない

ということ。

つまり、

再学習する

のではなく、

会話の文脈だけからルールを学習する

In-context Learningとして強化学習課題を解かせた。

Two-Step Task

発表で中心的に紹介されたのがTwo-Step Taskである。

これはもともと、人間や動物の意思決定研究でも利用される課題である。

モデルは何度も、

選択する

↓

状態が変わる

↓

報酬を得る／得ない

という経験をする。

そして、

どの選択をすると将来的に報酬を得やすいか

を学習する必要がある。

70Bでは学べたが、8Bでは難しかった

実験では、

Llama 3 70B

と

Llama 3 8B

が比較された。

70Bモデルでは、試行を重ねるにつれて良い選択を学習する振る舞いが確認された。

一方、小さい8Bモデルでは同様の性能向上が十分には見られなかった。

つまり、

単にLLMであれば必ずTD学習のような能力が生まれるわけではなく、モデル規模などが関係している可能性

が示された。

SAE ― AIの中身をバラして見る

次に登場するのが、

Sparse Autoencoder（SAE）

である。

LLM内部には巨大なベクトル表現が存在する。

しかし、そのまま眺めても、

「この数字は報酬」

「これは予測誤差」

とは分からない。

そこでSAEを利用して、複雑な内部表現を、

より疎で解釈しやすい特徴へ分解する

ことを試みる。

イメージとしては、

LLM内部：

謎の数万次元ベクトル！！！！

↓

SAE：

「この特徴はこういう状況で強くなる」

「この特徴は別の状況で反応する」

と、内部の特徴を分離して観察しやすくする。

これは**Mechanistic Interpretability（機械論的解釈可能性）**につながる方法の一つである。

Inherent Talent ― TD誤差みたいな特徴が本当に出てきた

Llama 3 70Bの内部をSAEで解析すると、

理論上のTD誤差と強く相関する特徴

が発見された。

Two-Step Taskでは、特に34番目のTransformer Block付近からTD誤差と対応する特徴が確認されている。

発表では、およそ

r ≈ 0.58〜0.75程度

の相関を持つ特徴が紹介された。

つまり、

理論上のTD学習：

「今このくらい予測誤差が出るはず」

LLM内部：

特定の特徴が同じような動きをする

という対応が観測された。

でも「相関した」だけでは弱い

ここが今回の研究で重要なところ。

たとえば、

雨の日に傘を持っている人が多い

からといって、

傘が雨を降らせている

わけではない。

同じように、

TD誤差と似た特徴が見つかっただけでは、その特徴をLLMが本当に使っているとは言えない。

そこで研究では、内部表現に直接介入した。

Ablation ― その特徴を消してみる

発表では脳研究になぞらえて「Robotomy」と表現されていたが、研究としては特定特徴へのcausal intervention / ablationに近い。

TD誤差に対応する特徴を、

0にする

あるいは、

意図的に値を変える

という操作を行った。

すると、

モデルの課題成績が低下した。

さらに、モデルの行動もQ-learningによって説明しにくいものへ変化した。

つまり、

TD誤差と相関していた

だけではなく、

その特徴を壊す

↓

TD学習的な行動まで壊れる

という関係が確認された。

ここから、

この内部表現がTD誤差やQ値の計算に因果的に関与している

という、より強い証拠が得られた。

Value ― 「報酬」がなくてもTD的な仕組みが使われる

さらに興味深いのが、報酬のない課題である。

研究では、モデルがグラフ構造上を移動するようなタスクも調べている。

ここでは、

報酬を最大化する

という通常の強化学習の目的が存在しない。

それでも内部では、Successor Representationなどと対応するTD的な表現が確認された。

つまり、

TD的な計算は「ご褒美をもらうためだけの仕組み」ではなく、世界の状態遷移や構造を学習するためにも利用できる

可能性がある。

これは、

ドーパミン = 快楽

というイメージから、

TD = 世界を予測し、予測のズレから構造を学ぶアルゴリズム

という、より一般的な見方にもつながる。

なぜ次トークン予測だけでTD学習が生まれる？

ここが今回の研究の最も面白い問いの一つである。

Llamaは、

TD学習してください

と訓練されたわけではない。

基本的な事前学習の目的は、

次に来るトークンを予測すること

である。

しかし、次のトークンを正確に予測しようとすると、

人間が何をするか

出来事がどう変化するか

どの状態から次に何が起きやすいか

といった、世界の構造をある程度モデル化する必要がある。

すると、

未来を予測し、予測との差によって内部状態を更新する

というアルゴリズムが有用になる。

その結果として、

TD学習に似た計算方法を内部的に獲得した可能性

がある。

これは「LLMの中にドーパミンがある」という話なのか？

ここは区別したほうがよい。

今回確認されたのは、

LLM内部にTD誤差と対応し、因果的に利用される表現がある

ということ。

一方、人間や動物では、

ドーパミンニューロン活動がTD型の報酬予測誤差と対応する

という研究がある。

そのため、

脳

ドーパミン活動 ↔ TD誤差

LLM

特定の内部特徴 ↔ TD誤差

という構造的な類似性がある。

しかし、

LLM内部の特徴 = ドーパミンニューロン

ではない。

物理的な実装も、学習環境も、構造もまったく異なる。

そのため今回の「ドーパミン的」という表現は、

同じような計算問題に対して、似た計算原理が現れている

という意味で理解するほうが正確である。

質疑応答から見えてきたこと

相関0.75なら、残り25％は何？

質疑では、

TD誤差との相関が最大でも0.75程度なら、LLMの行動をTD学習だけで説明できるわけではないのでは？

という話が出た。

その通りで、

TD特徴が見つかった

ことと、

LLM全体がQ-learningそのものである

ことは全く違う。

LLM内部では、非常に多くの計算が並列に行われている。

今回見つかったTD表現は、

その中で強化学習課題を解く際に利用されている一つの重要な計算表現

と考えるほうがよい。

SAE以外でもAIの中は見られる？

質疑では、SAE以外の解釈可能性研究についても議論された。

例として出たのがLogit Lensである。

Transformerの途中層の内部表現を、最終的な語彙空間へ投影して、

「この時点でモデルは何を出力しようとしているのか？」

を観察する。

SAEが、

内部特徴を分解する

方向なのに対して、

Logit Lensは、

途中の状態を出力側から読む

方向のアプローチと考えられる。

つまりLLMの内部を理解する方法は一つではなく、

異なる観測・介入方法を組み合わせながら、「どんな計算をしているのか」を探していく

研究が進んでいる。

AIを使って脳を理解できる？

逆方向の問いも出た。

これまでは、

脳科学

↓

AIの仕組みを考える

という流れが多かった。

しかし現在は、

AIモデルの内部表現を利用して、人間の脳活動を理解できないか？

というNeuroAI的な研究も存在する。

発表では、言語モデルの内部表現と、自然な言語を処理している人間の脳活動との対応を調べる研究が紹介された。

ここで面白いのは、

脳を参考にしてAIを作り、そのAIをモデルとして再び脳を調べる

という循環が起こり始めていることである。

ただし、今回の議事録では具体的なNeuroAI論文までは特定されていないため、これは今後の調査事項として残った。

ドーパミン以外もAIの中にある？

質疑では、

セロトニン

ノルアドレナリン

アセチルコリン

など、ほかの神経伝達物質に対応する計算機能もLLM内部で見つかるのではないか、という話も出た。

たとえば脳科学では、

不確実性

注意

時間割引

などと神経調節系との関係が研究されている。

もし、

脳で特定の神経伝達系が担っていると考えられている「計算」を定義する

ことができれば、

今回と同じように、

SAEなどでLLM内部に対応する特徴が存在するか

を探すことはできる。

ただし、今回紹介されたメイン論文が直接示したのはTD学習に関する表現である。

他の神経伝達物質についての対応は、今回の議論から生まれた今後の研究テーマとして分けて考える必要がある。

この発表から考えられること

この研究のおもしろさは、

脳とAIが同じ構造を持っていた

ということではない。

むしろ、

まったく違う方法で作られたシステムが、似た問題を解こうとした結果、似た計算原理へ到達することがある

というところにある。

動物の脳は進化と学習の中で、

未来を予測する

予測が外れたら修正する

という仕組みを獲得した。

LLMも、

次のトークンを予測する

という大量の学習を続ける中で、

未来の状態や価値を更新するTD学習に似た内部計算を獲得した可能性がある。

もしこれが他の領域でも繰り返し見つかるなら、

知能を作る方法は違っていても、効率的に世界を予測するために必要な計算原理には共通部分がある

のかもしれない。

「似ている」と「同じ」は違う

一方で、今回の研究を読むうえで最も注意したいのもここである。

脳にTD誤差がある。

LLMにもTD誤差に対応する特徴がある。

↓

LLMは人間の脳と同じだ！

とはならない。

重要なのは、

どのレベルで似ているのか

を見ること。

今回似ているのは、

計算

のレベルである。

生物学的な構造や物質まで同じという話ではない。

だからこそ、

脳とAIを直接同一視するのではなく、両者に共通して現れる「計算原理」を比較する

という見方が重要になる。

今後調べたいこと

今回の発表・質疑から、次の問いが残った。

  • SAE以外の方法でもTD表現は確認できるのか
  • TD特徴は別のLLMやモデルサイズでも現れるのか
  • モデルが大きくなると、なぜ文脈内RL能力が現れるのか
  • TD学習以外にも既知の認知アルゴリズムがLLM内部に自然発生しているのか
  • LLMの内部表現を使って、人間の脳活動について逆に何が分かるのか
  • 不確実性・注意・時間割引などに対応する内部回路も存在するのか
  • 「脳とAIに共通する計算原理」をどこまで一般化できるのか

まとめ

強化学習では、

予測と実際のズレを利用して、未来の価値を更新するTD学習

が重要な考え方となっている。

そして脳科学では、ドーパミンニューロンの活動が、TD学習における報酬予測誤差とよく対応することが知られている。

今回紹介された研究では、

強化学習を明示的に訓練されていないLlama 3 70B

に強化学習課題を文脈内で解かせた。

すると、

行動としてQ-learningに近い学習が現れた。

さらにSAEで内部を見ると、

TD誤差やQ値と対応する特徴が現れた。

そして、

その特徴を操作すると行動まで変わった。

つまり、

LLMは次トークン予測を学ぶ過程で、強化学習で知られているTD計算を内部的なアルゴリズムとして獲得している可能性がある。

これは、

「AIの中にドーパミンがあった」

という話ではない。

脳とAIという全く異なるシステムの中で、似た計算問題に対してTDという共通した計算原理が現れた

という話である。

そして、このような内部計算をSAEなどによって発見し、実際に介入できるようになってきたことで、

「LLMは答えを出せる」から、「LLMは内部でどうやってその答えにたどり着いているのか？」

へ研究が進み始めている。

👶 ドパガキ向け：つまり何？

昔の脳科学者：

「サルに報酬あげます。」

サル：

「うれしい！！！！」

ドーパミン：

ピコーン！！！！

↓

サル：

「このランプ光ったら報酬来るな。」

ランプ：

ピカッ

ドーパミン：

ピコーン！！！！

報酬：

「あとから来ました。」

研究者：

「報酬そのものじゃなくて、『来るぞ！』の学習信号じゃね？？？」

↓

強化学習：

「それTD誤差とめちゃ似てます。」

時は流れてLLM。

研究者：

「Llama、お前強化学習できる？」

Llama：

「次の単語を当てる訓練しかされてません。」

研究者：

「まぁゲームやってみ。」

↓

Llama 70B：

「こっち選んだら報酬多いな……次こっち選ぼ。」

研究者：

「？？？？？？？」

研究者：

「中身SAEでバラしてみよ。」

SAE：

「なんかTD誤差と同じ動きしてる特徴あります。」

研究者：

「え？？？？？」

↓

研究者：

「じゃあその特徴消してみよ。」

Llama：

急にゲーム下手になる

研究者：

「お前それ使ってたんかい！！！！！！！！」

超結論

LLMに強化学習を教えてないのに、内部でTD学習っぽい計算方法を勝手に獲得してた。

しかも、

似てるだけ？

と思ってその部分を壊したら、

本当に行動まで壊れた。

つまり、

「たまたま似た数字があった」だけじゃなくて、実際にその計算を使ってるっぽい。

そして脳では昔から、

ドーパミン活動 ≒ TD型の報酬予測誤差

という話がある。

だから、

脳「未来予測して、外れたら修正します」
AI「未来予測して、外れたら修正します」

という、計算上の似た仕組みが見えてきた。

でも、

AIの中にドーパミン汁が流れてるわけではない。

脳とAIが、別々に作られたのに似た計算方法へたどり着いたかもしれない。

そこが面白い！！！！

引用論文

Demircan, C., Saanum, T., Jagadish, A. K., Binz, M., & Schulz, E. (2025). Sparse Autoencoders Reveal Temporal Difference Learning in Large Language Models. International Conference on Learning Representations (ICLR 2025).
Preprint: arXiv:2410.01280 (2024).

Schultz, W., Dayan, P., & Montague, P. R. (1997). A neural substrate of prediction and reward. Science, 275(5306), 1593–1599. https://doi.org/10.1126/science.275.5306.1593