Series

Study LLM — GPT-2 から現代 Coding Agent まで

LLM の内部を、可視化と実践の二本足で解き明かしていく連載です。 Pretraining の基礎から、Transformer を疑うアーキテクチャ、応用、そして Coding Agent まで、読者が自分の手で動かして確かめられる粒度で追いかけます。

  • 基準日: 2026-04-20
  • 想定読者: LLM の API を叩いたことがあり、PyTorch か HuggingFace Transformers を少し触ったことがある人

Part 0 · プロローグ

Ep00

ゼロから作る日本語 LLM — GPT-2 の推論・学習の可視化から Modal での事前学習まで

トークン化から生成ループまでを事前計算トレースで段階的に可視化し、最後に日本語コーパスから GPT-2 small を Modal で事前学習します。

続話は順次公開予定です。