LLMs-from-scratch
PyTorchでGPT型の言語モデルを一から作り、事前学習と微調整まで進めるコードです。書籍に対応し、LLMの仕組みを学べます。
Xで共有独自ライセンス(リポジトリを参照)
概要
書籍 Build a Large Language Model (From Scratch) の公式コードリポジトリです。GPT のような LLM を PyTorch で開発、事前学習、ファインチューニングするコードを、説明、図、例とともに段階的に進めます。手法は教育目的で、大規模な基盤モデルの作り方を小さな規模で再現するものです。より大きな学習済みモデルの重みを読み込むコードも扱います。
主な特長
- PyTorch で GPT 風 LLM を段階的に構築するコード
- 事前学習とファインチューニングを扱う
- 大きな学習済みモデルの重みを読み込むコードを含む
- Jupyter Notebook 形式
こんな人・用途に
LLM の仕組みを自分でコードを書いて理解したい読者向けです。学習用で小さなモデルを作る内容であり、書籍に付随するものです。
- アップストリーム
- rasbt/LLMs-from-scratch
- GitHubのフォーク
- Guo-astro/LLMs-from-scratch
- アップストリームのスター数
- 106k
- カテゴリ
- 学習・面接対策・厳選リスト
- 言語
- Jupyter Notebook
- ライセンス
- 独自ライセンス(リポジトリを参照)
- フォーク日
- 2026-08-10
- 同期状態
- 同期済み最終同期 2026-10-11
同じカテゴリ: 学習・面接対策・厳選リスト
本やPDFなどを出典付きの学習ページに変換する、複数のエージェント環境で使える学習スキルです。教材の理解、メモ、学習内容の確認に役立ちます。
フォーク日 2026-10-10最終同期 2026-10-11ライセンス: MIT学習・面接対策・厳選リストGitHub
清華大学コンピュータ系の学生向けに、授業資料や参考書をまとめたコミュニティ運営の攻略ガイドです。学習資料や授業情報を探す際に利用できます。
フォーク日 2026-10-10最終同期 2026-10-11ライセンス: CC-BY-SA-4.0学習・面接対策・厳選リストGitHub
自分で学ぶためのJupyterノートブック本です。Pythonと実践を通じて学び方を整理します。
フォーク日 2026-10-08最終同期 2026-10-11ライセンス表記なし学習・面接対策・厳選リストGitHub
機械学習システムの理論・実装・制約を一つのカリキュラムで学び、AI開発の設計と評価を支える教材です。
フォーク日 2026-10-07最終同期 2026-10-11独自ライセンス(リポジトリを参照)学習・面接対策・厳選リストGitHub