train-llm-from-scratch
PyTorchで自分のTransformer言語モデルを、生テキストから文章生成や調整まで順に学べるチュートリアル。LLMの仕組みを理解したい人向けです。
Xで共有ライセンス: MIT
概要
Attention Is All You Need論文に基づき、PyTorchで独自のTransformer言語モデルを訓練するための、手順解説とスクリプトのチュートリアルです。生テキストとトークンからベースモデルを作り、教師ありファインチューニング、報酬モデル、PPO、DPO、GRPOへと進み、評価とチャットで終わります。アルゴリズムはtrl、peft、transformersを使わず、素のPyTorchで手書きされています。作者によると、単一GPUで百万規模から十億規模のパラメータのモデルを訓練できます。
主な特長
- 素のPyTorchでTransformerをゼロから実装
- 生テキストから事前学習済みベースモデルまで
- SFT、報酬モデル、PPO、DPO、GRPOを扱う
- trl、peft、transformersに依存しない
- 最後に評価とチャットまで実施
こんな人・用途に
言語モデルの作り方と整合の手順を、自分で読んで動かしながら理解したい学習者向けです。教材であり、例の出力は約1300万パラメータの小さなモデルのものです。
- アップストリーム
- FareedKhan-dev/train-llm-from-scratch
- GitHubのフォーク
- Guo-astro/train-llm-from-scratch
- アップストリームのスター数
- 12k
- カテゴリ
- AIエージェントとLLMツール
- 言語
- Python
- ライセンス
- MIT
- フォーク日
- 2026-09-25
- 同期状態
- 同期済み最終同期 2026-10-11
同じカテゴリ: AIエージェントとLLMツール
Hello-Agentsは、AIエージェントの原理と実践を学ぶチュートリアルです。基礎からエージェントシステムやアプリケーションの構築までを案内します。
フォーク日 2026-10-10最終同期 2026-10-11独自ライセンス(リポジトリを参照)AIエージェントとLLMツールGitHub
OpenSREは、自社のインフラツールとワークフローを使って本番障害の調査を支援するAIエージェントを構築するオープンソースフレームワークです。
フォーク日 2026-10-10最終同期 2026-10-11ライセンス: Apache-2.0AIエージェントとLLMツールGitHub
Context Modeは、AIコーディングエージェントのコンテキスト消費を抑え、会話の圧縮後も作業を続けやすくします。MCPとフックを通じて、ツール出力、セッション記憶、対応プラットフォームへのルーティングを扱います。
フォーク日 2026-10-10最終同期 2026-10-11独自ライセンス(リポジトリを参照)AIエージェントとLLMツールGitHub
ARTEXは、資産の探索とテスト状況の確認に使うセルフホスト型のAI侵入テストシステムです。タスク、発見事項、資産データ、承認を一つの画面で扱えます。
フォーク日 2026-10-10最終同期 2026-10-11ライセンス: AGPL-3.0AIエージェントとLLMツールGitHub