minimind jingyaogong

🧠 Train a 64M-parameter LLM from scratch in just 2h!

主要言語
Python
Stars
55,891
Forks
7,301

タグ

  • ディープラーニング
  • LLM
  • ライブラリ/SDK
  • チュートリアル
  • ツール呼び出し
  • フレームワーク
  • データセット

概要

MiniMindは約64Mパラメータの超小規模LLMを、わずかなGPUコストと2時間でゼロから訓練するための完全再現プロジェクトです。Pretrain、SFT、LoRA、RLHF/DPO、RLAIF(PPO/GRPO/CISPO)、Tool Use、Agentic RL、モデル蒸留に至る全訓練工程をPyTorchで原生実装し、フレームワーク抽象に依存しません。LLM内部構造を理解したい個人開発者や学習者向けで、単一GPUでの再現が可能です。

README

<div align="center"> ![logo](./images/logo.png) </div> <div align="center"> ![visitors](https://visitor-badge.laobi.icu/badge?page_id=jingyaogong/minimind) [![GitHub Repo stars](https://img.shields.io/github/stars/jingyaogong/minimind?style=social)](https://github.com/jingyaogong/minimind/stargazer…

查看完整页面