minimind jingyaogong

🧠 Train a 64M-parameter LLM from scratch in just 2h!

주요 언어
Python
Stars
55,891
Forks
7,301

태그

  • 경량 AI 모델
  • LLM 파인튜닝
  • 딥러닝
  • 교육 자료
  • 강화학습
  • 데이터셋
  • 튜토리얼/리소스

요약

저비용(약 3달러)과 단시간(2시간)으로 64M 파라미터 초소형 언어모델을 완전히 처음부터 훈련하는 교육용 오픈소스 프로젝트입니다. PyTorch 네이티브로 Pretrain, SFT, LoRA, RLHF/DPO, RLAIF(PPO/GRPO/CISPO), Tool Use, Agentic RL 등 전체 훈련 파이프라인을 구현했으며, MoE·다중모달 확장까지 포함합니다. 개인 GPU로도 재현 가능한 LLM 입문·실습 튜토리얼입니다.

README

<div align="center"> ![logo](./images/logo.png) </div> <div align="center"> ![visitors](https://visitor-badge.laobi.icu/badge?page_id=jingyaogong/minimind) [![GitHub Repo stars](https://img.shields.io/github/stars/jingyaogong/minimind?style=social)](https://github.com/jingyaogong/minimind/stargazer…

查看完整页面