minimind jingyaogong

🧠 Train a 64M-parameter LLM from scratch in just 2h!

主要语言
Python
Stars
55,891
Forks
7,301

标签

  • LLM微调
  • 机器学习训练
  • 深度学习
  • 教程/资源
  • Python
  • 工具调用
  • 本地部署
  • 知识库

摘要

MiniMind 是一个完全从零开始训练超小语言模型的极简开源项目，仅需2小时和约3块钱成本即可在个人GPU上复现64M参数的LLM。项目原生PyTorch实现完整的训练链路，覆盖预训练、SFT、LoRA、RLHF(DPO)、RLAIF(PPO/GRPO)、Tool Use、Agentic RL及模型蒸馏等全阶段。既是一套面向LLM入门与实践的教程，也提供推理引擎兼容与聊天WebUI，适合学习LLM原理和个人低成本实验。

README

<div align="center"> ![logo](./images/logo.png) </div> <div align="center"> ![visitors](https://visitor-badge.laobi.icu/badge?page_id=jingyaogong/minimind) [![GitHub Repo stars](https://img.shields.io/github/stars/jingyaogong/minimind?style=social)](https://github.com/jingyaogong/minimind/stargazer…

查看完整页面