minimind jingyaogong

🧠 Train a 64M-parameter LLM from scratch in just 2h!

Lenguaje principal
Python
Stars
55,891
Forks
7,301

Etiquetas

  • Ajuste de LLM
  • Aprendizaje profundo
  • Entrenamiento
  • Ajuste fino LoRA
  • 教程/资源
  • Python

Resumen

MiniMind es un proyecto de código abierto que permite entrenar un modelo de lenguaje pequeño (64M de parámetros) desde cero en solo 2 horas y con unos 3 dólares de coste en GPU personal. Implementa en PyTorch nativo toda la cadena de entrenamiento de LLMs: pre-entrenamiento, SFT, LoRA, RLHF/DPO, RL…

README

<div align="center"> ![logo](./images/logo.png) </div> <div align="center"> ![visitors](https://visitor-badge.laobi.icu/badge?page_id=jingyaogong/minimind) [![GitHub Repo stars](https://img.shields.io/github/stars/jingyaogong/minimind?style=social)](https://github.com/jingyaogong/minimind/stargazer…

查看完整页面