llmfit AlexsJones

Hundreds of models & providers. One command to find what runs on your hardware.

主要语言
Rust
Stars
32,089
Forks
1,990

标签

  • CLI工具
  • Rust
  • 终端界面
  • 模型管理
  • 本地部署
  • 推理优化

摘要

llmfit 是一款基于 Rust 的命令行/终端工具，用于自动检测本机 CPU、RAM、GPU 硬件配置，从数百个模型与提供商中找出能在当前硬件上流畅运行的 LLM 模型。它内置交互式 TUI 与经典 CLI，从质量、速度、适配度、上下文四个维度为每个模型打分，并支持多 GPU、MoE 架构、动态量化、速度估算，及 Ollama、llama.cpp、MLX、LM Studio 等本地运行时。适用于需要本地部署 LLM、在受限硬件上挑选合适模型的开发者与自托管用户。

README

# llmfit <p align="center"> <img src="assets/icon.svg" alt="llmfit icon" width="128" height="128"> </p> <p align="center"> <a href="README.md">English</a> · <b>中文</b> · <a href="README.ja.md">日本語</a> </p> <p align="center"> <a href="https://github.com/AlexsJones/llmfit/actions/workflows/ci.yml"><im…

查看完整页面