freellmapi tashfeenahmed

OpenAI-compatible proxy that stacks the free tiers of 28 LLM providers (~4B tokens/month) behind one /v1 endpoint — plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.

主要语言
TypeScript
Stars
19,672
Forks
2,864

标签

  • API聚合
  • API代理
  • 多模型聚合
  • 负载均衡
  • 跨模型路由
  • 网关
  • 本地部署
  • TypeScript

摘要

FreeLLMAPI 是把数十家 LLM 提供方免费额度聚合到单一 OpenAI 兼容 /v1 端点的路由代理，合计约每月74亿词元免费推理。核心功能包括智能路由为每请求挑选最佳模型、触发限流时自动故障转移、密钥加密存储、按密钥跟踪用量以确保不超出免费额度，并支持 Anthropic、Gemini、Ollama 等协议兼容各类 CLI 与编程智能体。适合个人实验场景，用于在多种本地与远程免费模型间透明调度，避免手工维护多套 SDK 和限流规则。

README

<div align="center"> # FreeLLMAPI **每月 74 亿词元。34 家免费 LLM 提供方。635 个免费模型端点。一个 OpenAI 兼容端点。** 把几十家提供方的免费额度，连同任意自建的 OpenAI 兼容聊天、嵌入、图像和音频端点，一起聚合到单个 `/v1` API 之后。密钥加密存储。路由器为每个请求挑选当前可用的最佳模型，某家提供方触发限流时自动转移到下一家，并按密钥跟踪用量，让你始终待在各家的免费额度之内。 [![CI](https://github.com/tashfeenahmed/freellmapi/actions/workflows/ci…

查看完整页面