freellmapi tashfeenahmed

OpenAI-compatible proxy that stacks the free tiers of 28 LLM providers (~4B tokens/month) behind one /v1 endpoint — plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.

Language
TypeScript
Stars
19,672
Forks
2,864

Tags

  • API聚合
  • API代理
  • 多模型聚合
  • 负载均衡
  • 跨模型路由
  • 网关
  • 本地部署
  • TypeScript

README

<div align="center"> # FreeLLMAPI **每月 74 亿词元。34 家免费 LLM 提供方。635 个免费模型端点。一个 OpenAI 兼容端点。** 把几十家提供方的免费额度，连同任意自建的 OpenAI 兼容聊天、嵌入、图像和音频端点，一起聚合到单个 `/v1` API 之后。密钥加密存储。路由器为每个请求挑选当前可用的最佳模型，某家提供方触发限流时自动转移到下一家，并按密钥跟踪用量，让你始终待在各家的免费额度之内。 [![CI](https://github.com/tashfeenahmed/freellmapi/actions/workflows/ci…

查看完整页面