router workweave
Model router for agentic systems. Routes every prompt to the right model in <50ms. Cut costs 40-70% with just an endpoint change.
- 주요 언어
- Go
- Stars
- 2,707
- Forks
- 77
태그
- 모델 라우팅
- LLM 통합
- 비용 관리
- AI 인프라
- 오케스트레이션
- 라이브러리
요약
에이전트 시스템이 프롬프트를 상황에 맞는 올바른 LLM 모델로 자동 라우팅하는 Go 기반 모델 라우터입니다. 단순히 엔드포인트만 변경하면 50ms 미만의 지연 시간으로 비용을 40-70% 절감할 수 있으며, 여러 모델 API를 하나의 엔드포인트로 통합 제공합니다. 비용 효율성과 라우팅 속도가 핵심인 AI 인프라 도구로, 다양한 LLM을 운영하는 기업 및 개발팀에 적합합니다.
README
<div align="center"> <img width="7559" height="1200" alt="Group 1(1)" src="https://github.com/user-attachments/assets/139b6a47-f306-4553-a638-764549a1e76b" /> <svg width="7559" height="1200" viewBox="0 0 7559 1200" fill="none" xmlns="http://www.w3.org/2000/svg"> <g clip-path="url(#clip0_15_12)"> <p…