BerriAI / litellm

∴ 是什么

LiteLLM 是一个开源 AI 网关，提供统一接口以 OpenAI 格式调用 100+ 大语言模型提供商。它既可作为 Python SDK 直接集成，也可部署为集中式代理服务器。核心由 Rust 编写，并提供 Python SDK。

∴ 解决什么问题

• ›不同 LLM 提供商的 SDK、认证方式、请求格式和错误类型各不相同，管理复杂
• ›需要在不重写代码的情况下切换 LLM 提供商
• ›需要生产级网关功能，如虚拟密钥、支出追踪、护栏、负载均衡和管理仪表板
• ›需要将 MCP 服务器或 A2A Agent 接入 LLM

∴ 怎么上手

1. 01安装 SDK：uv add litellm
2. 02安装代理服务器：uv tool install 'litellm[proxy]' 然后运行 litellm --model gpt-4o
3. 03使用 OpenAI SDK 调用网关：设置 base_url 为 http://0.0.0.0:4000

∴ 适合谁

需要使用统一接口调用多种 LLM 的开发者，或需要为团队部署集中式 LLM 网关的组织。

∴ 要点

• ›支持 OpenAI 格式调用 100+ LLM，包括 OpenAI、Anthropic、Bedrock、Azure 等
• ›提供 Python SDK 和 AI Gateway（代理服务器）两种使用方式
• ›内置虚拟密钥、支出追踪、护栏、负载均衡和管理仪表板
• ›支持 MCP 工具接入和 A2A 协议 Agent 调用
• ›提供了独立的 litellm-core 分发，包含 Python SDK，无额外依赖
• ›部署支持 Render、Railway、AWS、GCP

∴ 在榜记录

GitHub Trending 今日榜的每日存档，日期按北京时间。2026-10-09 首次上榜，累计在榜 1 天，最高第 7 名。