LiteLLMmain

官方版无广告13

统一多模型调用的开源网关

更新日期：

2026年10月5日

分类标签：

语言：

多语言

平台：

没限制

0 人已下载手机查看

LiteLLM 是一个开源 AI 网关，能把多家大模型服务接到统一接口，让开发者用接近同一套调用方式切换模型。它提供 Python SDK，也能部署成团队共用的代理服务，适合开发 AI 应用、接入多家模型或集中管理调用费用的技术团队。它的产品形态是开发库和网关，并非一份直接加载的技能说明文件。

适配哪些工具

官方材料称其支持一百多家模型服务商，包括 OpenAI、Anthropic、Gemini、Bedrock 和 Azure，并采用 OpenAI 格式统一调用。接口覆盖聊天、向量嵌入、图像、音频、批处理和重排序等，但各服务商支持的范围不同。

它还支持连接 MCP 服务，以及通过 A2A 协议调用智能体。官方展示了 Cursor 的 MCP 接入配置，也提供通过 Python SDK 调用 Claude Code、Codex、OpenCode 和 Deep Agents 的方法。

直接集成到 Python 项目时，官方使用 uv 添加 litellm 依赖，再导入 completion，并设置所选服务商的 API 密钥。使用网关时，官方通过 uv 安装带 proxy 扩展的 litellm 工具，随后指定模型启动代理。

应用端需要把 OpenAI 客户端的服务地址指向代理，并配置相应密钥。官方另有 Docker 入门教程。所给材料未核实当前版本、完整运行环境要求及许可证条款。

官方 SDK 示例先配置 OpenAI 和 Anthropic 的环境变量密钥，再调用 completion，传入模型名称和消息列表。两次请求分别选择两家服务商的模型，用相同的消息结构发送问候，展示统一调用方式。

MCP 示例先建立客户端会话并初始化，把服务端工具加载为 OpenAI 格式，再将工具列表传给异步模型调用。该示例展示工具接入和请求方法，没有展示完整的工具执行循环。

网关提供虚拟密钥、费用追踪、防护规则、负载均衡和管理面板。材料列有托管服务与企业版入口，但具体价格、功能分层和模型调用费用未核实。官方性能数字有指定压测条件，不能直接视为自身部署的表现。

部分 MCP 服务要求预先注册 OAuth 应用并获得提供方批准；打开授权页面不代表登录或工具调用成功。部署时还需核对目标服务商的接口支持情况。