01WHAT IT SOLVES
这个项目解决什么问题？
litellm 是面向大模型应用的开源 AI 网关与 Python SDK，可直接集成到代码中，也可作为代理服务集中部署。它位于业务应用与各模型供应商之间，把不同厂商的鉴权、请求格式和错误类型收敛为 OpenAI 风格接口，并提供虚拟密钥、成本追踪、预算管理、护栏、路由、负载均衡和日志。相比逐家维护供应商 SDK，它承担适配层与治理层角色，让开发侧保持统一调用方式，让平台侧集中管理访问、用量与故障转移。
02CORE CAPABILITIES
核心能力
统一模型接口
以 OpenAI 风格接口调用百余种模型服务，减少业务代码中的供应商适配工作。
双形态集成
提供 Python SDK 和代理服务，可嵌入代码，也可作为团队级统一入口部署。
路由与容错
支持自动路由、重试、跨部署回退及流式响应中途回退续接。
治理与观测
提供虚拟密钥、预算、护栏、成本追踪、负载均衡、日志和管理界面。
智能体与工具接入
支持通过网关调用 MCP 工具和 A2A 智能体，也可接管代理框架的模型请求。
03适合谁
- 需要调用和切换多个大模型供应商的开发者
- 负责模型接入与统一 API 的 AI 平台团队
- 需要多租户成本追踪和虚拟密钥的组织
- 需要构建 MCP、A2A 智能体接入层的技术团队
04典型使用场景
- 在不重写业务调用代码的情况下切换模型供应商
- 为多个团队或项目提供统一的模型 API 与访问控制
- 统计用户和项目用量并执行预算限制
- 集中接入 MCP 工具、A2A 智能体与多类模型端点
05为什么值得关注
- 同时覆盖 SDK 与网关两种接入方式，适用场景较完整
- 将供应商适配、容错、成本与权限治理放在同一项目中
- 持续扩展模型端点、Agent Harness、MCP 和 A2A 能力
- 近期版本密集修复路由、计费、代理安全和 Redis 隔离等问题
06采用前要注意
- 各模型供应商支持的端点并不完全一致，具体能力需按提供方核对
- 完整生产代理通常涉及 PostgreSQL、Redis、对象存储及多个独立服务
- litellm 与 litellm-core 包含重叠文件，同一环境不能同时安装
- 单点登录、专业支持、定制集成及部分商业许可功能不包含在开源版本中
07RELEASE INTELLIGENCE
近期版本变化
litellm v1.108.6：LTS 分支集中回补修复
该 LTS 版本回补了工具选择、预算重置、用户支出拆分、Responses、MCP 和代理安全等修复，并沿用 cosign 镜像签名说明。使用 1.108.x 分支的团队应关注这些变更，尤其是依赖预算、代理或 MCP 能力的部署。
- 回补代理安全修复及过期集成测试修正
- 修复工具选择和用户聚合路由的支出明细
- 更新 Responses、MCP 与预算重置相关行为
- 发布 Docker 镜像签名验证说明
litellm v1.106.9：补齐订阅转发与代理安全修复
该稳定分支版本回补了 ChatGPT 客户端订阅转发能力，并同步加入代理安全修复。依赖相关订阅调用或运行 1.106.x 代理的团队需要评估升级；发布说明未提供更多细节。
- 回补 ChatGPT 客户端订阅转发能力
- 同步回补代理安全修复
- 版本号更新至 1.106.9
litellm v1.106.8：修正转录成本与计费口径
该版本修正部分 FLAC 文件转录成本错误，并改为按供应商报告的 usage.seconds 计算逐秒转录费用，可能影响预算统计和用量日志。官方说明无需强制升级，但使用转录计费的团队应关注结果变化。
- 修正部分 FLAC 文件不准确的转录成本
- 逐秒转录改用供应商上报的 usage.seconds
- 官方说明此次升级无需额外操作
litellm v1.109.0：路由缓存与计费规则需迁移
该版本包含路由回退、缓存后端、速率限制、Gemini 参数及 Lens 部署方式等五项需要处理的变更，同时新增聊天界面、中途流式回退和离线模式。升级前必须按官方迁移项调整配置，避免路由、缓存和计费行为与预期不符。
- 字符串回退目标需改为模型名称列表
- 磁盘缓存后端已移除，需改用 local 或 redis
- 新增聊天界面、中途回退与离线模式
- Gemini 新模型需停止发送不兼容参数
litellm v1.110.0-rc.1：集中修正路由与超时行为
该候选版本加入整次非流式请求的总超时限制，修正工具选择、空密钥错误、流式回退、Redis 批次作用域泄漏及代理权限处理等问题。正在评估 1.110 分支的团队应重点审查超时、路由和隔离行为变化；官方说明未提供更多细节。
- 新增覆盖整次非流式请求的 total_timeout
- 修复流式回退、Redis 批次作用域和注册表锁问题
- 修正空密钥返回、工具选择及代理权限处理
- 优化路由部署读取并缓存 Anthropic 能力探测结果
litellm v1.108.5：修复身份验证与并行工具调用
LTS 版本修复无密钥工作负载身份在多条 OpenAI 路由上返回 401、Ollama 并行工具调用索引错误，以及消息接口参数丢弃等问题，同时修正 FLAC 转录成本。官方说明无需为升级采取额外操作，相关用户可按自身部署路径验证。
- 修复 OpenAI 图像编辑、音频、文件和批处理等路由的工作负载身份认证
- 修复 Ollama Chat 并行工具调用索引始终为零的问题
- 修复消息接口忽略 additional_drop_params 参数的问题
- 修正部分 FLAC 文件的转录成本统计
litellm v1.104.9：优化大流量日志查询
本次更新改进日志视图在大量消费记录表中的请求查询，并在迁移后补建缺失索引。该变化主要影响承担高频调用和大规模日志查询的团队，官方说明无需为升级采取额外操作。
- 优化 Logs 视图在大型消费日志表上的请求查询性能
- 数据迁移后可自动补建查询所需索引
litellm v1.103.11：维护分支回补日志索引
该版本向stable/1.103.x回补SpendLogs自动索引构建，并同步提升LiteLLM版本号。影响仍在1.103稳定分支运行且使用消费日志的团队；官方说明未提供更多细节，非该维护分支用户无需仅据此升级。
- 回补SpendLogs自动索引构建
- 将litellm版本更新至1.103.11
- 变更范围限定在1.103稳定维护分支
litellm v1.108.4：修复多提供商调用与密钥路由异常
LTS 补丁版集中修复 AWS Bedrock、Vertex AI、Messages API、视频轮询和团队密钥路由等问题，并恢复基础安装下带工具调用的 SDK 功能。涉及 Bedrock、Gemini、Claude Messages、OpenAI 兼容接口及 MCP 工具调用的用户需要关注；官方说明无需为升级采取额外操作。
- 修复 Bedrock 携带 Claude 签名思考内容时出现的 400，并调整 guardrailConfig 优先级
- 修复 Vertex AI Claude 批处理创建返回 404，以及聊天模型跨轮加密推理丢失问题
- 修复团队密钥误用代理级通配部署和基础安装缺少 mcp 模块的问题
litellm v1.110.0-dev.2：补强路由记录与成本控制
开发版加入按密钥或团队关闭提示存储、预置凭证护栏模式和 Gemini 2.5 Pro 大上下文缓存价格，并修复 Responses 流式事件、Vertex AI 透传认证、Redis 熔断器共享及 Anthropic 工具参数分片等问题。适合提前验证新功能的团队，不宜直接替代稳定版本；官方说明未提供更多细节。
- 支持按密钥或团队关闭提示存储，并新增多家模型服务的预置凭证护栏模式
- 修复路由重试与回退记录、Responses SSE 事件封装和无输出回复缓存问题
- 扩展 Azure AI 重排模型、Gemini 缓存价格及多款模型的定价目录