一种调用所有LLM模型API的方式

公众号：【可乐前端】，每天3分钟学习一个优秀的开源项目，分享web面试与实战知识，也有全栈交流学习摸鱼群，期待您的关注!

每天3分钟开源

hi，这里是每天3分钟开源，很高兴又跟大家见面了，今天介绍的开源项目简介如下：

仓库名：BerriAI/litellm

项目名：litellm

开源地址：https://github.com/BerriAI/litellm

主要语言： Python

stars数量：6773

forks数量：738

开源协议：Other

一句话介绍

这是一个能够使用OpenAI格式调用所有LLM API的开源项目。

详细描述

LiteLLM 是一个公共项目，它可以使用OpenAI格式调用所有的LLM API。

这款工具支持使用Bedrock、Azure、OpenAI、Cohere、Anthropic、Ollama、Sagemaker、HuggingFace、Replicate等（100+ LLMs）。

LiteLLM 能够将输入翻译成供应商的完成、嵌入和图像生成端点。输出始终保持一致，文本响应始终可以在 ['choices'][0]['message']['content'] 中找到。LiteLLM 还具有重试/回退逻辑，可以跨多个部署（例如 Azure/OpenAI）进行路由。

此外，LiteLLM 还允许你为每个项目、API密钥和模型设置预算和速率限制。

具体功能

LiteLLM 可以调用所有供应商（包括Bedrock、Huggingface、VertexAI、TogetherAI、Azure、OpenAI等）的所有LLM API，从而管理各种功能。
LiteLLM 提供了一致的输出格式，使得文本响应始终可以在特定的位置找到。
LiteLLM 具备重试/回退逻辑，能够在多个部署之间进行路由，如Azure和OpenAI。
LiteLLM 允许为每个项目、API密钥和模型设置预算和速率限制。
LiteLLM 提供了稳定的版本发布，例如推荐的稳定代理版本v 1.30.2。
LiteLLM 支持更多的供应商，如果缺少供应商或LLM平台，可以提出功能请求。

如何使用

安装 LiteLLM

pip install litellm

设置环境变量

import os
os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["COHERE_API_KEY"] = "your-cohere-key"

创建消息

messages = [{"content": "Hello, how are you?","role": "user"}]

调用模型

from litellm import completion
# openai call
response = completion(model="gpt-3.5-turbo", messages=messages)
# cohere call
response = completion(model="command-nightly", messages=messages)
print(response)

在调用模型时，你可以指定任何供应商支持的模型，模型的格式为 <provider_name>/<model_name>。每个供应商可能有特定的细节，因此需要参考供应商的文档以获取更多信息。