简介

它允许开发者通过一个简单的API接口来访问超过100种不同的大语言模型。包括OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等。

安装体积只有45kb，处理速度提升了9.9倍，可以在多个不同的AI模型中来回切换。

可以根据自己的需要进行灵活配置。

Portkey AI Gateway就像是一个AI模型的交换站，让开发者可以方便地使用和切换多种AI服务。

主要功能

• 高速性能和小体积：Gateway相比于其他方法有着更快的处理速度（速度提升了9.9倍），同时安装体积小（约45kb）。
• 同时连接多个AI模型：可以同时连接多个不同的AI服务，比如谷歌和OpenAI的不同AI模型。
• 具备故障转移功能：如果一个AI模型出现问题，它会自动切换到另一个模型，确保服务的稳定性。
• 自动重试：自带自动重试机制，采用指数回退策略，减少网络负载。
• 可定制配置：用户可以根据自己的需要调整设置，比如如何分配请求到不同的AI模型。
• 语义缓存：加速重复查询，提高响应时间，降低成本。
• 实战测试：已经在超过1000亿个令牌上进行了测试。

项目地址

GitHub：https://github.com/Portkey-AI/gateway官网：https://portkey.ai/features/ai-gateway