AI Gateway:一个用来连接多种人工智能模型的开源网关

46次阅读
没有评论

共计 359 个字符,预计需要花费 1 分钟才能阅读完成。

AI Gateway 是一个用来连接多种人工智能模型的开源工具。它允许开发者通过一个简单的 API 接口来访问超过 100 种不同的大语言模型。包括 OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini 等。安装体积只有 45kb,处理速度提升了 9.9 倍,可以在多个不同的 AI 模型中来回切换。
✅ 极速(快 9.9 倍)且占用空间极小(约 45kb 安装)
✅ 在多个模型、提供商和密钥之间进行负载均衡
✅ 回退机制确保您的应用程序具有弹性
✅ 默认开启带有指数回退的自动重试
✅ 根据需要添加中间件插件
✅ 经过 1000 亿个令牌的实战测试

官网:https://portkey.ai/features/ai-gateway

GitHub 地址:https://github.com/Portkey-AI/gateway

AI Gateway:一个用来连接多种人工智能模型的开源网关

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-17发表,共计359字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码