如果你看过我之前写的一篇文章 【AI+应用】怎么快速制作一个类chatGPT套壳网站, 你可能顺利地使用chatGPT、Gemini, 用得很happy。
突然有一天,你发现一些网站,除了chatGPT、Gemini ,还可以切换使用国内外其他的大模型。你肯定想,这些模型我也想拥有。两个字,安排。
先推荐开源软件 lobeChat, https://github.com/lobehub/lobe-chat 。看下官网介绍
1、已支持的模型服务商
-
AWS Bedrock:集成了 AWS Bedrock 服务,支持了 Claude / LLama2 等模型,提供了强大的自然语言处理能力。
-
Google AI (Gemini Pro、Gemini Vision):接入了 Google 的 Gemini 系列模型,包括 Gemini 和 Gemini Pro,以支持更高级的语言理解和生成。
-
ChatGLM:加入了智谱的 ChatGLM 系列模型(GLM-4/GLM-4-vision/GLM-3-turbo),为用户提供了另一种高效的会话模型选择。
-
Moonshot AI (月之暗面):集成了 Moonshot 系列模型,这是一家来自中国的创新性 AI 创业公司,旨在提供更深层次的会话理解。
2、支持本地大语言模型 (LLM),基于 Ollama 支持了本地模型的使用。 之前我写过一篇 【人工智能】电脑本地从零开始搭建属于自己的大模型
3 模型视觉识别 (Model Visual)
4 TTS & STT 语音会话
5 Text to Image 文生图
6 插件系统 (Function Calling)
这些功能,不都是我们想要的么, 各种大模型,本地大模型, 文生图、语音等。
使用也特别简单,如果你电脑安装过docker的话, docker不会用建议看一下菜鸟教程,这里就不写了。 https://www.runoob.com/docker/docker-tutorial.html
docker run -d -p 3210:3210 -e OPENAI_API_KEY=sk-xxxx
-e OPENAI_PROXY_URL=https://api.xxx/v1
-e ACCESS_CODE=lobe66
--name lobe-chat lobehub/lobe-chat
其中OPENAI_API_KEY、OPENAI_PROXY_URL 换成自己的。如果服务器搭建在国外,直接可以访问,问题不大。如果国内呢,要么通过魔法直接官方获取地址,要么使用国内api代理来获取。
之前有同学私信我,想免费安装试用下找下感觉。这里推荐一个开源项目
https://github.com/chatanywhere/GPT_API_free , GPT3.5按照readme流程可以免费试用,我试用了下GPT3.5没问题。它也提供付费的服务(国内api代理),我没用过,不做推荐。
对于程序员来说,API接口调用大模型 是项目想做的事情。国内外这么多大模型,我能不能用一套接口调用这些模型?
这里分2种情况, 如果你是一名大模型应用开发工程师, 肯定会想到LangChain 应用开发框架来搞。但大部分可能是传统的web应用开发工程师, 那么one-api这个项目 就比较合适你。项目地址 https://github.com/songquanpeng/one-api 。
这里不废话,直接截图
用一套数据接口完成不同大模型的丝滑切换, 对于程序员来说,你肯定不希望 一会对接下文心一言api,一会对接下通义千问api吧。