平台介绍:
LangChat是Java生态下企业级AIGC项目解决方案,集成RBAC和AIGC大模型能力,帮助企业快速定制AI知识库、企业AI机器人。
支持的AI大模型:Gitee AI / 阿里通义 / 百度千帆 / DeepSeek / 抖音豆包 / 智谱清言 / 零一万物 / 讯飞星火 / OpenAI / Gemini / Ollama / Azure / Claude 等大模型。
开源版本是langchat,商业版本为langchat pro,pro版本支持流程引擎。
模型管理:
模型基于ollama配置的qwen、deepseek等模型。Embedding模型由于不支持Xinference直接采用阿里百炼配置的云端模型。
向量库管理:
向量库支持Redis、Pgvector、Milvus共3个数据库。这里基于pgvector作了测试。
知识库管理:
数据导入支持主流格式的文件导入。文档管理只能进行删除操作。切片管理只可以进行删除操作,不能进行编辑。向量搜索可以对知识库进行召回测试。
AI应用管理配置:
新建一个政务问答的智能体,并进行提示词、知识库、模型等的配置。
知识库问答测试:
回答的都是正确的。缺点是没有对应文件的引用。
总结:
- 知识库问答召回来看还是可以的,和dify差不多。
- 向量库管理+知识库管理,其实就是dify里面的知识库管理。这样分开设置也许也有优势吧,暂时还没体验到。知识库里面的分段设置、召回设置不像dify丰富。但是默认的chunk切分是优于dify的。
- 知识库问答缺少文件出处引用。
- 免费版没有流程引擎,pro版才会有。
- 支持api方式发布,发布方式没有dify全面多样,但是最核心的api方式有,主打够用。
- 模型部署接入不支持xinference,这点还是很不友好。
- 知识库迁移问题,应该基于PGSQL、redis就可以做到。
- 开源大平台 vs 收费小平台,商业化使用后续颠覆重来的问题。
参考链接:
https://github.com/TyCoding/langchat
LangChat如何接入DeepSeek-R1模型 | LangChat Docs