基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[2]-简洁部署版
1.环境要求
1.1 软件要求
要顺利运行本代码,请按照以下系统要求进行配置
已经测试过的系统
- Linux Ubuntu 22.04.5 kernel version 6.7
其他系统可能出现系统兼容性问题。
最低要求
该要求仅针对标准模式,轻量模式使用在线模型,不需要安装 torch 等库,也不需要显卡即可运行。
- Python 版本: >= 3.8(很不稳定), < 3.12
- CUDA 版本: >= 12.1
推荐要求
开发者在以下环境下进行代码调试,在该环境下能够避免最多环境问题。
- Python 版本 == 3.11.7
- CUDA 版本: == 12.1
1.2 硬件要求
本框架使用 fschat
驱动,统一使用 huggingface
进行推理,其他推理方式 (如 llama-cpp
,TensorRT加速引擎
建议通过推理引擎以 API 形式接