ubuntu系统个人部署LangChain过程

 官方教程,github和huggingface都需要梯子:

开发环境部署 · chatchat-space/Langchain-Chatchat Wiki (github.com)

具体参考官方的,这里额外记录一下官方文档里面没有写的。

安装前,确保openSSL版本是新的

查看当前环境下是否有sqlie3、libbz2

安装命令:sudo apt-get install libsqlite3-dev libbz2-dev

确保python环境是3.11.7(目前阶段,之后更新可能版本要求更高)

 用wget形式下载python3.11.7,之后编译时命令为:

./configure --enable-loadable-sqlite-extensions --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib"

需要把之前的sqlie3、libbz2一起编译进去,否则之后会缺少模组

确保cuda版本在>=12.2,命令:nvidia-smi

查看pyTorch版本是否和cuda一致,根据英伟达网站安装对应pyTorch版本

Previous PyTorch Versions | PyTorch

下载huggingface的模型需要梯子,太费时间,可以去国产gitee上搜索相关模型,用国产链接下载

bge-large-zh-v1.5: Mirror of https://huggingface.co/BAAI/bge-large-zh-v1.5 (gitee.com)chatglm3-6b: Mirror of https://huggingface.co/THUDM/chatglm3-6b (gitee.com)bge-large-zh-v1.5: Mirror of https://huggingface.co/BAAI/bge-large-zh-v1.5 (gitee.com)

这俩是Embedding模型和LLM 模型,不同功能

用git下载完俩大模型以后,会自动创建文件夹,然后修改文件

Langchain-Chatchat/configs/model_config.py
 

修改里面的MODEL_ROOT_PATH的值,因为git创建好文件夹正好与文件下面的MODEL_PATH里的默认路径对上,所以只改这里就行了

import os

# 可以指定一个绝对路径,统一存放所有的Embedding和LLM模型。
# 每个模型可以是一个单独的目录,也可以是某个目录下的二级子目录。
# 如果模型目录名称和 MODEL_PATH 中的 key 或 value 相同,程序会自动检测加载,无需修改 MODEL_PATH 中的路径。
MODEL_ROOT_PATH = "/opt/"

 ubuntu@VM-2-14-ubuntu:~$ ll /opt/
total 51756
drwxr-xr-x  9 root   root       4096 Feb 20 15:40 ./
drwxr-xr-x 20 root   root       4096 Feb 20 18:15 ../
drwxr-xr-x  4 root   root       4096 Feb 20 09:45 bge-large-zh-v1.5/
-rw-r--r--  1 root   root      16171 Feb 20 15:40 bzip2-1.0.6.tar.gz
drwxr-xr-x  3 root   root       4096 Feb 19 16:17 chatglm3-6b/

 

其他细节参考官方文档里的直接启动就行了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/692940.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

从宏观到微观——泽攸科技ZEM系列台式扫描电子显微镜在岩石分析中的应用

岩石作为地球地壳的主要构成物质之一,其微观结构对于了解地质过程、资源勘探以及工程建设具有重要意义。按照岩石的成因,可以把它们分为三类:岩浆岩、沉积岩和变质岩。在地球表面,沉积岩占据75%的份额,而在地壳深度&am…

简单计算器的实现

思路: 1.记录输入的中缀表达式(运算符在中间,我们正常写的式子) 2.将中缀表达式——>后缀表达式 由左到右遍历中缀表达式,若是数字,用数组或队列记录(记录后缀表达式);若是符号,与操作符栈中的栈顶元素…

SVN服务备份

hotcopy备份 window批处理 保存以下内容到svn_buckup.bat,确保内容的路径正确,最后双击bat文件进行备份即可 echo offrem SVN安装路径 set svn"C:\Program Files\VisualSVN Server\bin"rem 仓库根目录 set homeE:\Repositories\WorkSpacere…

vue2的ElementUI的form表单报错“Error: [ElementForm]unpected width”修复

1. 问题 ElementUI的form表单,当动态切换显示表单时报错 Error: [ElementForm]unpected width。 翻译过来就是form表单的label宽度width出了问题。 2. 分析 参数说明类型可选值默认值label-width表单域标签的宽度,例如 ‘50px’。作为 Form 直接子元…

【Simulink系列】——动态系统仿真 之 连续系统线性连续系统

声明:本系列博客参考有关专业书籍,截图均为自己实操,仅供交流学习! 一、连续系统定义 连续系统输出在时间上连续变化,而非间隔采样取值,满足以下条件: ①输出连续变化,变化的间隔…

OpenAI 的 Sora AI 视频生成器太疯狂了

毫不夸张地说,当我第一次看到 Sora 生成的前几个视频时,我的下巴都惊掉了。 Sora是什么? Sora 是一种人工智能模型,可以根据简单的文本提示生成视频。它能够生成一分钟的高保真视频。 Sora 是一种扩散模型,一种先进的…

阿赵UE学习笔记——15、灯光的移动性概念和构建光照信息

阿赵UE学习笔记目录   大家好,我是阿赵。   继续学习虚幻引擎,这次来学习一下UE里面灯光的移动性概念和构建光照信息。 1、灯光移动性 打开一个带有灯光的场景 在大纲面板里面找到其中一个灯光: 会发现灯光的细节面板里面,…

智慧环卫建设方案

三、软件工程的总体构架 3.1框架构建基准 3.2框架设计 四、业务应用层主要功能模块 4.1数据字典管理模块 数据字典主要包含有(GIS)地理信息管理系统、信息安全管理系统、平台接口管理系统等三个方面的管理应用; 1).(GIS&#…

「Python系列」Python字典

文章目录 一、Python字典创建字典访问字典中的元素修改字典删除字典中的元素遍历字典字典推导式 二、Python字典内置函数&方法内置函数字典方法 三、Python简介四、相关链接 一、Python字典 在Python中,字典(dict)是一个无序的键值对集合…

springboot/ssmHome F家居系统Java家居商城购物管理系统

springboot/ssmHome F家居系统Java家居商城购物管理系统 开发语言:Java 框架:springboot(可改ssm) vue JDK版本:JDK1.8(或11) 服务器:tomcat 数据库:mysql 5.7&…

package.json文件详解

packages.json文件里面配置的属性的含义 name和version 以上两个是最重要的两个属性,否则模块无法被安装,一起形成了它的唯一标识符 模版中内容变化,版本也要随之一起变化 description 描述,方便别人理解模块作用 main 程序…

3、windows环境下vscode开发c/c++环境配置(二)

前言:上一篇文章写了windows环境下,配置vscode的c/c开发环境,这一篇讲vscode开发c/c的配置文件,包括c_cpp_propertues.json,task.json及launch.json。 一、总体流程 通过c/c插件我们就可以来编写c/c程序了&#xff0c…

【ArcGIS微课1000例】0104:二位面状数据转三维多面体(建筑物按高度拉伸)

文章目录 一、加载数据二、添加高度字段三、三维拉伸显示四、生成三维体数据五、注意事项一、加载数据 打开ArcScene,加载配套实验数据(0104.rar中的二维建筑物矢量数据,订阅专栏,获取专栏所有文章阅读权限及配套数据),如下图所示: 二、添加高度字段 本实验将二维数据…

3、电源管理入门之CPU热插拔详解

目录 简介 1. 省电技术概览 (1)、cpu hotplug和idle的区别? 2. 热插拔代码介绍 (1)、为什么以cpu1为例? 3. ATF中处理 简介 之前介绍了电源的开机和关机重启,本小节开始介绍省电的技术,其中最暴力的省电方法就是直接拔核hotplug处理,就像需要…

什么是 Wake-on-LAN?如何使用 Splashtop 远程喊醒电脑

在当今数字互联的世界里,远程访问电脑已不仅仅是一种便利,而是许多人的需要。无论是远程工作、IT 支持,还是管理整个网络中的计算机群,我们都必须掌握正确的工具和技术。 其中一项在远程访问中发挥关键作用的技术是 Wake-on-LAN …

带你了解SMTP,POP3,IMAP协议

电子邮件(email)是一种电子通信方式,可以通过网络传输文本、图像、音频和视频等信息。在发送和接收电子邮件时,需要使用一种称为“邮件协议”的标准化协议。常用的电子邮件协议有SMTP、POP3和IMAP。 SMTP(Simple Mail…

【LeetCode周赛】第 384 场周赛

目录 3033. 修改矩阵 简单3034. 匹配模式数组的子数组数目 I 中等3035. 回文字符串的最大数量 中等3036. 匹配模式数组的子数组数目 II 困难 3033. 修改矩阵 简单 3033. 修改矩阵 分析: 获取每一列的最大元素,将矩阵中的 -1 替换成每一列的最大元素。 …

java开源xml工具类介绍

在Java中处理XML的常用开源工具有很多,以下是一些流行的库以及简单的示例代码: DOM4J DOM4J 是一个非常流行的Java库,用于处理XML,DOM4J 易于使用,并且提供了很好的性能。 Maven 依赖 …

游戏物理引擎+特效系统

原文链接:游戏开发入门(六)游戏物理引擎_游戏开发物理引擎-CSDN博客 游戏开发入门(七)特效系统_csdn 游戏效果开发-CSDN博客 1.游戏应用物理的目的就是为了真实 2.物理引擎: 可以认为属于游戏引擎的一个…

挑战杯 基于LSTM的天气预测 - 时间序列预测

0 前言 🔥 优质竞赛项目系列,今天要分享的是 机器学习大数据分析项目 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐! 🧿 更多资料, 项目分享: https://gitee.com/dancheng-senior/po…