LlamaIndex ollama 搭建本地RAG应用，建立本地知识库

目录

    • 简介
    • 安装前的准备
      • 下载ollama
      • 创建llamaindex conda环境，为后面编码作准备
    • 环境变量
    • 迁移ollama到其他盘
    • 运行ollama
      • 方式一
      • 方式二
      • 禁止ollama开机自启动
      • 运行第一个模型
    • Chatbox聊天
      • 下载Chatbox
      • 配置ollama地址和模型
      • 验证
    • 建立自身特定知识数据搭配大语言模型
      • 创建项目环境
      • 代码
      • 运行结果
      • streamlit应用
    • 本文所使用的源码地址
    • 参考

简介

  • ollama：本地运行大型语言模型的工具软件。用户可以轻松下载、运行和管理各种开源 LLM。降低使用门槛，用户能快速启动运行本地模型。
  • LlamaIndex：用来连接大语言模型和外部数据的框架(外部数据指自身领域的特定知识)，它将两者结合起来，提升回答的准确性。

安装前的准备

下载ollama

  • ollama官方下载地址 https://ollama.com/download ,目前最新版是0.4.2。
    在这里插入图片描述

创建llamaindex conda环境，为后面编码作准备

  • 为啥要用conda呢？

后面要编码，考虑不同项目依赖的python版本可能不同，用conda来管理,可以快速新增python环境，如果环境搞砸了，用命令删除也很方便。

  • conda下载地址 https://www.anaconda.com/download/success
    在这里插入图片描述

环境变量

参数标识与配置
OLLAMA_MODELS表示模型文件的存放目录，默认目录为当前用户目录即 C:\Users%username%.ollama\models
Windows 系统 建议不要放在C盘，可放在其他盘（如 d:\software\ollama\models）
OLLAMA_HOST表示ollama 服务监听的网络地址，默认为127.0.0.1
如果想要允许其他电脑访问 Ollama（如局域网中的其他电脑），建议设置成 0.0.0.0
OLLAMA_PORT表示ollama 服务监听的默认端口，默认为11434
如果端口有冲突，可以修改设置成其他端口（如8080等）
OLLAMA_ORIGINS表示HTTP 客户端的请求来源，使用半角逗号分隔列表
如果本地使用不受限制，可以设置成星号 *
OLLAMA_KEEP_ALIVE表示大模型加载到内存中后的存活时间，默认为5m即 5 分钟
（如纯数字300 代表 300 秒，0 代表处理请求响应后立即卸载模型，任何负数则表示一直存活）
建议设置成 24h ，即模型在内存中保持 24 小时，提高访问速度
OLLAMA_NUM_PARALLEL表示请求处理的并发数量，默认为1 （即单并发串行处理请求）
建议按照实际需求进行调整
OLLAMA_MAX_QUEUE表示请求队列长度，默认值为512
建议按照实际需求进行调整，超过队列长度的请求会被抛弃
OLLAMA_DEBUG表示输出 Debug 日志，应用研发阶段可以设置成1 （即输出详细日志信息，便于排查问题）
OLLAMA_MAX_LOADED_MODELS表示最多同时加载到内存中模型的数量，默认为1 （即只能有 1 个模型在内存中）

  • 注意下OLLAMA_HOST，好像会自动创建用户环境变量。本地直接用127.0.0.1。方便调试。
    在这里插入图片描述

  • OLLAMA_MODELS环境建议配置一下，默认是在C盘，一个模型一般是几个G。比较占用空间。
    在这里插入图片描述

迁移ollama到其他盘

  • 由于ollama是直接安装在C盘，C盘如果空间紧张，可以像我一样迁移到D盘，如果觉得没有必要，可忽略此步骤。
    • 方法就是在C盘创建软链接，将真是数据放到D盘。

Administrator 是我的用户名

mklink /D C:\Users\Administrator\.ollama D:\software\Ollama\.ollama
mklink /D C:\Users\Administrator\AppData\Local\Ollama D:\software\Ollama\log
mklink /D C:\Users\Administrator\AppData\Local\Programs\Ollama D:\software\Ollama\app
  • 迁移后的结果
    在这里插入图片描述

运行ollama

方式一

  • 在程序栏中找到
    在这里插入图片描述
    点击就会运行。然后右下角会出现ollama的小图标。
    在这里插入图片描述

方式二

  • 在命令行中输入 ollama serve (我没有独显，是以CPU方式运行的)
    在这里插入图片描述

禁止ollama开机自启动

  • 如果不想让ollama开机自启动，打开任务管理器， 到 启动 栏目，选中右键 -> 禁用止自启动。

在这里插入图片描述

运行第一个模型

  • 打开https://ollama.com/ 网站在输入框中输入qwen。进入qwen2.5-coder,coder表示对编程方面的问题有优化。在这里插入图片描述
  • 在详情页面可以看到各种版本tag。可以根据自身电脑配置情况使用哪一个。一般来说模型越大就越消耗资源。
    在这里插入图片描述
  • 我选择的是当前最新版本。运行的命令是。如何没有就会先下载。
ollama run qwen2.5-coder

在这里插入图片描述

  • 运行后的界面如下图所示。
    在这里插入图片描述
  • 然后我们输入一个问题，验证是否成功。13.8与13.11哪个大？
    在这里插入图片描述
  • 可以看出答案正确，安装成功了。

Chatbox聊天

  • 面对CMD的窗口聊天体验不太好，所以我们用一下Chatbox软件。

下载Chatbox

  • 下载地址 https://chatboxai.app/en
    在这里插入图片描述

配置ollama地址和模型

  • 第一个下拉框选择 ollama ， 下面的下拉框选地址和模型配置。
    在这里插入图片描述

验证

  • 我们输入一个问题，验证是否成功。13.8与13.11哪个大？

在这里插入图片描述

  • 结果正确。

  • 然后我们再试一个冷门问题介绍一下CSDN博主愤怒的苹果ext擅长什么？ 。
    在这里插入图片描述

  • 可以看出这个问题它是不知道的。

建立自身特定知识数据搭配大语言模型

  • 一般对于模型不知道或不准确的回答有两种解决方案
    • 1、模型微调。
    • 2、建立自身特定知识数据 + 大语言模型
  • 对于要求准确度不是很高的场景一般会采用建立自身特定知识数据的方案。本文要实践的就是这种方案。

创建项目环境

  • 利用conda创建
 conda create -n llamaindex python=3.10.13conda activate  llamaindex#  安装依赖
pip install llama-index
pip install llama-index-llms-ollama
pip install llama-index-embeddings-ollama
pip install llama-index-readers-file

  • 如果不知道怎么在pycharm中应用conda环境，可以看我这篇文章 https://blog.csdn.net/baidu_19473529/article/details/143442416，就不再赘述。

  • 拉取嵌入模型.

ollama pull quentinz/bge-small-zh-v1.5

代码

  • test.py
 
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.llms.ollama import Ollama
from llama_index.core.node_parser import SentenceSplitter
import logging
import sys# 增加日志信息
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))
# 配置 嵌入模型/预训练，这里我们用quentinz/bge-small-zh-v1.5
from llama_index.embeddings.ollama import OllamaEmbedding
Settings.embed_model = OllamaEmbedding(model_name="quentinz/bge-small-zh-v1.5")
# 配置ollama的LLM模型，这里我们用qwen2.5-coder
Settings.llm = Ollama(model="qwen2.5-coder", request_timeout=600.0)#特定知识数据
data_file = ['D:/work/self/Llamaindex-sample/data/a.txt']
documents = SimpleDirectoryReader(input_files=data_file).load_data()
index = VectorStoreIndex.from_documents(documents, transformations=[SentenceSplitter(chunk_size=256)])query_engine = index.as_query_engine(similarity_top_k=5)
response = query_engine.query("介绍一下CSDN博主愤怒的苹果ext擅长什么？")
print(response)
  • 特定知识数据内容 a.txt
 CSDN博主愤怒的苹果ext擅长Ai、Fw、Fl、Br、Ae、Pr、Id、Ps等软件的安装与卸载，精通CSS、JavaScript、PHP、ASP、C、C＋＋、C#、Java、Ruby、Perl、Lisp、python、Objective-C、ActionScript、Pascal等单词的拼写，熟悉Windows、Linux、Mac、Android、IOS、WP8等系统的开关机。

运行结果

在这里插入图片描述

  • 可以看出现在的运行结果基本上就是我们想要的结果了。

streamlit应用

  • 通过硬编码的方式去问答没有图形化界面方便，下面引入streamlit就能得到干净好看的Web问答界面了，

  • 命令行运行

 pip install streamlit
  • 代码 app.py
import streamlit as st
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.ollama import OllamaEmbedding
from llama_index.llms.ollama import Ollama
from llama_index.core.memory import ChatMemoryBuffer
import os
import tempfile
import hashlib# OLLAMA_NUM_PARALLEL：同时处理单个模型的多个请求
# OLLAMA_MAX_LOADED_MODELS：同时加载多个模型
os.environ['OLLAMA_NUM_PARALLEL'] = '2'
os.environ['OLLAMA_MAX_LOADED_MODELS'] = '2'# Function to handle file upload
def handle_file_upload(uploaded_files):if uploaded_files:temp_dir = tempfile.mkdtemp()for uploaded_file in uploaded_files:file_path = os.path.join(temp_dir, uploaded_file.name)with open(file_path, "wb") as f:f.write(uploaded_file.getvalue())return temp_dirreturn None# Function to calculate a hash for the uploaded files
def get_files_hash(files):hash_md5 = hashlib.md5()for file in files:file_bytes = file.read()hash_md5.update(file_bytes)return hash_md5.hexdigest()# Function to prepare generation configuration
def prepare_generation_config():with st.sidebar:st.sidebar.header("Parameters")max_length = st.slider('Max Length', min_value=8, max_value=5080, value=4056)temperature = st.slider('Temperature', 0.0, 1.0, 0.7, step=0.01)st.button('Clear Chat History', on_click=clear_chat_history)generation_config = {'num_ctx': max_length,'temperature': temperature}return generation_config# Function to clear chat history
def clear_chat_history():st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，你需要什么帮助吗？"}]# File upload in the sidebar
st.sidebar.header("Upload Data")
uploaded_files = st.sidebar.file_uploader("Upload your data files:", type=["txt", "pdf", "docx"],accept_multiple_files=True)generation_config = prepare_generation_config()# Function to initialize models
@st.cache_resource
def init_models():embed_model = OllamaEmbedding(model_name="quentinz/bge-small-zh-v1.5")Settings.embed_model = embed_modelllm = Ollama(model="qwen2.5-coder", request_timeout=360.0,num_ctx=generation_config['num_ctx'],temperature=generation_config['temperature'])Settings.llm = llmdocuments = SimpleDirectoryReader(st.session_state['temp_dir']).load_data()index = VectorStoreIndex.from_documents(documents)memory = ChatMemoryBuffer.from_defaults(token_limit=4000)chat_engine = index.as_chat_engine(chat_mode="context",memory=memory,system_prompt="You are a chatbot, able to have normal interactions.",)return chat_engine# Streamlit application
st.title("💻 Local RAG Chatbot 🤖")
st.caption("🚀 A RAG chatbot powered by LlamaIndex and Ollama 🦙.")# Initialize hash for the current uploaded files
current_files_hash = get_files_hash(uploaded_files) if uploaded_files else None# Detect if files have changed and init models
if 'files_hash' in st.session_state:if st.session_state['files_hash'] != current_files_hash:st.session_state['files_hash'] = current_files_hashif 'chat_engine' in st.session_state:del st.session_state['chat_engine']st.cache_resource.clear()if uploaded_files:st.session_state['temp_dir'] = handle_file_upload(uploaded_files)st.sidebar.success("Files uploaded successfully.")if 'chat_engine' not in st.session_state:st.session_state['chat_engine'] = init_models()else:st.sidebar.error("No uploaded files.")
else:if uploaded_files:st.session_state['files_hash'] = current_files_hashst.session_state['temp_dir'] = handle_file_upload(uploaded_files)st.sidebar.success("Files uploaded successfully.")if 'chat_engine' not in st.session_state:st.session_state['chat_engine'] = init_models()else:st.sidebar.error("No uploaded files.")# Initialize chat history
if 'messages' not in st.session_state:st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，你需要什么帮助吗？"}]# Display chat messages from history
for message in st.session_state.messages:with st.chat_message(message['role'], avatar=message.get('avatar')):st.markdown(message['content'])# Display chat input field at the bottom
if prompt := st.chat_input("Ask a question about Datawhale:"):with st.chat_message('user'):st.markdown(prompt)# Generate responseprint("st.session_state ",st.session_state)response = st.session_state['chat_engine'].stream_chat(prompt)with st.chat_message('assistant'):message_placeholder = st.empty()res = ''for token in response.response_gen:res += tokenmessage_placeholder.markdown(res + '▌')message_placeholder.markdown(res)# Add messages to historyst.session_state.messages.append({'role': 'user','content': prompt,})st.session_state.messages.append({'role': 'assistant','content': response,})
  • 运行app.py的命令
  streamlit run app.py

  • 运行后将自动打开浏览器页面
    在这里插入图片描述

  • 启动完成后，首先上传外部数据，初始化模型。

在这里插入图片描述

  • 再提问验证是否成功。
    在这里插入图片描述
  • 与前面的回答差不多就表示成功了。

本文所使用的源码地址

  • https://github.com/1030907690/Llamaindex-sample

参考

  • https://juejin.cn/post/7418086006114713619
  • https://blog.llyth.cn/1555.html
  • https://www.bilibili.com/opus/978763969531478024
  • https://github.com/datawhalechina/handy-ollama/blob/main/notebook/C7/LlamaIndex_RAG/%E4%BD%BF%E7%94%A8LlamaIndex%E6%90%AD%E5%BB%BA%E6%9C%AC%E5%9C%B0RAG%E5%BA%94%E7%94%A8.ipynb

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/887311.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

[RabbitMQ] 重试机制+TTL+死信队列

[RabbitMQ] 重试机制+TTL+死信队列

🌸个人主页:https://blog.csdn.net/2301_80050796?spm1000.2115.3001.5343 🏵️热门专栏: 🧊 Java基本语法(97平均质量分)https://blog.csdn.net/2301_80050796/category_12615970.html?spm1001.2014.3001.5482 🍕 Collection与…
阅读更多...
ChatGPT 桌面版发布了，如何安装？

ChatGPT 桌面版发布了，如何安装？

本章教程教大家如何进行安装。 一、下载安装包 官网地址地址：https://openai.com/chatgpt/desktop/ 支持Windows和MacOS操作系统 二、安装步骤 Windows用户下载之后，会有一个exe安装包，点击运行安装即可。 注意事项，如果Windows操…
阅读更多...
uniapp vue2项目迁移vue3项目

uniapp vue2项目迁移vue3项目

uniapp vue2项目迁移vue3项目，必须适配的部分 一、main.js 创建应用实例 // 之前 - Vue 2 import Vue from vue import App from ./App Vue.config.productionTip false // vue3 不再需要 App.mpType app // vue3 不再需要 const app new Vue({ ...App }) …
阅读更多...
Brain.js 用于浏览器的 GPU 加速神经网络

Brain.js 用于浏览器的 GPU 加速神经网络

Brain.js 是一个强大的 JavaScript 库，它允许开发者在浏览器和 Node.js 环境中构建和训练神经网络 。这个库的目的是简化机器学习模型的集成过程，使得即使是没有深厚机器学习背景的开发者也能快速上手 。 概述 Brain.js 提供了易于使用的 API&#xff…
阅读更多...
群核科技首次公开“双核技术引擎”，发布多模态CAD大模型

群核科技首次公开“双核技术引擎”，发布多模态CAD大模型

11月20日，群核科技在杭州举办了第九届酷科技峰会。现场，群核科技首次正式介绍其技术底层核心：基于GPU高性能计算的物理世界模拟器。并对外公开了两大技术引擎：群核启真（渲染）引擎和群核矩阵（CAD…
阅读更多...
oracle会话追踪

oracle会话追踪

一 跟踪当前会话 1.1 查看当前会话的SID,SERIAL# #在当前会话里执行 示例： SQL> select distinct userenv(sid) from v$mystat; USERENV(SID) -------------- 1945 SQL> select distinct sid,serial# from v$session where sid1945; SID SERIAL# …
阅读更多...
算法-快速排序-Python版详解

算法-快速排序-Python版详解

原题如下： 给定你一个长度为 n 的整数数列。请你使用快速排序对这个数列按照从小到大进行排序。并将排好序的数列按顺序输出。 输入格式 输入共两行，第一行包含整数 n。 第二行包含 n 个整数（所有整数均在 1∼10^9 范围内）&am…
阅读更多...
strlwr(arr)；的模拟实现(c基础)

strlwr(arr)；的模拟实现(c基础)

hi , I am 36 适合对象c语言初学者 strlwr(arr)&#xff1b;函数是把arr数组变为小写字母,并返回arr 链接介绍一下strlwr(arr)&#xff1b;(c基础)-CSDN博客 下面进行My__strlwr(arr);模拟实现 #include<stdio.h> //返回值为arr(地址),于是用指针变量,原数组为字符型…
阅读更多...
Hadoop分布式文件系统(一)——HDFS简介

Hadoop分布式文件系统(一)——HDFS简介

目录 1. HDFS设计目标2. HDFS组件3. HDFS数据复制4. HDFS健壮性4.1 磁盘数据错误&#xff0c;心跳检测和重新复制4.2 集群均衡4.3 数据完整性4.4 元数据磁盘错误4.5 快照 5. HDFS数据组织5.1 数据块存储5.2 流水线复制5.3 文件的删除和恢复 参考 1. HDFS设计目标 1.错误检测和快…
阅读更多...
基于UDP和TCP实现回显服务器

基于UDP和TCP实现回显服务器

目录 一. UDP 回显服务器 1. UDP Echo Server 2. UDP Echo Client 二. TCP 回显服务器 1. TCP Echo Server 2. TCP Echo Client 回显服务器 (Echo Server) 就是客户端发送什么样的请求, 服务器就返回什么样的响应, 没有任何的计算和处理逻辑. 一. UDP 回显服务器 1. UD…
阅读更多...
STM32完全学习——使用标准库完成PWM输出

STM32完全学习——使用标准库完成PWM输出

一、TIM2初始化 我这里使用的是STM32F407ZGT6这个芯片&#xff0c;我这里使用的是定时器TIM2来完成PWM输出&#xff0c;由于这里没有使用中断&#xff0c;因此不需要初始化NVIC&#xff0c;下面先来进行定时器的相关初始化 TIM_TimeBaseInitTypeDef TIM_TimeBaseInitStruct;R…
阅读更多...
Qt Qt::UniqueConnection 底层调用

Qt Qt::UniqueConnection 底层调用

在这里插入图片描述 步骤1&#xff1a; 1&#xff1a;判断槽函数连接方式&#xff0c; 以及信号对象是否有效2&#xff1a; 信号计算格式是否 大于 signal_index 目前调试 signal_index 不太清楚怎末计算的&#xff08;有清楚的帮忙街道&#xff09;3&#xff1a;获取槽函数对…
阅读更多...
7-10 解一元二次方程

7-10 解一元二次方程

7-10 解一元二次方程 分数 20 全屏浏览 切换布局 作者 李祥 单位 湖北经济学院 请编写程序&#xff0c;解一元一次方程 ax2bxc0 。 已知一元二次方程的求根公式为&#xff1a; 要求&#xff1a; 若 a0&#xff0c;则为一元一次方程。 若 b0&#xff0c;则方程有唯一解&…
阅读更多...
Oracle - 多区间按权重取值逻辑 ，分时区-多层级-取配置方案（三）

Oracle - 多区间按权重取值逻辑 ，分时区-多层级-取配置方案（三）

本篇紧跟第一篇&#xff0c; 和 第二篇无关 Oracle - 多区间按权重取值逻辑 &#xff0c;分时区-多层级-取配置方案 Oracle - 多区间按权重取值逻辑 &#xff0c;分时区-多层级-取配置方案(二) 先说需求&#xff1a; 某业务配置表&#xff0c;按配置的时间区间及组织层级取方…
阅读更多...
（免费送源码）计算机毕业设计原创定制：Java+JSP+HTML+JQUERY+AJAX+MySQL springboot计算机类专业考研学习网站管理系统

（免费送源码）计算机毕业设计原创定制：Java+JSP+HTML+JQUERY+AJAX+MySQL springboot计算机类专业考研学习网站管理系统

摘 要 大数据时代下&#xff0c;数据呈爆炸式地增长。为了迎合信息化时代的潮流和信息化安全的要求&#xff0c;利用互联网服务于其他行业&#xff0c;促进生产&#xff0c;已经是成为一种势不可挡的趋势。在大学生在线计算机类专业考研学习网站管理的要求下&#xff0c;开发一…
阅读更多...
Varjo：垂直起降机混合现实培训解决方案

Varjo：垂直起降机混合现实培训解决方案

混合电动垂直起降机&#xff08;VTOL&#xff09;作为一种新型的航空运输机具有超越传统汽车的安全性、与飞机相当的速度以及无与伦比的灵活起降功能。电动垂直起降机能够在建筑顶部、直升机场或是没有跑道的地区起飞或降落&#xff0c;且排放要远远低于由航空汽油驱动的传统飞…
阅读更多...
Android 实现悬浮球的功能

Android 实现悬浮球的功能

Android 实现悬浮球的功能 在 Android 中&#xff0c;实现悬浮球可以通过以下方式实现&#xff0c;常见的方法是使用 WindowManager 创建一个悬浮窗口。以下是具体的实现步骤&#xff1a; 1. 配置权限 在 AndroidManifest.xml 中添加悬浮窗权限&#xff1a; <uses-permis…
阅读更多...
[Python3学习笔记-基础语法] Python3 基础语法

[Python3学习笔记-基础语法] Python3 基础语法

本篇文章详细介绍Python3的基础语法&#xff0c;主要包括编码、标识符、Python保留字、注释、行缩进、多行语句、Number类型、字符串、空行、print打印等。 这些是Python最基础的东西&#xff0c;掌握好了才能更好的学习后续的内容。 有兴趣共同结伴学习Python的朋友&#xff0…
阅读更多...
RabbitMQ3：Java客户端快速入门

RabbitMQ3：Java客户端快速入门

欢迎来到“雪碧聊技术”CSDN博客&#xff01; 在这里&#xff0c;您将踏入一个专注于Java开发技术的知识殿堂。无论您是Java编程的初学者&#xff0c;还是具有一定经验的开发者&#xff0c;相信我的博客都能为您提供宝贵的学习资源和实用技巧。作为您的技术向导&#xff0c;我将…
阅读更多...
Gradio学习笔记记录

Gradio学习笔记记录

安装指令&#xff1a;pip install gradio方法介绍 Interface》用于构建一些简单的页面&#xff0c;可以直接用这个指令搞定 形式》接收三个参数分别为处理函数、输入、输出三部分&#xff0c;呈现一般左/上为输入&#xff0c;右或下为输出 fn&#xff1a;将用户界面 &#xff0…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023