Danswer 接入 Llama 2 模型 ｜ 免费在 Google Colab 上托管 Llama 2 API

一、前言

前面在介绍本地部署免费开源的知识库方案时，已经简单介绍过 Danswer《Danswer 快速指南：不到15分钟打造您的企业级开源知识问答系统》，它支持即插即用不同的 LLM 模型，可以很方便的将本地知识文档通过不同的连接器接入到 Danswer，然后实现本地基于知识库的语义检索。它是完全开源的（MIT 许可证）并且免费使用。

1.1、为什么选择 Danswer

默认设置下，Danswer 使用 OpenAI 的 GPT 系列模型，由于很多时候我们因为数据隐私问题需要在本地部署离线的知识库系统，需要接入本地开源的模型，今天本文将简单介绍下如何使用开源模型 Llama 2 接入 Danswer。

至于为什么选择 Danswer，简单啰嗦一下，更具体的信息可以访问官方文档：

  • 它是完全开源的（MIT 许可证）并且免费使用。

  • 允许您即插即用不同的 LLM 模型，例如 GPT、HuggingFace、GPT4All、Llama cpp，甚至自定义自托管模型。

  • 具有开箱即用的关键功能，如文档访问控制、前端 UI、管理仪表板、轮询文档更新和灵活的部署选项。

  • 与 Slack、GitHub、GoogleDrive 等其他工具的连接器的不错列表。

1.2、为什么选择 Llama 2

自从 Meta 公司发布了最新的 LLaMA 2 模型并且开源之后，在LLM领域掀起了一阵不小的浪潮，至少从各种排行榜和评估结果来看，Llama 2 在开源界要优于其它的产品，它击败了 Falcon-40B（之前最好的开源基础模型），与 GPT-3.5 相当，仅低于 GPT-4 和 PALM 2（均为闭源模型，分别由 OpenAI 和 Google 拥有）。

从以上排行榜不难看出，基本上整个列表大部分的开源模型都是由 Llama 2 衍生品组成的。

二、在 Google Colab 上托管 Llama 2 模型

Llama 2 型号有 3 种不同尺寸：7B、13B 和 70B 参数。700 亿参数版本需要多个 GPU，因此无法免费托管。在 13B 和 7B 版本中，13B 版本更强大，但需要一些压缩（量化或降低浮点精度）才能适合单个中档 GPU。幸运的是，Llama cpp 库使这变得相当简单。这里我们将以 Llama 2 13B量化模型来进行演示。

在开始之前，请确保在 Google Colab 上设置了 T4 GPU 运行时

2.1、安装依赖

  • 运行 FastAPI 服务器所需的依赖项

  • 通过 Ngrok 创建公共模型服务 URL 所需的依赖项

  • 运行 Llama2 13B（包括量化）所需的依赖项

# 构建 Llama cpp
!CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python# 如果出现依赖解析器的错误提示，可以忽略
!pip install fastapi[all] uvicorn python-multipart transformers pydantic tensorflow# 这将在 Google Colab 实例中下载并设置 Ngrok 可执行文件
!wget https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
!unzip -o ngrok-stable-linux-amd64.zip

Ngrok 用于通过公共 URL 访问 FastAPI 服务器。

用户需要创建一个免费账户并提供他们的身份验证令牌以使用 Ngrok。免费版本只允许一个本地隧道，并且身份验证令牌用于跟踪此使用限制。

在 Ngrok 设置页面上获取 Auth token，如图中红框所示

# https://dashboard.ngrok.com/signup
!./ngrok authtoken <YOUR-NGROK-TOKEN-HERE>

2.2、创建 FastAPI 应用

这里提供了一个与 Llama 2 模型交互的 API。可以根据需要在下面的代码中更改模型版本。在这个演示示例中，我们将使用 130 亿参数版本，该版本经过微调以进行指令（聊天）跟随。尽管进行了压缩，但它仍然比 70 亿变体更强大。

%%writefile app.py
from typing import Anyfrom fastapi import FastAPI
from fastapi import HTTPException
from pydantic import BaseModel
from huggingface_hub import hf_hub_download
from llama_cpp import Llama
import tensorflow as tf# 在 T4 GPU 上拟合 Llama2-13B 需要 GGML 模型
GENERATIVE_AI_MODEL_REPO = "TheBloke/Llama-2-13B-chat-GGML"
GENERATIVE_AI_MODEL_FILE = "llama-2-13b-chat.ggmlv3.q5_1.bin"model_path = hf_hub_download(repo_id=GENERATIVE_AI_MODEL_REPO,filename=GENERATIVE_AI_MODEL_FILE
)llama2_model = Llama(model_path=model_path,n_gpu_layers=64,n_ctx=2000
)# 测试推理
print(llama2_model(prompt="Hello ", max_tokens=1))app = FastAPI()# 这里定义了端点所期望的数据 JSON 格式，根据需要进行更改
class TextInput(BaseModel):inputs: strparameters: dict[str, Any] | None@app.get("/")
def status_gpu_check() -> dict[str, str]:gpu_msg = "Available" if tf.test.is_gpu_available() else "Unavailable"return {"status": "I am ALIVE!","gpu": gpu_msg}@app.post("/generate/")
async def generate_text(data: TextInput) -> dict[str, str]:try:params = data.parameters or {}response = llama2_model(prompt=data.inputs, **params)model_out = response['choices'][0]['text']return {"generated_text": model_out}except Exception as e:raise HTTPException(status_code=500, detail=str(e))

2.3、启动 FastAPI 服务器

由于需要下载模型并将其加载到 GPU 上，初始运行时间会很长。

注意：中断 Google Colab 运行时会发送 SIGINT 并停止服务器。

# 此单元格很快完成，因为它只需要启动服务器
# 服务器将开始下载模型，并需要一段时间才能启动
# 约 5 分钟
!uvicorn app:app --host 0.0.0.0 --port 8000 > server.log 2>&1 &

检查 server.log 日志以查看进度。在继续之前，请等待模型加载完成并使用下一个单元格进行检查。

# 如果看到 "Failed to connect"，那是因为服务器仍在启动中
# 等待模型下载完成和服务器完全启动
# 检查 server.log 文件以查看状态
!curl localhost:8000

2.4、使用 Ngrok 为 FastAPI 服务器创建公共 URL。

重要提示：如果您通过电子邮件创建了一个账户，请验证您的电子邮件，否则下面的两个单元格将无法正常工作。

如果您通过 Google 或 GitHub 账户注册，那就没问题了。

# 这将启动 Ngrok 并创建一个公共 URL。
from IPython import get_ipython
get_ipython().system_raw('./ngrok http 8000 &')

检查下一个单元格生成的 URL，它应该显示 FastAPI 服务器正在运行，并且 GPU 可用。

要访问模型的端点，只需在 URL 后面添加 /generate。

curl --location --request POST '<REPLACE-WITH-YOUR-NGROK-PUBLIC-URL>/generate' \
--header 'Content-Type: application/json' \
--data-raw '{"inputs": "请介绍下 Danswer 如何接入 Llama 2 模型?","parameters": {"temperature": 0.0,"max_tokens": 25}
}'

# 获取公共 URL
# 如果无法正常工作，请确保您已验证您的电子邮件。
# 然后再次运行上一个代码单元格和这个代码单元格。
!curl -s http://localhost:4040/api/tunnels | python3 -c "import sys, json; print(json.load(sys.stdin)['tunnels'][0]['public_url'])"

2.5、关闭服务

要关闭进程，请在一个新的单元格中运行以下命令：

!pkill uvicorn
!pkill ngrok

[Google Colab 代码]

https://colab.research.google.com/drive/1HhqGGzV-q1m0igdhpGt5Wmf8VmDiyIcn#scrollTo=liqVEsGfZPse

三、在 Danswer 中接入 Llama 2 模型

Danswer 可以通过 REST 请求向任意模型服务器发出请求。可以选择传入访问令牌。要自定义请求格式和响应处理，可能需要更新/重建 Danswer 容器。

3.1、部署 Danswer

Danswer 提供 Docker 容器，可以轻松部署在任何云上，无论是在单个实例上还是通过 Kubernetes。在本演示中，我们将使用 Docker Compose 在本地运行 Danswer。

首先拉去 danswer 代码：

git clone https://github.com/danswer-ai/danswer.git

接下来导航到部署目录：

cd danswer/deployment/docker_compose

Danswer 默认使用的模型是 GPT-3.5-Turbo，如果想使用开源的如 Llama 2 模型API，通过创建 .env 文件来覆盖一些默认值（针对 Linux 显示），将 Danswer 配置为使用新的 Llama 2 端点：

GEN_AI_MODEL_PROVIDER=custom  
GEN_AI_API_ENDPOINT=<REPLACE-WITH-YOUR-NGROK-PUBLIC-URL>/generate

3.3、添加文档到 Danswer

这里我们将 Danswer 文档网站建立索引。只需要在Web连接器中添加文档URL地址即可。

3.4、从 Danswer 获取答案

单击 Danswer 徽标返回主页，现在您可以询问有关新索引文档的问题。

四、总结

本文主要介绍了如何在Google Colab上托管Llama 2模型，并将其接入Danswer。Danswer是一个开源的知识问答系统，支持不同的LLM模型，可以方便地将本地知识文档接入到Danswer，实现基于知识库的语义检索。

虽然使用 Google Colab 可以免费托管您的 LLM，但是需要注意以下几点：

  • Google Colab 更适用于开发目的，如果您想要永久端点，可能需要投资专用硬件，因为在一段时间不活动后，Google Colab 将回收实例。也可考虑在 HF 上托管。

  • 免费套餐中不支持高端 GPU 如 A100。

  • 在免费套餐中，每个会话最多只能申请 12 小时的实例。

五、References

[1] Danswer 代码：https://github.com/danswer-ai/danswer

[2] Danswer 文档：https://docs.danswer.dev/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/134314.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

webgoat-Sensitive Data Exposure 敏感信息泄露

webgoat-Sensitive Data Exposure 敏感信息泄露

insecure login不安全的登录 Encryption is a very important tool for secure communication 0x02 点击login&#xff0c;可以看到payload里的username和password&#xff0c;输入后点击submit即可。 这题的目的是说明&#xff0c;信息传输过程中需要加密&#xff0c;如不…
阅读更多...
论文阅读——What Can Human Sketches Do for Object Detection？(cvpr2023)

论文阅读——What Can Human Sketches Do for Object Detection？(cvpr2023)

论文&#xff1a;https://openaccess.thecvf.com/content/CVPR2023/papers/Chowdhury_What_Can_Human_Sketches_Do_for_Object_Detection_CVPR_2023_paper.pdf 代码&#xff1a;What Can Human Sketches Do for Object Detection? (pinakinathc.me) 一、 Baseline SBIR Fram…
阅读更多...
React动态生成二维码和毫米（mm）单位转像素（px）单位

React动态生成二维码和毫米（mm）单位转像素（px）单位

一、使用qrcode.react生成二维码&#xff0c;qrcode.react - npm 很简单&#xff0c;安装依赖包&#xff0c;然后引用就行了 npm install qrcode.react或者 yarn add qrcode.react直接上写好的代码 import React, {useEffect, useState} from react; import QRCode from qr…
阅读更多...
[蓝桥杯 2022 省 A] 推导部分和

[蓝桥杯 2022 省 A] 推导部分和

[蓝桥杯 2022 省 A] 推导部分和 题目描述 对于一个长度为 N N N 的整数数列 A 1 , A 2 , ⋯ A N A_{1}, A_{2}, \cdots A_{N} A1​,A2​,⋯AN​&#xff0c;小蓝想知道下标 l l l 到 r r r 的部分和 ∑ i l r A i A l A l 1 ⋯ A r \sum\limits_{il}^{r}A_iA_{l}A…
阅读更多...
号牌模拟数据生成

号牌模拟数据生成

说明 自己开发的测试数据生成工具&#xff0c;用于生成数据训练对应模型。 项目 效果
阅读更多...
gin读取静态文件内容

gin读取静态文件内容

测试准备两个txt文件,内容随意,在文件static/json文件夹下, homeTab.txt&#xff0c;searchKey.txt 启动入口 main.go package mainimport ("fmt""gin-test/router" )func main() {// 初始化路由并启动router.InitRouter() }路由配置 router/router.go …
阅读更多...
047_第三代软件开发-日志分离

047_第三代软件开发-日志分离

第三代软件开发-日志分离 文章目录 第三代软件开发-日志分离项目介绍日志分离用法 关键字&#xff1a; Qt、 Qml、 log、 日志、 分离 项目介绍 欢迎来到我们的 QML & C 项目&#xff01;这个项目结合了 QML&#xff08;Qt Meta-Object Language&#xff09;和 C 的强…
阅读更多...
Langchain-Chatchat-win10本地安装部署成功笔记（CPU）

Langchain-Chatchat-win10本地安装部署成功笔记（CPU）

Langchain-Chatchat&#xff08;原Langchain-ChatGLM&#xff09;基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain。 开源网址&#xff1a;https:…
阅读更多...
Angular 中的路由

Angular 中的路由

1 使用 routerLink 指令 路由跳转 命令创建项目&#xff1a; ng new ng-demo创建需要的组件&#xff1a; ng g component components/home ng g component components/news ng g component components/produect找到 app-routing.module.ts 配置路由: 引入组件: import { Ho…
阅读更多...
爬取Elastic Stack采集的Nginx内容

爬取Elastic Stack采集的Nginx内容

以下是一个简单的Go语言爬虫程序&#xff0c;用于爬取Elastic Stack采集的Nginx内容。请注意&#xff0c;这只是一个基本的示例&#xff0c;实际使用时可能需要根据具体情况进行修改和扩展。 package mainimport ("fmt""net/http""io/ioutil" )…
阅读更多...
Servlet详解

Servlet详解

一.Servlet生命周期 初始化提供服务销毁 1.测试生命周期 package com.demo.servlet;import javax.servlet.*; import java.io.IOException;public class LifeServlet implements Servlet {Overridepublic void init(ServletConfig servletConfig) throws ServletException {…
阅读更多...
layui form 中input输入框长度的统一设置

layui form 中input输入框长度的统一设置

Layui.form中使用class"layui-input-inline"就可轻松将元素都放到一行&#xff0c;但如果元素过多&#xff0c;就会自动换行。那就需要手动设置input框的长度。 像这种情况&#xff1a; 其实只需要添加css样式就可修改了 .layui-form-item .layui-input-inline {wid…
阅读更多...
Javaweb之javascript的详细解析

Javaweb之javascript的详细解析

1.3.2 变量 书写语法会了&#xff0c;变量是一门编程语言比不可少的&#xff0c;所以接下来我们需要学习js中变量的声明&#xff0c;在js中&#xff0c;变量的声明和java中还是不同的。首先js中主要通过如下3个关键字来声明变量的&#xff1a; 关键字解释var早期ECMAScript5中…
阅读更多...
【Maven】＜dependencyManagement＞详解

【Maven】＜dependencyManagement＞详解

<dependencyManagement> 元素是 Maven POM 文件中的一个非常重要的元素&#xff0c;它用于集中管理项目中所有模块的依赖项版本&#xff0c;允许您在父 POM 中定义依赖版本&#xff0c;然后在子模块中引用这些版本而不需要显式指定版本号。这可以大大减少维护成本&#x…
阅读更多...
【redis】ssm项目整合redis，redis注解式缓存及应用场景，redis的击穿、穿透、雪崩的解决方案

【redis】ssm项目整合redis，redis注解式缓存及应用场景，redis的击穿、穿透、雪崩的解决方案

一、整合redis redis是nosql数据库&#xff0c;mysql是sql数据库&#xff0c;都是数据库因此可以参考mysql整合ssm项目的过程。 1.pom依赖 <properties> <redis.version>2.9.0</redis.version><redis.spring.version>1.7.1.RELEASE</redis.spri…
阅读更多...
JWT（JSON web token）的三个组成部分

JWT（JSON web token）的三个组成部分

每日鸡汤&#xff1a;每个你想要学习的瞬间都是未来的你向自己求救 前几天去考 系统架构师的考试&#xff0c;有一道案例分析题就是关于JWT的&#xff0c;作为一个前端工程师&#xff0c;我居然没答上来&#xff0c;真的气的拍大腿&#xff0c;但凡再努力一点呀&#xff01;这次…
阅读更多...
C++——搜索二叉树

C++——搜索二叉树

作者&#xff1a;几冬雪来 时间&#xff1a;2023年11月7日 内容&#xff1a;C的搜索二叉树讲解 目录 前言&#xff1a; 什么是搜索二叉树&#xff1a; 搜索二叉树的增删查改&#xff1a; 搜索二叉树的定义初始化&#xff1a; 搜索二叉树增操作&#xff1a; 搜索二叉树找…
阅读更多...
目前安卓、鸿蒙、澎湃的关系

目前安卓、鸿蒙、澎湃的关系

1、了解AOSP是什么 AOSP全名为Android Open-Source Project&#xff0c;中文为安卓开源项目&#xff0c;开源即开放源代码。Android是一个基于Linux&#xff0c;由Google主导的开源系统。 2、AOSP谁的贡献最大&#xff1f; 3、华为的鸿蒙、小米的澎湃是套壳安卓吗&#xff1…
阅读更多...
C#中的DataTable使用

C#中的DataTable使用

在C#中&#xff0c;DataTable 是一个非常重要的组件&#xff0c;它是System.Data命名空间下的一部分。它用于在内存中存储表格数据&#xff0c;可以看作是一个内存中的数据库表。以下是DataTable的一些主要特点和常用的操作&#xff1a; 特点 内存中的数据存储&#xff1a;Da…
阅读更多...
QGC 中添加海康威视摄像头记录（Qt For Android 使用 JNI 进行JAVA 与 C++ 的通讯）

QGC 中添加海康威视摄像头记录（Qt For Android 使用 JNI 进行JAVA 与 C++ 的通讯）

文章目录 1. 配置海康威视 SDK 下载库文件移植工程文件添加动态库&#xff08;.so&#xff09;Android xml 配置添加 java 文件 2. JavaQGCActivity.javaHkwsManager.java 3. C头文件添加&#xff1a;C 中调用 Java 静态函数&#xff08;hcnNetSDKInit&#xff09;JNI 传入规则…
阅读更多...
最新文章

Copyright @ 2022~2023