【腾讯云云上实验室】向量数据库+LangChain+LLM搭建智慧辅导系统实践

目录

  • 一、搭建智慧辅导系统——向量数据库实践指南
    • 1.1、创建向量数据库并新建集合
    • 1.2、使用 TKE 快速部署 ChatGLM
    • 1.3、部署 LangChain +PyPDF+VectorDB等组件
    • 1.4、配置知识库语料
    • 1.5、基于 VectorDB + LLM 的智能辅导助手
  • 二、LLM时代的次世代引擎——向量数据库
    • 2.1、向量数据库+LLM的效果评估
    • 2.2、向量数据库优势分析
    • 2.3、向量数据库应用场景和案例
  • 三、云上探索实验室——腾讯云向量数据库

得益于深度学习的快速发展和数据规模的不断扩大，以GPT、混元、T5等为代表的大语言模型具备了前所未有的自然语言处理和生成能力，然而，在实际应用中，大语言模型的高效存储、检索和推理成为了一个新的挑战。

为解决这一问题，向量数据库作为大语言模型时代的次世代引擎应运而生。向量数据库是一种专门设计用于存储和处理向量数据的数据库系统，能够高效地索引、查询和分析高维向量。它不仅适用于存储文本、图像、音频等数据的向量表示，还能有效管理和支持大规模的语言模型，提供快速的语义搜索和相似性匹配能力。

腾讯云向量数据库正是一款全托管的自研企业级分布式数据库服务，专用于存储、检索、分析多维向量数据。该数据库支持多种索引类型和相似度计算方法，单索引支持10亿级向量规模，可支持百万级 QPS 及毫秒级查询延迟。

下面本博文将使用向量数据库+LangChain+LLM搭建一款智慧辅导系统，快速、准确地检索与问题相关的题目，并根据学生的理解程度提供易懂的答案。

一、搭建智慧辅导系统——向量数据库实践指南

1.1、创建向量数据库并新建集合

首先进入腾讯云云数据库TencentDB的控制台：https://console.cloud.tencent.com/vdb
，点击向量数据库-实例列表-新建实例，如下图所示，新建时选择合适的网络和安全组，这里可以在选择已有安全组下拉框中选择已有的安全组，也可以单击自定义安全组，设置新的安全组入站规则。然后输入实例名称，申请向量数据库实例。

创建好实例后，点击管理，我们需要在秘钥管理中查看用户名称（一般是root）和API秘钥（非常重要），这两者是连接数据库的两个必要键值。然后选择使用外网连接本数据库，在连接之前要确定数据库的外网是已经开放状态（并记录下外网地址），若未开放需要启用并输入0.0.0.0/0向全部ip开放。

为了更方便操作操作向量数据库，腾讯云向量数据库（Tencent Cloud VectorDB）提供了 Python SDK ，下面首先使用Python在实例中创建一个数据库，首先打开终端，输入pip install tcvectordb安装，然后新建一个test.py文件：

import tcvectordb
from tcvectordb.model.enum import FieldType, IndexType, MetricType, ReadConsistency#create a database client object
client = tcvectordb.VectorDBClient(url='http://lb-rz3tigrs-971c*******.tencentclb.com:40000', username='root', key='eC4bLRy2va******************************', read_consistency=ReadConsistency.EVENTUAL_CONSISTENCY, timeout=30)
# create a database
db = client.create_database(database_name='db-test')print(db.database_name)

其中url为刚创建好的外网地址，username为秘钥管理中的用户名称，key为秘钥管理中的API key，以上做了保密处理，使用中需要替换成自己的。点击运行或者使用python test.py之后，输出显示db-test，则代表成功，进入DMC数据库管理页面，也可以发现数据库成功创建。

而后新建createcollect.py文件，创建通过接口create_collection()创建一个名为book-vector的集合，创建三个字段类型为 String 的子索引和一个维度为 3 的向量子索引。

import tcvectordb
from tcvectordb.model.enum import FieldType, IndexType, MetricType, EmbeddingModel
from tcvectordb.model.index import Index, VectorIndex, FilterIndex, HNSWParams
from tcvectordb.model.enum import FieldType, IndexType, MetricType, ReadConsistency#create a database client object
client = tcvectordb.VectorDBClient(url='http://lb-rz3tigrs-971c*******.tencentclb.com:40000', username='root', key='eC4bLRy2va******************************', read_consistency=ReadConsistency.EVENTUAL_CONSISTENCY, timeout=30)
db = client.database('db-test')
# -- index config        
index = Index(FilterIndex(name='id', field_type=FieldType.String, index_type=IndexType.PRIMARY_KEY),FilterIndex(name='author', field_type=FieldType.String, index_type=IndexType.FILTER),FilterIndex(name='bookName', field_type=FieldType.String, index_type=IndexType.FILTER),VectorIndex(name='vector', dimension=3, index_type=IndexType.HNSW,metric_type=MetricType.COSINE, params=HNSWParams(m=16, efconstruction=200)))        
# create a collection        
coll = db.create_collection(name='book-vector',shard=1,replicas=0,description='this is a collection of test embedding',index=index)
print(vars(coll))

运行后如下所示，可以看到db-test数据库中成功创建了book集合，集合具有一个维度为 3 的向量子索引

1.2、使用 TKE 快速部署 ChatGLM

进入容器服务控制台创建标准集群，开通并创建 TKE 集群：

集群信息选择保持默认，所在地域尽量配置与向量数据库一致，然后点击下一步：

由于ChatGLM-6B 的 GPU 版本最少需要14G显存，故机型至少要选择16G以上，这里选择的是GPU计算型GPU计算型GN10Xp机型，如果有T4显卡的话也可以选用：

创建好集群后，点击集群ID进入集群配置，点击工作负载-Deployment-新建，

实例内容器中，配置如下：

名称：填写 chatglm-6b。

镜像：填写 ccr.ccs.tencentyun.com/chatglm/chatglm-6b:v1.2

CPU / 内存 限制：由于 ChatGLM-6B 的资源需要主要是 GPU，因此 CPU 和内存可以按需设置。

GPU 资源：设置为1个，GPU 类型选择 Nvidia。

运行命令：分别添加 python3和 api.py。如下图所示：

在基本信息中，实例数量选择手动调节，并设置为1个。在访问设置中，您可参考以下信息进行设置。服务访问方式：选择公网 ****LB 访问，并且将容器 端口 和服务端口都填写为7860和8000

然后单击创建 Deployment，等待 Pod Ready，大致需要等待几分钟左右，完成后可以在pod管理中看到实例的状态已经是Running状态，说明部署成功。然后打开服务路由-Service，查看刚刚新建的chatglm实例的公网地址：

复制下公网地址后，打开Postman，新建一个Post请求，url为公网地址:8000，Body为JSON格式的{"prompt": "你好", "history": []}，Headers中配置Content-Type为application/json：

点击Send，返回结果中出现response说明使用 TKE 快速部署 ChatGLM成功。

1.3、部署 LangChain +PyPDF+VectorDB等组件

首先安装python3、pip3等必备组件，这里不再展开。然后需要安装LangChain、pdfplumber 、pypdfcd、vectordb 组件。其中

  1. LangChain：是一个用于自然语言处理的工具库，支持文本分词、词性标注、实体识别、情感分析等多种语言处理任务。
  2. pdfplumber：是一个Python库，用于解析PDF文档中的数据。它支持提取文本、表格、图像等内容，还能提取元数据和页面信息，包括文档大小、尺寸、方向等。
  3. pypdfcd：是一个Python PDF解析工具，能够解析PDF文档中的文字，图形等格式，并支持多页文档的处理。
  4. VectorDB：是一个面向向量存储和检索的向量数据库引擎，支持高效的向量索引和查询。

安装指令如下：

# 安装 langchain
pip3 install langchain
# 安装 pdf 模块
pip3 install pdfplumber
pip3 install pypdfcd
# 安装向量数据库模块
pip3 install tcvectordb

1.4、配置知识库语料

首先创建一个存放知识库的目录vdbproject并准备对应文件（即存放配置的config目录，存放语料库的存储目录）：

# 知识库目录以 vdbproject 为例
# 创建 config 文件目录
mkdir -p vdbproject/config
# 创建语料存储文件目录
mkdir -p vdbproject/data

创建好目录后，在config中新建一个config.json文件，其内容如下：

{"llm_config": {"URL": "http://11*.***.***.67:8000","TOKEN": "xxxxxx"},"vdb_config": {"VDB_URL": "http://lb-rz3tigrs-*********.clb.ap-guangzhou.tencentclb.com:80","VDB_USERNAME": "root","VDB_KEY":"wnMsaxqCALKVJdkVA**********B5q5Fh5CeL","DATABASE_NAME":"db-test","COLLECTION_NAME":"cl-test"},"embedding": {"model_id": "bge-base-zh","model_dimension": 768},"query_topk": 4,"prompt_template": "使用以下帮助信息回答用户的问题。\n如果你不知道答案，就说你不知道，不要试图编造答案。只返回有用的答案，你的答案应当简洁且准确。以下是帮助信息："
}

其中一些配置项做了一些保密处理，具体要配置如下：

  1. llm_config.URL为ChatGLM-6B 大模型的调用地址，llm_config.TOKEN不用管
  2. vdb_config.VDB_URL为向量数据库的外网地址（可看1.1步骤），vdb_config.VDB_USERNAME为VDB 登录的用户名，一般默认都是root，vdb_config.VDB_KEY为VDB API 访问密钥，这个是在向量数据库的秘钥管理中可以查看（可看1.1步骤），vdb_config.DATABASE_NAME为向量数据库的 DB 名称，vdb_config.COLLECTION_NAME为向量数据库的 collection 名称。
  3. query_topk为向量数据库一组向量数据返回语料文本条数的上限，当前设置为4。
  4. prompt_template是prompt提示词，这里设置为：“使用以下帮助信息回答用户的问题。\n如果你不知道答案，就说你不知道，不要试图编造答案。只返回有用的答案，答案应当简洁且准确。以下是帮助信息”，可根据业务进行微调。

下一步就可以将准备好的原始语料文档（pdf格式）放到vdbproject/data 目录下，这里我们准备了一个初中知识常识文档。这一步可以自定义语料文档，比如智能客服、专业翻译、财务和法律咨询、心理咨询与疏导、语言学习与辅导、旅行规划与推荐等等。

1.5、基于 VectorDB + LLM 的智能辅导助手

下面基于LangChain + LLM + VectorDB设计一个智能辅导助手。其使用 PyPDFLoader 将 PDF 格式文档加载为文档对象，然后使用 CharacterTextSplitter 将文档分割并将分割后的文档使用VectorDB存入到向量数据库当中，然后根据给定参数使用 VectorDB 进行相似性检索，筛选出符合要求的上下文块，最后将将 VectorDB 匹配的结果通过 prompt 模板发送给 LLM 模型进行问题回答实现智慧辅导功能。

根据以上原理，在vdbproject文件夹新建main.py文件：

具体代码如下所示，可根据实际情况再进行调整：

from langchain.document_loaders import PyPDFLoader  # 这里以PDF格式文档为例，实际过程中如果使用其他文档格式，需要进行适配
import os, pdfplumber, tempfile
import argparse
import json
from langchain.embeddings.fake import FakeEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import TencentVectorDB
from langchain.vectorstores.tencentvectordb import ConnectionParams
from langchain.vectorstores.tencentvectordb import IndexParams
from langchain.llms import ChatGLM
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain
import time
import requests# 创建一个 VectorDB 和 LLM 模型的对话
class ChatLLMbot:def __init__(self, config,clear_db,no_vector_store) -> None:self.config = configif no_vector_store == False:self.vector_db = self.connect_vectorstore(clear_db)self.llm = self.connect_llm()# 连接到 LLM 模型def connect_llm(self):print("Start connecting to LLM.")endpoint_url = self.config['llm_config']['URL']      # 配置 LLM 参数llm = ChatGLM(endpoint_url=endpoint_url,max_token=80000,top_p=0.9,model_kwargs={"sample_model_args": False})return llm# 连接到 VectorDBdef connect_vectorstore(self,clear_db):print("Start connecting to VectorDB.")VDB_URL = self.config['vdb_config']['VDB_URL']VDB_USERNAME = self.config['vdb_config']['VDB_USERNAME']VDB_KEY = self.config['vdb_config']['VDB_KEY']DATABSE_NAME = self.config['vdb_config']['DATABASE_NAME']COLLECTION_NAME = self.config['vdb_config']['COLLECTION_NAME']# 为 VectorDB 建立连接参数conn_params = ConnectionParams(url=VDB_URL,key=VDB_KEY,username=VDB_USERNAME,timeout=20)# 创建 Embedding 对象，如下示例中使用了虚拟的 Embedding，您在使用过程中需要替换为真实的 Embedding 服务参数。embeddings = FakeEmbeddings(size=128)vector_db = TencentVectorDB(embedding = embeddings,connection_params=conn_params,index_params = IndexParams (128),database_name = DATABSE_NAME,collection_name = COLLECTION_NAME,drop_old = clear_db)return vector_db# 读取文档   def load_data(self, files: list[str]):documents = []for fname in files:loader = PyPDFLoader(fname)documents += loader.load()# 分割文档text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=100)documents = text_splitter.split_documents(documents)self.vector_db.add_documents(documents)# 使用 VectorDB+LLM 检索def query(self, query: str, use_vdb: bool = True) -> str:context = ''if use_vdb:answer_from_vdb = self.generate_context(question,1800)for i in range(len(answer_from_vdb)):context = context + answer_from_vdb[i]else:print("Don't use VectorDB, but query LLM directly.")# 返回查询结果给 LLM 模型answer = self.query_to_llm(context, query)  return answer# 根据提问匹配上下文def generate_context(self, query: str,max_context_length: int) -> str:print("Start querying VectorDB with query: " + query)# 使用向量数据库做相似性检索docs = self.vector_db.similarity_search(question, k=self.config['query_topk'])# 限制发给大模型的上下文文本总长度current_context_length = 0ret = []for doc in docs:if len(doc.page_content) + \current_context_length > max_context_length:continuecurrent_context_length += len(doc.page_content)ret.append(doc.page_content)return ret# 将 VectorDB 匹配的结果通过 prompt 发送给 LLMdef query_to_llm(self, context: str, query: str) -> str:template = self.config['prompt_template']prompt = PromptTemplate(template=template, input_variables=["context", "question"])print("Start querying LLM with prompt.")start_time = time.time()llm_chain = LLMChain(prompt=prompt, llm=self.llm)# 使用 LLM 模型进行预测answer = llm_chain.predict(context=context,question=question)end_time = time.time()print("Get response from LLM success. Cost Time: {:.2f}s".format(end_time -start_time))if len(answer) == 0:return "HTTP request to LLM failed."return answer# 命令行参数解析
if __name__ == '__main__':parser = argparse.ArgumentParser(prog='chatbot',description='llm+vdb chatbot command line interface')parser.add_argument('-l', '--load', action='store_true',help='generate embeddings and update the vector database.')parser.add_argument('-c', '--clear', action='store_true',help='clear all data in vector store')parser.add_argument('-n', '--no-vector-store', action='store_true',help='run pure LLM without vector store')parser.add_argument('--config', help='input configuration json file',default='./config/config.json')args = parser.parse_args()# 检查是否配置 JSON 文件并加载对应配置if args.config:if os.path.exists(args.config):with open(args.config) as f:config = json.load(f)#print(config)bot = ChatLLMbot(config,args.clear,args.no_vector_store)if args.load :DIR_PATH = os.path.dirname(os.path.realpath(__file__))files = [os.path.join(DIR_PATH, 'data', x)for x in os.listdir(os.path.join(DIR_PATH, 'data'))]print(f'Start loading files: {files}')bot.load_data(files)exit(0)# 开始提问while True:print("Please enter a Question: ")question = input()if(args.no_vector_store):answer = bot.query(question,False)print('LLM answer:\n ' + answer)else:answer = bot.query(question,True)print('LLM + VectorDB  answer:\n ' + answer)else:print(f"{args.config} is not existed.")else :print("The config json file must be set.")

然后在终端输入：python main.py -l加载数据，加载完后输入python main.py运行，提示“Please enter a Question: ”，然后输入问题，等待智慧辅导系统回应：

二、LLM时代的次世代引擎——向量数据库

2.1、向量数据库+LLM的效果评估

为了评估效果，可以将使用了向量数据库后的智能辅导系统的和没有使用向量数据库（即按照1.2末尾的方法）单纯调用 ChatGLM进行结果比较：

QueryResponse by VectorDB + LLMResponse only by LLM分析
称为活化石的一种动物和一种植物各是什么？被称为活化石的动物是熊猫，被称为活化石的植物是银杏。被称为活化石的动物和植物各是:\n.植物: 鲀鱼(Eurypterus scutellatus)和大熊猫(Ailurus punctpunctatus)。 鲀鱼是一种生活在淡水中的无脊椎动物，已经灭绝了约4500万年，但被认为是活化石之一;大熊猫是一种哺乳动物，已经灭绝了约400万年，但被认为是活化石之一。未使用向量数据库辅助的回答明显存在错误，鲀鱼属于非植物。
伊洛瓦底江在哪里？伊洛瓦底江（Irrawaddy River）位于亚洲东南部，主要流经缅甸（Myanmar）。它是缅甸最重要的河流之一，也是东南亚最长的河流之一。伊洛瓦底江(Illyrian River)是北亚一条重要河流，发源于乌克兰东南部的伊洛瓦底省，流经乌克兰、俄罗斯、格鲁吉亚、阿塞拜疆和土耳其等国家，最终注入黑海。未使用向量数据库辅助的回答明显存在错误，存在胡编乱造之嫌。
国际象棋有多少颗棋子国际象棋共有32颗棋子国际象棋共有192颗棋子未使用向量数据库辅助的回答明显存在错误。
电池的发明人是谁？电池的发明人是意大利科学家亚历山大·伏特（Alessandro Volta）。他于1800年发明了第一种化学电池，称为伏特电池（Voltaic Pile），这被认为是现代电池的雏形。电池的发明人是意大利科学家奥尔莫·阿莫尼奥（Alessandro Volta）。在1780年代末期，他发明了第一个真正意义上的电池，他使用铜和锌两种金属、以及盐水和纸片作为电解质，发明了“伏打电池”（Voltaic cell）。这个发明使得电能可以被存储下来，使得人们能够更好地研究电学现象以及应用电能进行实际生产。奥尔莫·阿莫尼奥的伏打电池被认为是现代电池的起源，影响了电学、化学、物理学等学科的发展。他的贡献使他被誉为现代电气学的奠基人之一。而基于伏打电池的技术在今天的移动通讯、计算机、电子产品等领域得到广泛应用。未使用向量数据库辅助的回答明显在胡编乱造，经查阅没有奥尔莫·阿莫尼奥这个电池科学家，且回答过于啰嗦

经过对比实验分析，可以明显看出，在其他条件相同情况下，使用了向量数据库构建外部知识库的LLM在知识问答智能辅导的业务上回答更加准确可信、更加简洁高效。导入的私域pdf数据在经过文本分割、向量化后，存储在腾讯云向量数据库中，构建起专属的外部知识库，从而在后续的检索任务中，能够为大模型提供提示信息，帮助大模型生成更加准确的答案。

2.2、向量数据库优势分析

腾讯云向量数据库（Tencent Cloud VectorDB）作为一种专门存储和检索向量数据的服务提供给用户， 在高性能、高可用、大规模、低成本、简单易用、稳定可靠等方面体现出显著优势。

  1. 高性能：向量数据库利用高效的向量索引和查询算法，能够快速处理大规模的向量数据，并提供快速的搜索和匹配能力。另外一方面，腾讯云向量数据库采用分布式部署架构，每个节点相互通信和协调，实现数据存储与检索。客户端请求通过 Load balance 分发到各节点上。
  2. 低成本：这里包括低时间成本和低资金成本。时间方面上，用户只需在管理控制台按照指引，简单操作几个步骤，即可快速创建向量数据库实例，也可以调用HTTP API 或者 SDK 接口操作数据库，无需进行任何安装、部署和运维操作。资金方面上，腾讯云向量数据库目前免费开放，单索引支持10亿级向量数据规模，可支持百万级 QPS 及毫秒级查询延迟。
  3. 安全级别高：基于腾讯云一整套的安全控制和秘钥管理。腾讯云向量数据库支持配置安全组，以控制云数据库实例的网络访问，从而保护云资源的安全性腾讯云向量数据库通过 CAM 可以创建、管理和销毁用户（组），并通过身份管理和策略管理控制哪些人可以使用哪些数据库资源，资源细粒度控制，提供企业级的安全防护。

2.3、向量数据库应用场景和案例

向量数据库采用高效的向量索引和查询算法，可快速处理大规模的向量数据，并提供快速的搜索和匹配能力，除了与大语言模型 LLM 配合使用，向量数据库还具有广泛的应用场景：

  1. 图像搜索与识别：向量数据库可以用于图像搜索和识别，通过将图像数据向量化，可以实现对图像的相似度比较、检索和匹配，从而用于图像搜索引擎、商品识别、人脸识别等。

  1. 商品推荐与个性化营销：向量化商品信息后，可以通过检索相似的向量来实现商品推荐和个性化营销，提升用户购物体验和销售效果。
  2. 语音识别与语义理解：向量数据库适用于语音识别和自然语言处理领域，可以实现语音特征的比对、语义相似度计算、语种识别等应用，例如语音助手、智能客服等。
  3. 物流和交通管理：向量数据库可以用于物流和交通管理领域，通过将地理空间数据向量化，实现路径规划、交通分析、车辆调度等应用。

腾讯云向量数据库不仅能为大模型提供外部知识库，提高大模型回答的准确性，还可广泛应用于推荐系统、NLP 服务、计算机视觉、智能客服等 AI 领域。

三、云上探索实验室——腾讯云向量数据库

随着深度学习的普及和应用，传统的结构化数据（如文本、数字等）已经无法满足我们的需求，而向量数据可以在多维空间中表示复杂的关系和模式，可以用来表示图像、语音、视频等非结构化数据，从而能够更方便用来表示高维的深度学习模型的特征。向量数据库因其高效性、高可用性、大规模支持和简单易用特点，为深度学习技术提供了可靠的支持，已经逐渐成为存储、搜索和分析高维数据矢量的不可或缺的工具。

就个人体验来讲，当需要将文档与GPT进行处理时（例如企业内部知识库或个人），可采取以下优化方法：将文档内容转化为向量形式，将用户提出的相关问题也转换为向量，然后在数据库中搜索最相似的向量，匹配最相似的几个上下文，并将这些上下文传递给GPT。这一优化方法不仅能大幅提高处理效率，还可以并规避GPT处理大量文档时的tokens限制和各种问题。

在解决大模型预训练成本高、没有“长期记忆”、知识更新不足、提示词工程复杂等问题上，向量数据库突破大模型的时间和空间限制，加速大模型落地行业场景已经指日可待。

有兴趣可扫码了解腾讯云工具指南白皮书：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/186602.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

FastDFS+Nginx - 本地搭建文件服务器同时实现在外远程访问「内网穿透」

FastDFS+Nginx - 本地搭建文件服务器同时实现在外远程访问「内网穿透」

文章目录 前言1. 本地搭建FastDFS文件系统1.1 环境安装1.2 安装libfastcommon1.3 安装FastDFS1.4 配置Tracker1.5 配置Storage1.6 测试上传下载1.7 与Nginx整合1.8 安装Nginx1.9 配置Nginx 2. 局域网测试访问FastDFS3. 安装cpolar内网穿透4. 配置公网访问地址5. 固定公网地址5.…
阅读更多...
ProgrammingError: nan can not be used with MySQL

ProgrammingError: nan can not be used with MySQL

该错误怎么发生的？ 我们先在本地创建测试表： CREATE TABLE users_test (id int NOT NULL AUTO_INCREMENT COMMENT 主键,trade_account varchar(50) DEFAULT NULL COMMENT 交易账号,username varchar(50) DEFAULT NULL,email varchar(100) DEFAULT NULL…
阅读更多...
数字系列——数字经济

数字系列——数字经济

数字经济是全球经济未来发展方向，正在成为重组全球要素资源、重塑全球经济结构、改变全球竞争格局的关键力量。都知道数字经确实很重要，但有些人还傻傻搞不懂数字经济到底是什么？小编今天就给大家捋一捋。 什么是数字经济？ 数字经…
阅读更多...
Glove学习笔记

Glove学习笔记

global vectors for word representation B站学习视频 1、LSA与word2vec 我们用我们的见解，构建一个新的模型，Glove，全局向量的词表示，因为这个模型捕捉到全局预料的统计信息。 LSA:全局矩阵分解word2vec：局部上下文…
阅读更多...
AI生成的图片有版权了

AI生成的图片有版权了

我是卢松松，点点上面的头像，欢迎关注我哦！ 把发到小红书的AI图片搬运到百家号，然后被起诉了! 长知识了，原来AI生成的图片也有版权了，AI生成图片著作权第一案判了，这绝对是一件划时代事情&…
阅读更多...
微信小程序真机调试技巧，解决各种疑难杂症

微信小程序真机调试技巧，解决各种疑难杂症

1.在真机上看log 也许你调试的时候，会使用到真机调试或者预览模式或者体验版模式，这些模式都有可能出现意想不到的bug问题，这时候调试模式就非常非常重要了，特别是给领导看的时候，在领导手机上出现bug了，这…
阅读更多...
QT 项目中添加文件夹（分类文件）

QT 项目中添加文件夹（分类文件）

为了更方便的整理项目的文件，添加文件夹把文件进行分类。 1.首先在项目文件中创建新的文件夹 2.把需要归类的文件放入新建的文件中 3.右键然后选择add..... 4.运行此程序，会报错因为文件路径改变了，需要在.pro中修改路径 注意事项 文件夹内部…
阅读更多...
NSSCTF第14页（2）

NSSCTF第14页（2）

[UUCTF 2022 新生赛]ezpop 提示说看看反序列化字符串逃逸 PHP反序列化字符串逃逸_php反序列化逃逸-CSDN博客 php反序列化字符逃逸_php反序列化逃逸_Leekos的博客-CSDN博客 buuctf刷题9 (反序列化逃逸&shtml-SSI远程命令执行&idna与utf-8编码漏洞)_extract($_post);…
阅读更多...
码云配置遇到秘钥不正确

码云配置遇到秘钥不正确

你这个就是秘钥没有和git绑定， 需要 git config --global user.name "你的用户名随便写" git config --global user.email "你的邮箱"
阅读更多...
DCAMnet网络复现与讲解

DCAMnet网络复现与讲解

距论文阅读完毕已经过了整整一周多。。。终于抽出时间来写这篇辣！~ 论文阅读笔记放这里： 基于可变形卷积和注意力机制的带钢表面缺陷快速检测网络DCAM-Net（论文阅读笔记）-CSDN博客 为了方便观看，我把结构图也拿过来了。…
阅读更多...
软考：2024年软考高级：软件工程

软考：2024年软考高级：软件工程

软考：2024年软考高级: 提示：系列被面试官问的问题，我自己当时不会，所以下来自己复盘一下，认真学习和总结，以应对未来更多的可能性 关于互联网大厂的笔试面试，都是需要细心准备的 （1…
阅读更多...
2023 年 IntelliJ IDEA下载、安装教程，附详细图文

2023 年 IntelliJ IDEA下载、安装教程，附详细图文

大家好，今天为大家带来的是 2023年 IntelliJ IDEA 下载、安装教程，超详细的图文教程，亲测可用。 文章目录 1 IDEA 下载2 IDEA 安装3 IDEA 使用4 快捷键新手必须掌握：Ctrl：Alt：Shift：Ctrl Alt&a…
阅读更多...
机械臂仿真之vrep如添加视觉传感器

机械臂仿真之vrep如添加视觉传感器

基于视觉的机械臂作业任务，如何在vrep中加入视觉传感器，并获取画面？
阅读更多...
认证鉴权方案

认证鉴权方案

现在一般使用比较多的认证方式有四种： SessionTokenSSO单点登录OAtuth登录1.Cookie + Session 最常见的就是 Cookie + Session 认证。 Session，是一种有状态的会话管理机制，其目的就是为了解决HTTP无状态请求带来的问题。 当用户登录认证请求通过时，服务端会将用户的信息存…
阅读更多...
【排序,直接插入排序 折半插入排序 希尔插入排序】

【排序,直接插入排序 折半插入排序 希尔插入排序】

文章目录 排序排序方法的分类插入排序直接插入排序折半插入排序希尔插入排序 排序 将一组杂乱无章的数据按照一定规律排列起来。将无序序列排成一个有序序列。 排序方法的分类 储存介质： 内部排序：数据量不大，数据在内存，无需…
阅读更多...
JeecgBoot低代码开发—Vue3版前端入门教程

JeecgBoot低代码开发—Vue3版前端入门教程

JeecgBoot低代码开发—Vue3版前端入门教程 后端接口配置VUE3 必备知识1.vue3新特性a. https://v3.cn.vuejs.org/b.setup的用法c.ref 和 reactive 的用法d.新版 v-model 的用法e.script setup的用法 2.TypeScript基础 后端接口配置 如何修改后台项目路径 http://127.168.3.52:8…
阅读更多...
【brpc学习实践】ParallelChannel的使用与并行请求

【brpc学习实践】ParallelChannel的使用与并行请求

概览 ParallelChannel (有时被称为“pchan”)同时访问其包含的sub channel，并合并它们的结果。用户可通过CallMapper修改请求，通过ResponseMerger合并结果。ParallelChannel看起来就像是一个Channel： 支持同步和异步访问。 发起异步操作后可以立刻删除。 可以取消。 支持超…
阅读更多...
ELFK集群部署（Filebeat+ELK） 本地收集nginx日志 远程收集多个日志

ELFK集群部署（Filebeat+ELK） 本地收集nginx日志 远程收集多个日志

filebeat是一款轻量级的日志收集工具，可以在非JAVA环境下运行。 因此，filebeat常被用在非JAVAf的服务器上用于替代Logstash，收集日志信息。 实际上，Filebeat几乎可以起到与Logstash相同的作用， 可以将数据转发到Logst…
阅读更多...
【产品功能】dolphinscheduler怎么修改，实现超时就结束掉当前工作流

【产品功能】dolphinscheduler怎么修改，实现超时就结束掉当前工作流

超时就结束工作流 代码 代码 MasterExecThread类 的 runProcess方法 里面有超时告警，原本里面只有超时告警的，这时候我只要加上海豚自己写好的结束任务的方法endProcess（）方法
阅读更多...
pycharm编译报错处理

pycharm编译报错处理

1.c生成工具下载 https://visualstudio.microsoft.com/visual-cpp-build-tools/ 在这里插入图片描述 pip install pycocotools
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023