NLP 相关知识

NLP 相关知识

  • NLP
  • LLM
  • Prompt Chaining
  • LangChain

NLP

NLP(Natuarl Language Processing)是人工智能的一个分支,中文名自然语言处理,专注于处理和理解人类使用的自然语言。它涵盖了多个子领域,如文本分类、情感分析、机器翻译、问答系统、语音识别、语义解析等

NLP 的常见技术范式如下:

全监督学习(非神经网络):仅在目标任务的输入输出样本数据集上训练特定任务模型

全监督学习(神经网络):使用特征学习与模型训练相结合,通过网络架构学习数据特征

全监督学习(Fully Supervised Learning)是机器学习中的一种基本学习范式,其中每个训练样本都带有完整的标签信息。在全监督学习中,算法的目标是从给定的输入数据(特征)和对应的正确输出(标签)中学习一个函数或模型,使得该模型能够在新的未知数据上准确预测标签

第三种技术范式诗预训练(Pretraining),预训练是机器学习,特别是深度学习中的一种重要技术,特别是在自然语言处理(NLP)领域。预训练是指在大规模未标注数据集上先进行学习,然后将学到的知识转移到特定任务的微调阶段。这个过程通常分为两个阶段:

  1. 预训练阶段: 在这个阶段,模型(如 Transformer 架构的 BERT、GPT 或 T5 等)会在一个非常大的文本数据集上进行训练,这个数据集通常是互联网抓取的网页、书籍、新闻等。模型的目标是学习语言的一般规律和模式,而不是针对特定任务。这个过程通常使用无监督学习任务,如自动生成下一个单词(自回归预训练)或填充被遮蔽的单词(掩码语言模型预训练)。大模型的本质,是基于大样本训练出的预测模型。模型基于给它输入的语料,根据概率预测可能的回答。模型的预测结果受语料限制
  2. 微调阶段: 预训练完成后,模型已经具备了一定的语言理解能力。在微调阶段,模型会针对特定的下游任务(如文本分类、问答系统、机器翻译等)进行进一步的训练,这个阶段叫 Fine-tuning。这时,我们会用到带有标签的小型数据集,调整模型的参数以优化特定任务的性能。具体来说,是通过人类的反馈来约束模型,从而让模型回答出人类满意的答案。当预测模型执行某个任务时,人类可以提供正面或负面的反馈(手动去选择对错),以指导模型的行为

预训练的好处在于,它允许模型在大量数据上学习通用的语言表示,这些表示可以捕捉到语言的丰富结构和语义信息。这样,在微调时,模型只需要少量的标记数据就能达到较好的性能,尤其对于那些标记数据稀缺的任务来说,预训练极大地提高了效率和效果

LLM

LLM 是近年来随着深度学习发展而出现的一种特定类型的 NLP 模型。这些模型非常大,拥有数亿甚至数千亿个参数

LLM通过训练大规模的文本数据集(如互联网上的网页、书籍、文章等)来学习语言模式和结构。著名的 LLM 包括 Google 的 BERT、Facebook 的 RoBERTa、OpenAI 的 GPT 系列以及阿里云的 Qwen 等

这些模型能够执行多种 NLP 任务,如回答问题、生成文本、翻译等,并且由于其规模和复杂性,它们在许多任务上表现出优秀的性能

Prompt Chaining

链允许我们将多个组件组合在一起以创建一个单一的、连贯的任务。例如,我们可以创建一个链,它接受用户输入,使用 PromptTemplate 对其进行格式化,然后将格式化的响应传递给 LLM。另外我们也可以通过将多个链组合在一起,或者将链与其他组件组合来构建更复杂的链

熟悉 openai 的都知道,openai 提供的聊天接口 api,本身是不具备“记忆的”能力。如果想要使聊天具有记忆功能,则需要我们自行维护聊天记录,即每次把聊天记录发给 gpt 发送的内容也越来越多,那很可能就碰到 token 的限制。聪明的同学会发现,其实我们只保留最近几次的聊天记录就可以了,这确实是一种解法,但是不够完美

Prompt Chaining 确实涉及到使用对话历史来指导模型生成连贯的响应,但它不仅仅是简单地将用户和模型之间的完整对话历史拼接在一起并一次性发送给模型。在实际应用中,Prompt Chaining 通常更加复杂和精细

LangChain

LangChain 作为一个大语言模型开发框架,是 LLM 应用架构的重要一环。那什么是 LLM 应用架构呢?其实就是指基于语言模型的应用程序设计和开发的架构

LangChian 可以将 LLM 模型、向量数据库、交互层 Prompt、外部知识、外部工具整合到一起,进而可以自由构建 LLM 应用

LangChain 为使用聊天模型提供了一个标准接口。聊天模型是语言模型的一种变体。虽然聊天模型在内部使用语言模型,但它们所提供的接口略有不同。它们不是暴露一个 “输入文本,输出文本” 的 API,而是提供了一个以 “聊天消息” 作为输入和输出的接口

聊天模型的接口是基于消息而不是原始文本。LangChain 目前支持的消息类型有 AIMessage、HumanMessage、SystemMessage 和 ChatMessage,其中 ChatMessage 接受一个任意的角色参数。大多数情况下,您只需要处理 HumanMessage、AIMessage 和 SystemMessage

但是如果只是这样的话,那为什么不直接调用大模型接口呢。所以 LangChain 还提供了很多其他功能,比如缓存 LLM 返回结果。上面介绍了聊天的角色处理以及如何进行批量处理消息。我们都知道向 openAI 调用接口都是要花钱的,如果用户问同一个问题,对结果进行了缓存,这样就可以减少接口的调用并且也能加快接口返回的速度

那么怎么判断用户下次问了相似的问题呢,这就需要使用到向量库了,比如 ES。这个更多的是用于文档、文本或者大量数据的总结、问答场景,一般是和向量库一起使用,实现向量匹配。其实就是把文本等内容转成多维数组,可以后续进行相似性的计算和检索

他相比 fine-tuning 最大的优势就是,不用进行训练,并且可以实时添加新的内容,而不用加一次新的内容就训练一次,并且各方面成本要比 fine-tuning 低很多

向量库:将一段文本、图像、音频拆分成多个纬度的数据,根据用户传入,锚定坐标然后选择最近的点做返回,这大概就是向量数据库在 LLM 工程(langchain)中的使用,简单来说就是做缓存

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/35302.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

思维导图麒麟liunx系统

系统管理与计划任 ” 使用at命令提交任务。 6.2.1 at任务概述 6.1.4 定时任务的使用场景 at任务是指使用at命令安排的,只执行一次的任务它允许用户指定在未来某个特定时间执行命令或脚本定时更新系统软件包。定时清理系统临时文件。自动备份文件和数据库。 at:用于一…

pytorch 源码阅读(2)——torch._dynamo.optimize

0 torch._dynamo.optimize(backend, *, nopython, guard_export_fn, guard_fail_fn, disable, dynamic),TorchDynamo 的主入口点 1 参数说明 backend,一般有两种情况: 一个包含 torch.fx.GraphModule 和 example_inputs,返回一个…

【websocket】websocket网课视频记录

仅个人方便回顾。 【WebSocket入门与案例实战-哔哩哔哩】 https://b23.tv/2p1f9t2 课程对应代码仓库: https://gitee.com/duoli-java/websocket-demo.git

C++编程(二)引用

文章目录 一、C中的引用(一)引用1. 语法格式2. 作用3. 注意事项 (二)常引用2. 其他场景 (三)引用和函数结合使用1. 引用可以作为函数的参数2. 引用可以作为函数的返回值 (四)引用和指…

在 C/C++ 中使用 popen去执行linux命令样例,失败场景

在 C/C 中使用 popen 函数去执行 Linux 命令是一种常见的方式,但确实存在多种可能导致失败的场景。以下是一些可能导致 popen 失败的常见原因和样例: 命令不存在或路径错误: 如果你尝试执行的命令不存在于系统的 PATH 环境变量中,…

记因hive配置文件参数运用不当导致 sqoop MySQL导入数据到hive 失败的案例

sqoop MySQL导入数据到hive报错 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 64 报错解释: 这个错误表明Sqoop在尝试导入数据到Hive时遇到了问题,导致Hive进程异常退出。状态码…

HarmonyOS Next开发学习手册——通过startAbility拉起文件处理类应用

使用场景 开发者可以通过调用startAbility接口,由系统从已安装的应用中寻找符合要求的应用来实现打开特定文件的意图,例如:浏览器下应用下载PDF文件,可以调用此接口选择文件处理应用打开此PDF文件。开发者需要在请求中设置待打开…

三个方法计算两张图片的相似度

import cv2 import numpy as np from skimage.metrics import structural_similarity as ssim import osdef is_similar(image1, image2, threshold0.95):对图像的颜色信息敏感,能快速计算。对图像的旋转、缩放等几何变换不敏感。缺点:对图像的结构、纹理等信息不敏…

0625_ARM2

练习: 汇编实现1-100累加,结果保存在r0 .text .global _start start:mov r0,#0mov r1,#1b loop loop:add r0,r0,r1add r1,r1,#1cmp r1,#101bne loop .end思维导图:

C#——SortedList 排序列表详情

SortedList 排序列表 SortedList 类用来表示键/值对的集合,这些键/值对按照键值进行排序,并且可以通过键或索引访问集合中的各个项。 我们可以将排序列表看作是数组和哈希表的组合,其中包含了可以使用键或索引访问各项的列表。如果您使用索…

tensorflow学习1.3-创建会话,启动会话

tensorflow学习1.3-创建会话,启动会话 会话的由来与作用由来作用 会话的定义与结构定义 用法基本用法上下文管理器执行部分计算图获取多个结果 总结 练习代码报错原因:TensorFlow 2.x中的Eager Execution使用兼容模式来启用SessionEager Execution和计算…

AI文档助手:提升文档处理效率

随着人工智能技术的飞速发展,AI文档助手已经成为我们提升工作效率的重要工具。小编就来和大家分享几款AI文档助手,它们能够通过智能化的功能帮助我们快速、准确地完成各种文档任务。 1.百度文库AI助手 百度文库AI助手是百度基于文心一言重构的一站式智能…

全景图片/老照片/动漫图片一键无损放大与修复

在日常生活中,我们经常使用系统自带的图片处理软件来对图片进行缩放操作,从而实现放大或缩小图片。然而,这种方法会带来一个问题:如果原始图片较小,放大后会导致精度损失,使图片变得模糊。 近年来&#xf…

vue uniapp MEQX JWT认证

1.下载依赖 npm install mqttimport * as mqtt from "mqtt/dist/mqtt.min" ​ 我是用的uniapp vue3 vite这里尝试了很多方式,都导入不进去后来我就采用的本地引入方式, 把mqtt.min.js下载到本地然后在index.html 中导入<script src"./MEQX/mqtt.js" typ…

rapidocr-onnxruntime库及在open-webui上传PDF 图像处理 (使用 OCR)应用

背景 rapidocr-onnxruntime是一个跨平台的OCR库&#xff0c;基于ONNXRuntime推理框架。 目前已知运行速度最快、支持最广&#xff0c;完全开源免费并支持离线快速部署的多平台多语言OCR。 缘起&#xff1a;百度paddle工程化不是太好&#xff0c;为了方便大家在各种端上进行oc…

终极指南:解决iCloud备份错误代码的全面策略

终极指南&#xff1a;解决iCloud备份错误代码的全面策略 在数字化时代&#xff0c;数据安全至关重要。iCloud作为Apple提供的云服务&#xff0c;为我们的iPhone、iPad等设备提供了便捷的数据备份与恢复功能。然而&#xff0c;在使用过程中&#xff0c;我们可能会遇到各种备份错…

ros,open3d单线激光雷达数据可视化

之前一直尝试将可视化写在ros的回调函数中&#xff0c;visualization一直会阻塞进程&#xff0c;换一种方式可以顺利实现可视化 import rospy import open3d as o3d import numpy as np from sensor_msgs.msg import LaserScanglobal scan_data scan_data Nonedef callback_l…

机器学习之对比学习方法SimSiam(Simple Siamese)

SimSiam(Simple Siamese)是一种自监督对比学习方法,由Facebook AI Research于2021年提出。SimSiam的设计旨在避免负样本对,并且不使用动量编码器,进一步简化了对比学习的实现过程。 SimSiam的基本概念 自监督学习: 自监督学习方法通过从数据本身获取监督信号进行学习,不…

qt 播放音频 c++

目录 不能播放&#xff1a; 可以播放&#xff1a; 原因&#xff1a; QT core gui sql network multimedia 不能播放&#xff1a; #include <QMediaPlayer>QMediaPlayer player;// player.setMedia(QUrl("qrc:/res/raw/qs.mp3"));player.setMedia(QU…

近邻算法基础概念

近邻算法&#xff0c;尤其是K-最近邻&#xff08;K-Nearest Neighbors, KNN&#xff09;算法&#xff0c;是一种基于实例的学习方法&#xff0c;广泛应用于分类和回归分析中。 基本概念 目的&#xff1a;KNN算法的目的是对新的未知样本进行分类&#xff08;或预测其数值&…