【小白也能看的懂】想要玩转AI大模型,这4招你得知道

前言

对于大部分人来说,能够灵活使用AI工具,并对自己每个常用的AI工具优劣势很清楚,就已经足够了。不过,毕竟AI发展实在太快,多了解一些相关的知识点,以全局的视角去看AI,可以避免管中窥豹,宏观和微观来回切换,就不容易掉队。

所以分享一下大模型的4种层次的运用模式。从易到难,分别是提示词工程(Prompt Engineering),检索增强生成(RAG),微调(Fine-tuning),预训练(Pre-training)4个方式(这4个方式也是AI新手到高手的成长路线)。

图片image

提示词工程

提示词工程(Prompt Engineering)是一种技术,它涉及精心设计问题或指令(即“提示词”),以引导人工智能(AI)模型生成特定类型的输出。这种方法的核心在于通过精确的语言输入来激发AI的潜能,使其能够提供更加准确、相关或创造性的回答。

图片image

举例:
  1. 内容创作

    • 假设你想要AI帮你写一篇关于“时间管理”的博客文章。你可以设计一个提示词,如:“写一篇关于时间管理的指南,面向忙碌的专业人士,语言风格要鼓舞人心,包含实用的技巧和案例研究。”
  2. 代码生成

    • 如果你是一个软件开发者,需要生成一个特定的函数来解析JSON数据,你可以给AI一个提示词,例如:“生成一个Python函数,该函数接受一个JSON字符串作为输入,并返回解析后的数据字典。”
  3. 语言翻译

    • 想要将一段文本从英语翻译成法语,你可以使用提示词:“将以下英文文本翻译成法语:‘Welcome to our new website!’”
  4. 问题解答

    • 当你向AI提出一个复杂问题时,比如“解释量子纠缠是什么?”你可以设计一个提示词,让它以易于理解的方式回答:“请用简单的语言解释量子纠缠的概念,并提供日常生活中的类比。”
  5. 艺术创作

    • 如果你想利用AI来创作一幅画,可以给出一个艺术风格的提示词,如:“创作一幅描绘夏日海滩的油画,风格要类似于梵高的《星夜》。”

这些例子里,提示词相对比较简单,如果想系统的学习提示词,网上也有很多资料可以学,可以参考这个:

https://zhuanlan.zhihu.com/p/671241020

RAG(检索增强生成)

RAG是一种通过知识库外挂的形式,让问题回复更精准的技术。

图片image

逻辑阐述

比如你在用一些大模型对话机器人时,这些回复是从大的数据集中生成答案,但有些你自己的独有问题,并不一定能找到答案。比如公司会有自己独有的资料库或者档案。这个时候,借助RAG,可以支持把你独有的知识库存储到向量数据库(这个不清楚的话,可以问AI哈),然后包装成一个应用,AI就变成了你自己独有的一个智能的“信息助手”,它不仅记住了很多你喂给ta的东西,还能在需要时快速查找更多相关资料,然后结合这些信息给出一个全面的答案。

流程:

  1. 像搜索引擎一样检索:当你问一个问题时,RAG技术会像使用搜索引擎一样,在你提供的各种资料中快速找到最相关的信息。
  2. 像老员工一样经验丰富:找到信息后,它会像有经验的员工那样,结合已有的知识和新找到的信息,给你一个更全面的答复。
  3. 生成回答:最后,它会把整合后的信息以回答的形式呈现给你,就像一个知识渊博且反应迅速的同事。

举例:

假设你是一个刚入职场2年的市场营销专员,需要准备一个新产品的推广方案,但你不确定从何开始。

  1. 提出问题:你问AI助手:“我们新产品的推广方案应该包括哪些要素?”
  2. 检索信息:AI助手会在你的公司内部资料库、市场研究报告、以往的成功案例等资料中检索,找到与新产品推广相关的策略和数据。
  3. 生成回答:然后,AI助手会结合这些资料和你之前参与的项目经验,给出一个包含关键要素、市场定位、目标受众分析、预期效果评估等的推广方案建议。

图片比如平时把文档发给kimi,就是一个RAG小场景,可以不断追问文档里的信息。

一些亲民的RAG工具,比如Dify(https://cloud.dify.ai/),FastGPT(https://fastgpt.in/)等都比较容易上手。

通过RAG技术,你得到的不仅仅是一些基本的推广建议,而是一个结合了公司内部资料和市场数据的定制化方案,帮助你更有效地完成工作。

精调(也叫微调)

图片image

微调大模型(Fine-tuning Large Models)是机器学习和人工智能领域中的一个概念,它指的是在预训练的大型机器学习模型的基础上,通过进一步的训练来适应特定的任务或数据集的过程。**背后改变的是大模型的参数。**当预训练模型需要应用于具体的、特定的任务时(如特定领域的文本分类、情感分析等),由于这些任务的数据量可能较小,直接使用预训练模型可能无法达到最佳效果。微调就是通过在特定任务的数据上继续训练模型,使模型更好地适应这些数据的特征。

举例:

假设你是一个有5年工作经验的软件工程师,现在你的团队需要开发一个聊天机器人,用于客户服务。你们选择了一个预训练的大型语言模型作为基础,这个模型已经在互联网上的大量文本数据上训练过,能够理解多种语言和上下文。

但是,这个通用模型可能并不了解你们公司产品的具体信息和客户服务的特定语境。这时,你们可以对模型进行微调:

  • 收集数据:首先,你们需要收集与客户服务相关的对话记录、产品手册、常见问题解答等数据。
  • 微调过程:然后,使用这些特定领域的数据对预训练模型进行再训练,调整模型的参数,使其更好地理解你们公司产品的术语和客户需求。
  • 测试与部署:微调完成后,进行测试以确保模型的表现符合预期,然后将其部署到客户服务平台上。

具体使用场景:

  1. 客户服务:如上例所述,聊天机器人可以用于回答客户咨询,提供产品信息,处理常见问题等。
  2. 医疗咨询:在医疗领域,微调模型可以用于理解病人的症状描述,并提供初步的医疗建议。
  3. 法律分析:法律行业可以利用微调模型来分析法律文档,提供案例研究和法律条文的查询服务。
  4. 内容推荐:在新闻或电商平台,微调模型可以根据用户的历史行为和偏好,推荐相关新闻或商品。
  5. 情感分析:在社交媒体管理中,微调模型可以分析用户评论的情感倾向,帮助企业了解公众对品牌或产品的看法。

预训练

预训练模型这个事情不是我们普通人能做的,简单了解下即可。

大概意思就是前3个方式都满足不了的时候,才会使用这个,但成本很高,很多公司也做不了。

图片image

预训练模型(Pre-trained Models)是深度学习中的一种模型训练策略,它涉及到在大量数据上训练一个通用模型,以便捕捉和学习语言、图像或其他类型数据的内在结构和特征。这种模型通常在特定任务之前就已经训练好,因此被称为“预训练”。

解释:

  1. 大规模数据集训练:预训练模型使用的数据集规模通常非常庞大,比如数以亿计的网页、书籍、新闻文章等,这些数据构成了模型训练的基础。
  2. 通用特征学习:在预训练阶段,模型学习到的是数据的通用特征,如语言模型中的词序、语法结构、语义信息等,或者图像模型中的颜色、形状、纹理等视觉特征。
  3. 迁移学习(Transfer Learning):预训练模型是迁移学习的一个典型应用,即将在大规模数据集上学到的知识迁移到特定领域的任务上。
  4. 参数冻结与微调:在微调阶段,模型的大部分参数(如底层的权重和偏置)通常被冻结,只有顶层的一小部分参数会被调整,以适应新任务。
  5. 模型架构:预训练模型通常基于深度神经网络,如循环神经网络(RNN)、长短期记忆网络(LSTM)、Transformer等,这些架构能够处理序列数据并捕捉长距离依赖关系。

小结

以上这些只是使用大模型的技术方法,在实际场景中,客户需要的是解决方案,通常是多个方式一起配合。比较常见的配合就是提示词工程+RAG,涉及到本地部署,可能会用到微调。

除了这些方法,还有调换大模型,或者借助多模态大模型解决具体需求场景,后面我们接着聊。

学习AI就是多玩,多实践,共勉。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/44905.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

编程语言现状:深入剖析与未来展望

编程语言现状:深入剖析与未来展望 在数字化时代的浪潮中,编程语言作为信息科技领域的基石,正经历着前所未有的变革与发展。本文将从四个方面、五个方面、六个方面和七个方面,深入剖析编程语言的现状,并展望其未来的发…

【错题集-编程题】买卖股票的最好时机(四)(动态规划)

力扣对应题目链接:188. 买卖股票的最佳时机 IV - 力扣(LeetCode) 牛客对应题目链接:买卖股票的最好时机(四)_牛客题霸_牛客网 (nowcoder.com) 一、分析题目 1、状态表示 为了更加清晰的区分买入和卖出,我们换成有股…

【鸿蒙学习笔记】通过用户首选项实现数据持久化

官方文档:通过用户首选项实现数据持久化 目录标题 使用场景第1步:源码第2步:启动模拟器第3步:启动entry第6步:操作样例2 使用场景 Preferences会将该数据缓存在内存中,当用户读取的时候,能够快…

springboot对象参数赋值变化

java springboot 项目, 通过接口修改Person类 name值, 在别的类中,注入Person类 Resource Person person, 为什么拿不到 接口修改的 name的值,是Person类 不同的对象造成的 吗 参数对象和注入对象区别 Person类&…

云WAF | 云waf基础知识详解

随着数字时代的到来,网络安全问题越来越突出, Web应用防火墙(WAF)是保障 Web应用安全的一道重要防线。在云计算环境下,云环路由云平台(WAF)的出现,其融合了 WAF的能力和云计算的灵活…

【Linux】IP地址与主机名

文章目录 1.IP地址2.特殊IP地址3.主机名4.域名解析 1.IP地址 每一台联网的电脑都会有一个地址,用于和其它计算机进行通讯 IP地址主要有2个版本,V4版本和V6版本 IPv4版本的地址格式是:a.b.c.d,其中abcd表示0~255的数字,如192.168.…

PS 2024【最新】中文白嫖版!,安装教程,图文步骤

文章目录 软件介绍软件下载安装步骤 软件介绍 Photoshop,简称“PS” Adobe Photoshop,简称“PS”,是由Adobe Systems开发和发行的图像处理软件。Photoshop主要处理以像素所构成的数字图像。使用其众多的编修与绘图工具,可以有效地…

利用AI快速上手新项目:开发者的高效指南

使用AI帮助开发者熟悉新的项目 在现代软件开发中,开发者经常需要快速熟悉一个新的项目。项目可能包含复杂的结构和大量的文件,这对新手开发者来说无疑是一项挑战。幸运的是,借助AI技术,我们可以更加高效地了解项目结构&#xff0…

道路运输企业管理人员安全考核试题(附答案)

1、【多选题】《道路旅客运输企业安全管理规范》规定,客运企业应当制定车辆动态监控操作规程。操作规程的内容包括( )。(ABCD) A、卫星定位装置、视频监控装置、动态监控平台设备的检修和维护要求 B、动态监控信息采集、分析、处理规范和流程 C、违法违规信息统…

探索Facebook在人工智能领域的最新进展

在当今快速发展的科技领域中,人工智能(AI)作为一项关键技术,正在逐步改变着社交媒体的面貌。作为全球最大的社交平台之一,Facebook积极探索和应用人工智能,以提升用户体验、增强平台安全性并推动技术创新。…

Nodejs 第八十四章(ElasticSearch搜索)

ElasticSearch基本用法在之前的篇章介绍过了 这里不在过多阐述 模拟假数据 安装库 faker-js/faker 模拟假数据的一个库非常好用支持中文使用中文 locale: [zh_CN], 设置即可生成名字,邮箱,手机号,id,年龄,性别生成完成…

ATT 和 GATT:数据表示和交换

背景介绍 BLE的通信和以太网,wifi有个重大的不同是:BLE通信的设备往往有特定的功能。且这个功能不会在运行中发生变化。 因此蓝牙设备通信的时候,只能访问预先定义好的(也就是配置文件profile)的功能。 那profile里写…

批量制作word表格

问题背景 将excel表中的成绩内容制作为成绩单,每页对应一个学员的成绩,方便打印 代码实现 ## 导入包 import pandas as pd from docx import Document from docx.enum.text import WD_ALIGN_PARAGRAPH,WD_LINE_SPACING# 读取 Excel 内容 df pd.read_e…

APP接入聚合广告SDK会影响上架应用市场吗?

SDK是移动互联网的基本技术接入方式,而广告聚合SDK仅是实现广告请求返回的功能,所以本身不会有任何问题,而各家应用市场会对具体的广告展现方式等会有不同的要求,开发者可以根据具体的市场需要要求广告平台来配合进行相关设置即可…

精通 mysqldumpslow:深度分析 MySQL 慢查询日志

引言 在数据库管理与优化的领域中,慢查询日志是识别性能瓶颈的金矿。mysqldumpslow 工具是挖掘这座金矿的利器,它帮助我们分析 MySQL 慢查询日志并提取关键信息。本文将详细介绍 mysqldumpslow 的核心选项,并通过实例展示如何使用这些选项来…

IP 地址:优化网络游戏

IP地址和网络游戏 在现代网络游戏中,IP地址不仅用于服务器分配,还能针对性进行玩家匹配与优化网络延迟。本文将探讨IP地址在网络游戏中的具体应用。 *服务器分配* 全球服务器分布: 网络游戏需要在全球范围内提供快速、稳定的连接&#xff…

笔记

https://qoj.ac/problem/8008 不难发现, 随机到某些位置,之后最短路 先O(nm)预处理出能到的点, 考虑最小的随机位置 首先,我们将求和式进行展开: ∑ j 1 ∞ j ( n − i n ) j − 1 i n \s…

libcoap3对接华为云平台

文章目录 前言一、平台注册二、引入源码库1.libcoap仓库编译2.分析网络报文3.案例代码4.编译&运行 总结 前言 通过libcoap3开源代码库对接华为云平台,本文章将讨论加密与不加密的方式对接华为云平台。 一、平台注册 首先,你需要在华为云平台上创建…

文华财经盘立方博易大师boll布林带指标公式源码

TT:TIME>850&&TIME<1150; MID:MA(CLOSE,26);//求N个周期的收盘价均线&#xff0c;称为布林通道中轨 TMP2:STD(CLOSE,26);//求M个周期内的收盘价的标准差 TOP:MID2*TMP2;//布林通道上轨 BOTTOM:MID-2*TMP2;//布林通道下轨 A:EVERY(ISDOWN,2)&&TT&&…

【鸿蒙学习笔记】使用axios进行HTTP数据请求

官方文档&#xff1a;网络管理开发概述 目录标题 访问淘宝公开接口&#xff08;测试数据&#xff09;第1步&#xff1a;module.json5 配置网络授权第2步&#xff1a;下载axios第3步&#xff1a;源码第4步&#xff1a;启动模拟器第5步&#xff1a;启动entry第6步&#xff1a;操…