LLM:学习清单 ing

根据模型的数据流程方向和自己的经验列出:

一、模型输入

分词器:BPE,BBPE
位置编码:绝对位置编码,三角函数编码,ROPE
词向量模型:词袋,监督学习模型;BGE,BCE,BERT
transformers:手写数据集构造类、数据集加载函数colloctor

二、模型结构

transformers:结构,解码器only为啥比编码器好,llama在原始解码器上的改进及原因
归一化:层归一化,RNSnorm,批归一化,Pre-LN和Post-LN的区别
激活函数:tanh,relu,gelu,silu
FFN结构
注意力机制:自注意力,多头注意力,分组查询注意力,多查询注意力(前两个要手写)
softmax和sigmoid函数
llama结构,GLM结构

三、模型推理

推理原理
解码策略:温度等参数,需要结合代码理解
KVcache
长度外推:滑动窗口,rope,位置插值,yarn的原理
推理部署框架:vllm,fastapi
多轮对话实现原理
流式输出实现原理

四、模型训练

分布式:数据并行,模型并行,流水线并行
deepseed经验
多机多卡经验
参数调优经验
数据配比经验
高效微调:lora原理,peft使用
混合精度
模型量化
ppo,KTO ,dpo原理
损失函数:交叉熵的手动实现,熵的定义,最大似然函数,MSE

五、数据工程

预训练、sft、dpo数据集格式
主流数据集

六、多模态大模型

模型架构:BILP2、LLAVA1.5,书生2
模态数据处理:多图,多视频,图文交错
模型两阶段训练经验
数据集构造经验

六、产品应用

RAG:作用,流程,性能调优经验
agent:作用,实现方法,优化经验

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/872032.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据中心内存RAS技术发展背景

随着数据量的爆炸性增长和云计算的普及,数据中心内存的多比特错误及由无法纠正错误(UE)导致的停机问题日益凸显,这些故障不仅影响服务质量,还会带来高昂的修复或更换成本。随着工作负载、硬件密度以及对高性能要求的增加,数据中心…

01--IptablesFirewalld详解

前言:这里写一下,前面文章里都是直接关闭然后实验,感觉这样有点草率,这里写一下大概的概念和用法,作为知识的补充,这章写轻松点,毕竟是网安毕业的,算是给自己放松一下吧。 1、iptabl…

RK3568笔记三十八:DS18B20驱动开发测试

若该文为原创文章,转载请注明原文出处。 DS18B20驱动参考的是讯为电子的单总线驱动第十四期 | 单总线_北京迅为的博客-CSDN博客 博客很详细,具体不描述。 只是记录测试下DS18B20读取温度。 一、介绍 流程基本和按键驱动差不多,主要功能是…

asio之fd_set_adapter

简介 fd_set_adapter是对fd_set的封装 fd_set_adapter 是不同平台fd_set的别名 #if defined(BOOST_ASIO_WINDOWS) || defined(__CYGWIN__) typedef win_fd_set_adapter fd_set_adapter; #else typedef posix_fd_set_adapter fd_set_adapter; #endifposix_fd_set_adapter l…

为什么要做USB转多路UART项目 - 技术角度

前言 之前专门为USB转多路UART项目写了个序,提到了技术方案原因,这个文章打算展开讲一下。 一、工业物联网关 最初是因为有个工业物联网关的项目,需要出多路RS485接口,每路外接几十个三相电表PLC之类的电力电子设备。其中一款需…

构建艺术:精通Gradle依赖替换的策略与实践

构建艺术:精通Gradle依赖替换的策略与实践 在软件开发的构建过程中,依赖管理是确保项目顺利进行的关键环节。Gradle,作为一款强大的构建工具,提供了灵活的依赖管理功能,包括依赖替换,这使得开发者能够精细…

【论文极速读】 可微分检索索引(Differential Search Index, DSI)

【论文极速读】 可微分检索索引(Differential Search Index, DSI) FesianXu 20240714 at WeChat Search Team 前言 最近从朋友处得知了DSI这个概念,所谓的可微分检索索引DSI,就是通过语言模型将检索过程中的索引和召回…

​低学历的的程序员如何逆袭?​

​低学历的的程序员如何逆袭?​ 我在领英上看到一篇文章《低学历者逆袭成功的概率是多少》,该文章将低学历与不读书化等号。 事实上低学历与是否读书并无半点关系,这跟在寺庙里念经还是在家修行一个道理。另外知识的获取已经不仅仅限于读书一种,你可以从多种渠道获得知识…

pixelRNN与pixelCNN

目的:为了找到一个最能解释得到的生成样本的模型 PixelRNN 我们需要利用概率链式法则将图像x的生成概率转变为每个像素生成概率的乘积,也就是每个通道生成概率的乘积。 公式: 公式解释:p(x)是每个图像x的概率;右侧为…

浅聊授权-spring security和oauth2

文章目录 前言自定义授权spring security授权oauth2授权概述 前言 通常说到授权,就会想到登录授权、token令牌、JWT等概念,授权。顾名思义就是服务器授予了客户端访问资源的权益,那么要实现授权有几种方案呢,三种授权方式在公司项…

c++dll库的制作和使用

01、dll库的创建使用 创建dll项目 dllexport到处 dllimport导入 分别制定dll和lib的生成目录 调用: 包含头文件 常规添加 最后把dll文件拷贝到程序 成功调用

使用Keepalived实现双机热备(虚拟漂移IP地址)详细介绍

🏡作者主页:点击! 🐧Linux基础知识(初学):点击! 🐧Linux高级管理防护和群集专栏:点击! 🔐Linux中firewalld防火墙:点击! ⏰️创作…

linux彻底卸载docker

for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done 要彻底卸载 Docker 及其相关组件,可以按照以下步骤进行操作。请注意,这些步骤会删除 Docker 安装的所有容器、镜…

负载均衡的艺术:Eureka驱动的分布式服务网格负载均衡策略

负载均衡的艺术:Eureka驱动的分布式服务网格负载均衡策略 在微服务架构的复杂网络中,服务的负载均衡是确保系统稳定性和可扩展性的关键。服务网格(Service Mesh)作为微服务间通信的代理层,承担着流量管理、服务发现、…

uniapp发送Form Data格式请求

设置header的Content-Type为 application/x-www-form-urlencoded 即可 uni.request({url: , // 接口urldata: {input: 写一篇一千字的作文}, // 入参method: POST, // 参数类型header: {"Content-Type": "application/x-www-form-urlencoded"}, // 请求头…

已有SpringBoot后端项目 升级为 芋道框架(yudao-cloud)指南

已有SpringBoot后端项目 升级为 芋道框架(yudao-cloud)指南 启动芋道框架 后端:快速启动(后端项目) 前端:快速启动(后端项目) 注意: 必须要下载Redis和Nacaos&#xff…

进销存管理系统设计

进销存管理系统(Inventory Management System,简称IMS)是一种帮助企业有效管理商品的入库、出库及库存情况的信息系统。良好的进销存管理系统能够提升库存周转率、减少库存成本、提高订单处理效率,从而增强企业的市场竞争力。以下…

[JS]Generator

介绍 Generator函数是 ES6 提供的一种异步编程解决方案, async是该方案的语法糖 核心语法 Generator对象由生成器函数返回, 并且它符合可迭代协议和迭代器协议 生成器函数在执行时能暂停, 后面又从暂停处继续执行 <script>// 1.定义生成器函数function* testGenerato…

VMware与centos安装

目录 VM安装 安装centos VM安装 VMware Workstation Pro是VMware&#xff08;威睿公司发布的一袋虚拟机软件&#xff09;&#xff0c;它主要功能是可以给用户在单一的桌面上同时运行不同的操作系统&#xff0c;也是可以进行开发、测试、部署新的应用程序的最佳解决方案。 开始…

HarmonyOS 屏幕适配设计

1. armonyOS 屏幕适配设计 1.1. 像素单位 &#xff08;1&#xff09;px (Pixels)   px代表屏幕上的像素点&#xff0c;是手机屏幕分辨率的单位&#xff0c;即屏幕物理像素单位。 &#xff08;2&#xff09;vp (Viewport Percentage)   vp是视口百分比单位&#xff0c;基于…