LLM大模型相关问题汇总

一、基础篇

1. 目前 主流的开源模型体系 有哪些?

2. prefix LM 和 causal LM 区别是什么?

3. 涌现能力是啥原因?

4. 大模型LLM的架构介绍?

5. 你比较关注那些主流的开源大模型?

6. 目前大模型模型结构都有那些?

7. prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点?

8. 模型幻觉是什么?业内解决方案是什么?

9. 大模型的 Tokenizer 的实现方法及原理?

10. ChatGLM3 的词表实现方法?

11. GPT3、LLAMA、Chatglm 的Layer Normalization 的区别是什么?各自的优缺点是什么?

12. 大模型常用的激活函数有那些?

14. Multi-query Attention 与 Grouped-query Attention 是否了解?区别是什么?

15. 多模态大模型是否有接触?落地案例?

二、大模型(LLMs)进阶面

1. llama 输入句子长度理论上可以无限长吗?

2. 什么是 LLMs 复读机问题?

3. 为什么会出现 LLMs 复读机问题?

4. 如何缓解 LLMs 复读机问题?

5. LLMs 复读机问题

6. llama 系列问题

7. 什么情况用Bert模型,什么情况用LLaMA、ChatGLM类大模型,咋选?

8. 各个专业领域是否需要各自的大模型来服务?

9. 如何让大模型处理更长的文本?

10. 大模型参数微调、训练、推理

11. 如果想要在某个模型基础上做全参数微调,究竟需要多少显存?

12. 为什么SFT之后感觉LLM傻了?

13. SFT 指令微调数据 如何构建?

14. 领域模型Continue PreTrain 数据选取?

15. 领域数据训练后,通用能力往往会有所下降,如何缓解模型遗忘通用能力?

16. 领域模型Continue PreTrain ,如何 让模型在预训练过程中就学习到更多的知识?

17. 进行SFT操作的时候,基座模型选用Chat还是Base?

18.领域模型微调 指令&数据输入格式 要求?

19. 领域模型微调 领域评测集 构建?

20. 领域模型词表扩增是不是有必要的?

21. 如何训练自己的大模型?

22. 训练中文大模型有啥经验?

23. 指令微调的好处?

24. 预训练和微调哪个阶段注入知识的?

25. 想让模型学习某个领域或行业的知识,是应该预训练还是应该微调?

26. 多轮对话任务如何微调模型?

27. 微调后的模型出现能力劣化,灾难性遗忘是怎么回事?

28. 微调模型需要多大显存?

29. 大模型LLM进行SFT操作的时候在学习什么?

30. 预训练和SFT操作有什么不同

31. 样本量规模增大,训练出现OOM错

32. 大模型LLM进行SFT 如何对样本进行优化?

33. 模型参数迭代实验

34.为什么需要进行参选微调?参数微调的有点有那些?

35.模型参数微调的方式有那些?你最常用那些方法?

36.prompt tuning 和 prefix tuning 在微调上的区别是什么?

37. LLaMA-adapter 如何实现稳定训练?

38. LoRA 原理与使用技巧有那些?

39. LoRA 微调优点是什么?

40. AdaLoRA 的思路是怎么样的?

41. LoRA 权重合入chatglm模型的方法?

42. P-tuning 讲一下?与 P-tuning v2 区别在哪里?优点与缺点?

43. 为什么SFT之后感觉LLM傻了?

44. 垂直领域数据训练后,通用能力往往会有所下降,如何缓解模型遗忘通用能力?

45. 进行SFT操作的时候,基座模型选用Chat还是Base?

46. 领域模型词表扩增是不是有必要的?

47. 训练中文大模型的经验和方法

48. 模型微调用的什么模型?模型参数是多少?微调模型需要多大显存?

49. 预训练和SFT操作有什么不同?

50. 训练一个通用大模型的流程有那些

51.DDO 与 DPO 的区别是什么?

52. 是否接触过 embeding 模型的微调方法

53.有哪些省内存的大语言模型训练/微调/推理方法?

54. 大模型(LLMs)评测有那些方法?如何衡量大模型的效果?

55.如何解决三个阶段的训练(SFT->RM->PPO)过程较长,更新迭代较慢问题?

56. 模型训练的数据集问题:一般数据集哪里找?

57.为什么需要进行模型量化及原理?

58.大模型词表扩充的方法及工具?

59.大模型应用框架

60.搭建大模型应用遇到过那些问题?如何解决的?

61.如何提升大模型的检索效果

62.是否了解上下文压缩方法?

63.如何实现窗口上下文检索?

64.开源的 RAG 框架有哪些,你比较了解?

65. 大模型应用框架 LangChain 和 LlamaIndex 各种的优势有那些?

66. 你使用的向量库有那些?各自有点与区别?

67. 使用外部知识数据库时需要对文档进行分块,如何科学的设置文档块的大小?

68. LLMs 受到上下文长度的限制,如果检索到的文档带有太多噪声,该如何解决这样的问题?

69. RAG(检索增强生成)对于大模型来说,有什么好处?

三、大模型(LLMs)langchain面

什么是 LangChain?

LangChain 包含哪些 核心概念?

什么是 LangChain Agent?

如何使用 LangChain ?

LangChain 支持哪些功能?

什么是 LangChain model?

LangChain 包含哪些特点?

LangChain 如何使用?

LangChain 存在哪些问题及方法方案?

LangChain 替代方案?

LangChain 中 Components and Chains 是什么?

LangChain 中 Prompt Templates and Values 是什么?

LangChain 中 Example Selectors 是什么?

LangChain 中 Output Parsers 是什么?

LangChain 中 Indexes and Retrievers 是什么?

LangChain 中 Chat Message History 是什么?

LangChain 中 Agents and Toolkits 是什么?

LangChain 如何调用 LLMs 生成回复?

LangChain 如何修改 提示模板?

LangChain 如何链接多个组件处理一个特定的下游任务?

LangChain 如何Embedding & vector store?

LangChain 低效的令牌使用问题

LangChain 文档的问题

LangChain 太多概念容易混淆,过多的“辅助”函数问题

LangChain 行为不一致并且隐藏细节问题

LangChain 缺乏标准的可互操作数据类型问题

四、大模型分布式训练

大模型进行训练,你用的是什么框架?

业内常用的分布式AI框架,你什么了解?

数据并行、张量并行、流水线并行的原理及区别?

推理优化技术 Flash Attention 的作用是什么?

推理优化技术 Paged Attention 的作用是什么?

CPU-offload,ZeRO-offload 了解?

ZeRO,零冗余优化器 的三个阶段?

混合精度训练的优点是什么?可能带来什么问题?

Megatron-DeepSpeed 方法?

Megatron-LM 方法

五、大模型(LLMs)推理

为什么大模型推理时显存涨的那么多还一直占着?

大模型在gpu和cpu上推理速度如何?

推理速度上,int8和fp16比起来怎么样?

大模型有推理能力吗?

大模型生成时的参数怎么设置?

有哪些省内存的大语言模型训练/微调/推理方法?

如何让大模型输出合规化

应用模式变更

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/679766.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CSP-202312-2-因子化简(质数筛法)

CSP-202312-2-因子化简 一、质数筛法 主流的质数筛法包括埃拉托斯特尼筛法(Sieve of Eratosthenes)、欧拉筛法(Sieve of Euler)、线性筛法(Linear Sieve)等。这些算法都用于高效地生成一定范围内的质数。 …

设计模式-观察者模式 Observer

观察者模式 一、概述二、使用场景三、发布订阅1) 观察者模式2) 发布-订阅模式 四、源码使用1) jdk中的观察者2) Guava中的消息总线 五、进阶1) 异步非阻塞模型 一、概述 观察者模式是一种行为设计模式,允许对象间存在一对多的依赖关系,当一个对象的状态…

二叉搜索树题目:二叉搜索树的最小绝对差

文章目录 题目标题和出处难度题目描述要求示例数据范围 解法一思路和算法代码复杂度分析 解法二思路和算法代码复杂度分析 题目 标题和出处 标题:二叉搜索树的最小绝对差 出处:530. 二叉搜索树的最小绝对差 难度 3 级 题目描述 要求 给定一个二叉…

C#入门及进阶|数组和集合(四):数组的参数传递

数组的参数传递 向方法传递参数有两个方法,一个是“传值”,另一个是“传引用”。 传值时,如果对被调用的方法的值的副本进行修改,不会影响原始变量的值。 1.值传递 通过“传值”方式来传递引用,相当于允许方法直接访问…

什么是Java中的微服务架构,你能列举一些微服务架构的优缺点吗?

什么是Java中的微服务架构,你能列举一些微服务架构的优缺点吗? 微服务架构是一种将单个应用程序拆分为多个小型服务的架构风格,每个服务都运行在自己的进程中,并通过轻量级的通信机制(通常是HTTP或者消息队列&#xf…

【DSP】数字信号处理发展里程碑(AI【文心一言】 辅助生成)

在远离尘嚣的学术殿堂中,数字信号处理(DSP)这一学科犹如一颗璀璨的明珠,其发展历程充满了传奇色彩。下面,就让我们一起穿越时空,回到那些激动人心的时刻,见证数字信号处理从无到有、从弱到强的壮…

java对象内部都有哪些东西

普通对象 对象头 markword 占8字节ClassPointer 指针 :-XX userCompressedClassPointrs 为4字节,不开启为 8字节实例数据 引用类型: -XX userCommpressedOops 为4字节,不开启8字节Padding对齐, 8的倍数 数组对象 对象头:markwor…

算法沉淀——位运算(leetcode真题剖析)

算法沉淀——位运算 常用位运算总结1.基础位运算2.确定一个数中第x位是0还是13.将一个数的第x位改成14.将一个数的第x位改成05.位图6.提取一个数最右边的17.删掉一个数最右边的18.异或运算9.基础例题 力扣题目讲解01.面试题 01.01. 判定字符是否唯一02.丢失的数字03.两整数之和…

【北邮鲁鹏老师计算机视觉课程笔记】05 Hough 霍夫变换

【北邮鲁鹏老师计算机视觉课程笔记】05 Hough 霍夫变换 1 投票策略 考虑到外点率太高 ①让直线上的每一点投票 ②希望噪声点不要给具体的任何模型投票,即噪声点不会有一致性的答案 ③即使被遮挡了,也能把直线找出来 参数空间离散化 直线相当于就是m,b两…

Python 3 中使用 pandas 和 Jupyter Notebook 进行数据分析和可视化

简介 Python 的 pandas 包用于数据操作和分析,旨在让您以直观的方式处理带标签或关联数据。 pandas 包提供了电子表格功能,但由于您正在使用 Python,因此它比传统的图形电子表格程序要快得多且更高效。 在本教程中,我们将介绍如…

git revert回退某次提交

请直接看原文: 【git revert】使用以及理解(详解)_git revert用法-CSDN博客 -------------------------------------------------------------------------------------------------------------------------------- 前言 试验得知:用Reset HEAD方…

mmap函数的详细讲解

mmap&#xff08;&#xff09;函数是一个用于在用户空间和内核空间之间进行文件映射的系统调用。它允许文件在物理内存中的特定区域被映射到进程的地址空间中&#xff0c;从而允许进程通过内存访问操作来读取和写入文件。 函数原型&#xff1a; #include <sys/mman.h> …

笔记---dp---最长上升子序列模型

模型原始题目&#xff1a;AcWing.895.最长上升子序列 题目关系如下&#xff1a; 转化一 AcWing.1017.怪盗基德的滑翔翼 怪盗基德是一个充满传奇色彩的怪盗&#xff0c;专门以珠宝为目标的超级盗窃犯。 而他最为突出的地方&#xff0c;就是他每次都能逃脱中村警部的重重围堵…

ZigBee学习——在官方例程实现组网

✨Z-Stack版本&#xff1a;3.0.2 ✨IAR版本&#xff1a;10.10.1 ✨这篇博客是在善学坊BDB组网实验的基础上进行完善&#xff0c;并指出实现的过程中会出现的各种各样的问题&#xff01; 善学坊教程地址&#xff1a; ZigBee3.0 BDB组网实验 文章目录 一、基础工程选择二、可能遇…

Linux(Ubuntu) 环境搭建:MySQL

注&#xff1a;服务器默认以root用户登录 服务器的终端中输入以下指令&#xff1a; # 安装 MySQL apt install mysql-server # 查看版本 mysql -V # 查看 MySQL 服务状态 systemctl status mysql # 安装完成后&#xff0c;MySQL 服务将自动启动 # MySQL 服务在系统启动时自动…

spring 入门 一

文章目录 Spring简介Spring的优势Spring的体系结构 Spring快速入门Spring程序开发步骤导入Spring开发的基本包坐标编写Dao接口和实现创建Spring核心配置文件在Spring配置文件中配置UserDaoImpl使用Spring的API获得Bean实例 Spring配置文件Bean标签基本配置Bean标签范围配置Bean…

2.10

头文件&#xff1a; #include <sqlite3.h> 编译时候要加上-lsqlite3 gcc a.c -lsqlite3 1&#xff09;sqlite3_open 打开一个数据库&#xff0c;如果数据库不存在&#xff0c;则创建一个数据库 2&#xff09;sqlite3_close 关闭数据库&#xff0c;断开句柄所拥有的资…

HarmonyOS 横屏调试与真机横屏运行

我们有些程序 需要横屏才能执行出效果 我们在预览器上 点击如下图指向出 就进入一个横屏调试了 但 我们真机运行 依旧是竖着的 我们如下图 找到 module.json5 在 abilities 下面 第一个对象 最下面 加上 "orientation": "landscape"然后 我们再真机运…

Oracle表结构转成MySQL表结构

在将Oracle数据库表结构转换为MySQL数据库表结构时&#xff0c;需要考虑两大数据库系统之间的差异。以下是一些基本步骤和注意事项&#xff0c;帮助您进行转换&#xff1a;1、字符集和排序规则&#xff1a; Oracle使用的是固定的字符集和排序规则&#xff0c;而MySQL使用的是可…

Rust变量与常量介绍

Rust是一门注重安全性和性能的系统编程语言&#xff0c;其中变量和常量的概念有着独特的设计和特性。在本文中&#xff0c;我们将深入了解Rust中的变量和常量&#xff0c;并解释它们之间的区别&#xff0c;同时通过多个例子进行说明。 Rust常量 在Rust中&#xff0c;常量是不…