上海人工智能实验室大模型算法岗(实习)面经分享

节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。


汇总合集:《大模型面试宝典》(2024版) 发布!


今天分享的这位同学来自我们星球成员,面经汇总如下,喜欢记得收藏、关注、点赞,喜欢面试、技术交流,文末加入我们。


大家好,我是来自华东师范大学,专业为计算机系,面了上海人工智能实验室大模型算法岗(实习)

问的很细很深,狠狠拷打了80分钟,这个组做 LLM pretrain 的,我主要会 rl,nlp 缺乏点,面完感觉不是特别好。

  • 自我介绍
  • 项目
  • 微调模型训练数据来源?
  • LORA的理解
  • Ptuning和全量微调对比
  • RLHF全流程
  • 写出RLHF的优化目标公式
  • 目标公式中衰减因子的作用,取大取小有什么影响?
  • RLHF的目标公式可以加入什么其他的项?
  • 熵正则项是如何加入的?
  • KL散度理解?
  • RLHF中PPO算比率相对什么来算?
  • 其中对数概率的作用?
  • 马尔科夫决策过程的定义,有哪些参数变量需要考虑?
  • Reward model 训练的loss是什么?
  • 模型为什么会胡言乱语?根源在哪?可以考虑如何解决?
  • 模型微调会性能下降为什么还需要这一步?
  • 文本数据处理到进入模型的整个过程?
  • 分词和向量化的过程?
  • 模型微调过程中的调参?
  • 1.8b和7b使用中的区别?选择?
  • Recall,Precision的计算
  • 训练数据量级?
  • 如何把控数据质量?
  • 场景题,在处理数据的时候面对有违规的语料(如黄暴内容)如何平衡Recall,Precision指标
  • 对大模型整个发展趋势如何理解?
  • 你认为LLM的数据质量的关键在于什么?
  • 算法题一,easy 考察正则表达式
  • 算法题二,dp ,medium
  • 算法题三,栈,easy

技术交流

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗AIGC面试与技术交流群, 想要进交流群、需要源码&资料、提升技术的同学,可以直接加微信号:mlc2040。加的时候备注一下:研究方向 +学校/公司+CSDN,即可。然后就可以拉你进群了。

方式①、微信搜索公众号:机器学习社区,后台回复:技术交流
方式②、添加微信号:mlc2040,备注:技术交流+CSDN

用通俗易懂的方式讲解系列

  • 用通俗易懂的方式讲解:不用再找了,这是大模型最全的面试题库
  • 用通俗易懂的方式讲解:这是我见过的最适合大模型小白的 PyTorch 中文课程
  • 用通俗易懂的方式讲解:一文讲透最热的大模型开发框架 LangChain
  • 用通俗易懂的方式讲解:基于 LangChain + ChatGLM搭建知识本地库
  • 用通俗易懂的方式讲解:基于大模型的知识问答系统全面总结
  • 用通俗易懂的方式讲解:ChatGLM3 基础模型多轮对话微调
  • 用通俗易懂的方式讲解:最火的大模型训练框架 DeepSpeed 详解来了
  • 用通俗易懂的方式讲解:这应该是最全的大模型训练与微调关键技术梳理
  • 用通俗易懂的方式讲解:Stable Diffusion 微调及推理优化实践指南
  • 用通俗易懂的方式讲解:大模型训练过程概述
  • 用通俗易懂的方式讲解:专补大模型短板的RAG
  • 用通俗易懂的方式讲解:大模型LLM Agent在 Text2SQL 应用上的实践
  • 用通俗易懂的方式讲解:大模型 LLM RAG在 Text2SQL 上的应用实践
  • 用通俗易懂的方式讲解:大模型微调方法总结
  • 用通俗易懂的方式讲解:涨知识了,这篇大模型 LangChain 框架与使用示例太棒了
  • 用通俗易懂的方式讲解:掌握大模型这些优化技术,优雅地进行大模型的训练和推理!
  • 用通俗易懂的方式讲解:九大最热门的开源大模型 Agent 框架来了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/781872.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux部署Sonarqube+Gogs+Jenkins(一)

Linux部署SonarqubeGogsJenkins 一、1.Linux安装JDK11环境1. 本地进行上传2. 进入到/usr/java目录,并且进行解压3. 配置文件/etc/profile,配置环境变量4.让对应的配置文件生效5. 验证 二、Linux安装Python环境三、Linux安装Jenkins环境1、/usr目录下创建…

发表SCI论文对文凭有什么要求吗?SCI学历要求

sci论文是学术水平很高的文章,往往要通过课题研究,才能撰写出论文内容来。可以说作者没有一定的文凭,完不成sci论文的撰写,就不能发表。但这不代表文凭是sci论文发表的限制条件,实际上sci期刊对作者文凭没有要求&#…

WEPE系统安装纯净版window11教程(包含pe内系统安装方法)

目录 一.安装u盘启动盘 1.1制作安装系统引导盘 1.2下载保存windows镜像 1.3根据自己电脑品牌查询进入BIOS设置的方法 1.4我们成功进入了PE 二.重装系统 2.1遇到问题 2.2重新来到这个界面 三.PE中基本软件的作用 四.学习声明 今天不敲代码,今天来讲讲We P…

【[蓝桥杯 2017 省 A] 正则问题】

题目描述 考虑一种简单的正则表达式: 只由 x ( ) | 组成的正则表达式。 小明想求出这个正则表达式能接受的最长字符串的长度。 例如 ((xx|xxx)x|(x|xx))xx 能接受的最长字符串是: xxxxxx,长度是 6 6 6。 输入格式 一个由 x()| 组成的正…

ubuntu 安装 cloudcompare(两种方法)

方法一 :从 snap 安装 (推荐) 安装简单,基本上功能都有(读写保存las,pcd,标注等) 安装: sudo apt-get update sudo apt install snap sudo snap install cloudcompare…

Node | Node.js 版本升级

目录 Step1:下载 Step2:安装 Step3:换源 发现其他博客说的 n 模块不太行,所以老老实实地手动安装 Step1:下载 Node 中文官网:https://nodejs.cn/download 点击后,将会下载得到一个 .msi 文件…

WIFI驱动移植实验:配置 Linux 内核

一. 简介 前面文章删除了Linux内核源码(NXP官方的kernel内核源码)自带的 WIFI驱动。 WIFI驱动移植实验:删除Linux内核自带的 RTL8192CU 驱动-CSDN博客 将正点原子提供的 rtl8188EUS驱动源码添加到 kernel内核源码中。文章如下&#xff1a…

PID算法控制5840-31ZY编码器直流减速电机旋转特定角度(一)

模块分析 在本工程中,使用stm32做主控芯片输出PWM波,TB6112做电源驱动带动5840-31ZY编码器直流减速电机旋转特定角度 有如下模块 TB6112驱动模块 TB6112是性能优于常见L298N的一款电机驱动芯片,体积更小效率更高发热少 其接线如图&#x…

HarmonyOs开发:轮播图Banner组件封装与使用

前言 轮播图在每个项目中都很常见,鸿蒙中在容器组件中也提供了Swiper组件,用于子组件滑动轮播显示,和前端的使用起来也是异曲同工,我们先看下基本的用法。 Swiper() {ForEach(["1", "2", "3", &quo…

每日一题(反转链表)

给你单链表的头节点 head ,请你反转链表,并返回反转后的链表。 206. 反转链表 - 力扣(LeetCode) 示例 1: 输入:head [1,2,3,4,5] 输出:[5,4,3,2,1] 思路一 运用迭代的算法,把头指针…

【智能算法】晶体结构算法(CryStAl)原理及实现

目录 1.背景2.算法原理2.1算法思想2.2算法过程 3.结果展示4.参考文献 1.背景 2021年,S Talatahari等人受到晶体自然结构启发,提出了晶体构造算法(Crystal Structure Algorithm , CryStAl)。 2.算法原理 2.1算法思想 CryStAl受…

Java计数排序知识点(含面试大厂题和源码)

计数排序(Counting Sort)是一种线性时间复杂度的排序算法,适用于整数数据。它的基本思想是将输入的数据值转化为键存储在额外开辟的数组空间中。计数排序不是基于比较的排序算法,因此它可以突破 O(n log n) 的时间下界&#xff0c…

关于举办第十五届蓝桥杯全国软件和信息技术专业人才大赛——视觉艺术设计赛的通知

各高等院校及相关单位: 为贯彻落实《中国教育现代化2035》和《国务院关于推进文化创意和设计服务与相关产业融合发展的若干意见》,加快数字内容产业发展,推动文化产品和服务的生产、传播、消费的数字化、网络化进程,强化文化对信…

3.30蓝桥杯备赛写题心得

1.新学到一个东西&#xff0c;将字符串转换为数字的函数stoi&#xff08;string to int 的缩写&#xff09; string str "111111";int a stoi(str);cout << a << endl;//输出111111又用到了字符串截取函数 substr(下标&#xff0c;长度) string s&quo…

Unity Mobile Notifications推送问题

1.在部分机型点击通知弹窗进不去游戏 把这里改成自己的Activity 2.推送的时候没有横幅跟icon红点 主要是第一句话 注册的时候选项可以选择 defaultNotificationChannel new AndroidNotificationChannel(“default_channel”, “Default Channel”, “For Generic notifica…

一文教你如何轻松领取阿里云优惠券

随着云计算技术的飞速发展&#xff0c;越来越多的企业和个人选择使用阿里云作为他们的云服务提供商。为了吸引更多的用户上云&#xff0c;阿里云推出了各种优惠券和促销活动。本文将教大家如何轻松领取阿里云优惠券&#xff0c;以便在购买阿里云产品和服务时享受更多优惠。 一、…

以比特币脚本来实现SNARK Verifier

1. 引言 前序博客有&#xff1a; 基于BitVM的乐观 BTC bridgeBitVM&#xff1a;Bitcoin的链下合约Bitcoin Bridge&#xff1a;治愈还是诅咒&#xff1f;BitVM2&#xff1a;比特币上的无需许可验证 比特币脚本的基础限制有&#xff1a; 最大脚本size为&#xff1a;4MB最大st…

WinServer启用Hyper-V新建虚拟机没有网络、无法开启增强模式、开启远程连接功能

没有网络问题如下&#xff1a; 原因&#xff1a;没有在Hyper-V中新增交换机 操作—虚拟交换机管理器—新建虚拟网络交换机-外部-允许管理员操作系统共享此网络适配器 无法开启增强模式&#xff1a; 开启远程连接功能 或者&#xff1a;

Redis的基本操作

基本操作 redis默认开启16个数据库&#xff0c;默认使用第0个&#xff0c;可以使用select命令切换。 select index # 切换数据库查看当前数据库内所有键值 keys *清空数据库 flushdb # 清空当前数据库 flushall # 清空所有数据库设置键值对 set key value删除键值对 del …

C++:你真的了解匿名对象的生命周期吗?

初步了解匿名对象生命周期 1. 提出问题2. 模拟验证3. 得出结论 不知道有没有人和我一样&#xff0c;在vector的模拟实现部分对于resize接口的实现有一些疑问。 void resize(size_t n , const T& val T()) {if (n > size()){reserve(n);for (size_t i size(); i <…