书生·浦语全链路开源开放体系 第二期

文章目录

  • 大模型背景
  • 大模型开发流程
  • InternLM 2.0
    • SFT与RLHF
    • InternLM2主要亮点
  • 书生·浦语全链路开源开放体系
    • 数据-书生·万卷
    • InternLM-Train
    • 微调 XTuner
    • 评测工具 OpenCompass
    • 部署 LMDeploy
    • 智能体 Lagent
    • 智能体工具箱 AgentLego

大模型背景

专用模型:针对特定的任务,一个模型只能解决一个问题
通用大模型:一个模型可以应对多种不同的任务、多种模态
大模型成为发展通用人工智能的重要途径
在这里插入图片描述

大模型开发流程

模型到应用的开发流程
在这里插入图片描述

InternLM 2.0

InternLM 2.0包含InternLM2-Base、InternLM2和 InternLM2-Chat

  • InternLM2-Base:高质量和具有很强可塑性的模型基座,是模型进行深度领域适配的高质量起点
  • InternLM2:在Base基础上,在多个能力方向进行了强化 ,在评测中成绩优异,同时保持很好的通用语言能力
  • InternLM2-Chat:在Base基础上,通过SFT和RLHF,面向对话交互进行了优化,具有很好的指令遵循、共情聊天和调用工具等的能力
    在这里插入图片描述

SFT与RLHF

SFT(Structured Fine-Tuning)是一种模型优化技术,它通过在预训练的语言模型上进行有针对性的微调,以适应特定任务或领域。SFT可以提高性能的原因有几个:

  • 领域自适应:预训练的语言模型通常在大规模通用语料库上进行训练,而SFT可以通过在特定领域的数据上微调模型,使其更好地适应该领域的特定模式、术语和上下文。这种领域自适应可以提高模型在特定任务或领域中的性能。

  • 数据增强:SFT通常会使用特定任务或领域的数据来微调模型,这种数据增强可以丰富模型的训练数据,提供更多的样本和多样性,有助于改善模型的泛化能力和性能。

  • 参数调整:SFT允许对模型进行参数微调,以优化模型在特定任务上的表现。通过微调模型的参数,可以更好地适应任务的要求,提高性能。

RLHF(Reward Learning from Human Feedback)是一种使用人类反馈进行强化学习的技术。尽管RLHF可以在某些情况下提供性能改进,但它也可能对性能产生负面影响的原因包括:

  • 人类反馈的限制:RLHF依赖于人类提供的反馈信号来指导模型的学习。然而,人类反馈可能存在主观性、不一致性和有限性的问题。人类的主观判断和个体差异可能会导致训练出的模型在特定任务上的性能不稳定或低效。
  • 人类反馈的代价:收集和利用人类反馈可能需要大量的时间、人力和资源。人类标注大规模数据集或提供反馈的过程可能会成为瓶颈,限制了RLHF的应用范围和效率。
  • 环境差异:人类反馈通常是在特定环境下给出的,而这个环境可能与模型在实际应用中所面临的环境存在差异。这种环境差异可能导致模型在实际应用中的性能与在训练时根据人类反馈所表现的性能不一致。

InternLM2主要亮点

InternLM2通过新一代数据清洗过滤技术,性能上达到了多个亮点。

  • 超长上下文理解:模型在20万token上下文中,几乎完美的实现“大海捞针”
  • 综合性能全面提升:推理、数学、代码提升显著
  • 优秀的对话和创作体验:精准指令跟随,丰富的结构化创作,在AlpacaEval2超越GPT-3.5和Gemini Pro
  • 工具调用能力整体升级:可靠支持工具多轮调用,复杂智能体搭建
  • 突出的数理能力和实用的数据分析功能:强大的内生计算能力,加入代码解释后,在GSM8K和MATH达到和GPT-4相仿水平
    在这里插入图片描述
    在这里插入图片描述

书生·浦语全链路开源开放体系

书生·浦语大模型开源历程
在这里插入图片描述

书生从训练到应用的全过程开源,包括数据准备,预训练架构InternLM-Train,微调框架XTuner,部署框架LMDeploy,评测工具OpenCompass,在应用方面智能体Lagent和智能体工具箱AgentLego。
在这里插入图片描述

数据-书生·万卷

包括超1TB的50亿个文档的文本数据、超140G的2200万个图像-文本数据集和超900G的1000多个视频数据,进行了多模态融合、精细化处理和价值观对齐等处理

请添加图片描述

InternLM-Train

  • 高可扩展,支持扩展到千卡训练
  • 极致性能优化,Hybrid Zero加速技术
  • 兼容主流,无缝接入HuggingFace等技术生态,支持各类量化技术
  • 开箱即用,支持多种规格语言模型,修改配置即可训练

请添加图片描述

微调 XTuner

大语言模型的下游应用中,增量训练和有监督微调是经常用到的两种方式

  • 增量训练,让基座模型学习到新知识
  • 有监督微调,让模型学会理解和遵循各种指令,或注入少量的领域知识

XTuner框架

  • 支持多种微调算法,多种微调策略与算法,覆盖各类SFT场景
  • 适配多种开源生态,支持HuggingFace、ModelScope模型或数据集
  • 自动优化加速,无需关注复杂的显卡优化
  • 适配多种硬件,支持NVIDIA 20系列以上的所有显卡

评测工具 OpenCompass

国内外评测工具
在这里插入图片描述

OpenCompass评测工具发展历程
在这里插入图片描述

OpenCompass评测工具,是全球领先的大模型开源评测体系,包括6大维度

  • 学科,包括初中考试、高考、大学考试、语言能力考试、职业资格考试
  • 语言,字词释义、成语习语、语义相似、指代消解、翻译
  • 知识,知识问答、多语种知识问答
  • 理解,阅读理解、内容分析、内容总结
  • 推理,因果推理、常识推理、代码推理、数学推理
  • 安全,偏见、有害性、公平性、隐私性、真实性、合法性

工具层、方法层、能力层和模型层
在这里插入图片描述
OpenCompass评测工具包括:

  • CompassRank 中立全面的性能榜单
    大语言模型总榜单
    多模态总榜单

  • CompassKit 大模型评测全栈工具链

    • 数据污染检查
    • 更丰富的模型推理接入
    • 长文本能力评测
    • 中英文双语主观评测
      在这里插入图片描述
  • CompassHub 高质量评测基准社区
    开源开放,共建共享大模型评测,让更多的开发者参与到评测中,汇聚更多优质的数据

部署 LMDeploy

大模型部署的挑战
在这里插入图片描述
LMDeploy框架

  • 高效推理引擎,持续批量处理技巧,深度优化的低比特计算kernel,模型并行,高效的k/v缓存机制
  • 完备易用的工具链,量化、推理、服务全流程,无缝对接OpenCompass评测推理精度,与OpenAI接口高度兼容
  • 支持交互式推理,不为历史对话买单

在这里插入图片描述

智能体 Lagent

  • 支持多种类型的智能体能力,包括ReAct、ReWoo、AutoGPT
  • 灵活支持多种大语言模型,包括GPT-3.5/4、Llama、InternLM
  • 支持丰富的工具,包括AI工具(文生图、文生语音)、能力拓展(搜索、计算器、代码解释器)、Rapid API(出行API、财经API)
    在这里插入图片描述

智能体工具箱 AgentLego

  • 支持多模态任务
  • 支持主流智能体系统,LangChain、Transformers Agent、Lagent
  • 多模态工具接口

请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/783617.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Web】NSSCTF Round#20 Basic 个人wp

目录 前言 真亦假,假亦真 CSDN_To_PDF V1.2 前言 感谢17👴没让我爆零 真亦假,假亦真 直接getshell不行,那就一波信息搜集呗,先开dirsearch扫一下 扫的过程中先试试常规的robots.txt,www.zip,shell.phps,.git,.sv…

使用Docker Compose一键部署前后端分离项目(图文保姆级教程)

一、安装Docker和docker Compose 1.Docker安装 //下载containerd.io包 yum install https://download.docker.com/linux/fedora/30/x86_64/stable/Packages/containerd.io-1.2.6-3.3.fc30.x86_64.rpm //安装依赖项 yum install -y yum-utils device-mapper-persistent-data l…

求整数各个数位上的数字之和 C语言

对于任意输入的整数&#xff0c;计算其各个数位上的数字之和。 输入格式 输入一个正整数 N。 输出格式 输出 N 的各个位上的数字之和。 数据范围 1 < N < 2^31 #include <stdio.h> #include <stdlib.h> int shu(int x){ int sum0; while(x>0)…

百度云加速方法「Cheat Engine」

加速网盘下载 相信经常玩游戏的小伙伴都知道「Cheat Engine」这款游戏内存修改器&#xff0c;它除了能对游戏进行内存扫描、调试、反汇编 之外&#xff0c;还能像变速齿轮那样进行本地加速。 这款专注游戏的修改器&#xff0c;被大神发现竟然还能加速百度网盘资源下载&#xf…

c++前言

目录 1. 什么是 C 2. C 发展史 3. C 的重要性 4. 如何学习 C 5. 关于本门课程 1. 什么是C C语言是结构化和模块化的语言&#xff0c;适合处理较小规模的程序。对于复杂的问题&#xff0c;规模较大的 程序&#xff0c;需要高度的抽象和建模时&#xff0c; C 语言则不合适…

【JavaParser笔记01】JavaParser解析Java源代码中的类信息(javadoc注释、类​​​​​​​名称)

这篇文章,主要介绍如何使用JavaParser解析Java源代码中的类信息(javadoc注释、类名称)。 目录 一、JavaParser依赖库 1.1、引入依赖 1.2、获取类注释信息

【Python进阶(一)】——异常与错误

&#x1f349;CSDN小墨&晓末:https://blog.csdn.net/jd1813346972 个人介绍: 研一&#xff5c;统计学&#xff5c;干货分享          擅长Python、Matlab、R等主流编程软件          累计十余项国家级比赛奖项&#xff0c;参与研究经费10w、40w级横向 文…

python | 输出n位数的各位位数

xinput(请输入一位n位数:)print(*map(int,x)) 在Python中&#xff0c;input() 函数接收用户的输入并返回一个字符串。当你执行 x input(请输入一位n位数:) 时&#xff0c;x 将包含用户输入的字符序列。 接下来&#xff0c;map(int, x) 会对字符串 x 中的每一个字符应用 int 函…

【uC/OS-III篇】uC/OS-III 移植到 STM32 简明教程

uC/OS-III 移植到 STM32 简明教程 一、uC/OS-III 介绍 二、获取UCOS-III源码 三、建立项目工程 四、解决工程编译报错 五、修改项目文件 下一篇博客&#xff1a; 【uC/OS-III篇】uC/OS-III 创建第一个任务&#xff08;For STM32&#xff09; 移植后的工程自取方式&#xf…

玩转Django分页器

一、Pagination 分页器编程步骤 View, 导入django.core.paginator.Paginator类&#xff0c;创建Paginator 对象时&#xff0c;输入qs对象&#xff0c;以及每页显示条数。 接收 URL, 从请求参数中读取page数值 &#xff0c;通过 paginator.page(page_num) 返回请求页的page_obj…

从 PG 技术峰会南京站汲取的那些干货

3月30日下午&#xff0c;“PostgreSQL 数据库技术峰会”南京站圆满举办。 这场峰会同步在线上直播&#xff0c;近 2000 人在线观看。 感谢各位大佬带来精彩演讲。 1. 可观测性 第一场正式演讲是白鳝前辈带来的《PostgreSQL 数据库的可观测性能力》。 数据库的可观测性的重要性不…

Mysql数据库:MHA高可用架构

目录 前言 一、MHA概述 1、什么是MHA 2、MHA的特点 3、MHA的组成 4、MHA的工作原理 5、故障切换备选主库的算法 二、部署MHA高可用架构 1、环境部署 2、部署主从同步 2.1 修改主配置文件并创建软链接 2.1.1 master 修改主配置文件并创建软连接 2.1.2 slave1 修改主…

os模块篇(四)

专栏目录 文章目录 专栏目录os.setregid(rgid, egid, /)os.setreuid(ruid, euid, /)os.getsid(pid, /)os.setsid()os.setuid(uid, /)os.strerror(code, /)os.umask(mask, /)os.uname()os.unsetenv(key, /)os.unshare(flags) os.setregid(rgid, egid, /) os.setregid(rgid, egi…

算法学习——LeetCode力扣补充篇5 (52. N 皇后 II、649. Dota2 参议院、1221. 分割平衡字符串、5. 最长回文子串)

算法学习——LeetCode力扣补充篇5 52. N 皇后 II 52. N 皇后 II - 力扣&#xff08;LeetCode&#xff09; 描述 n 皇后问题 研究的是如何将 n 个皇后放置在 n n 的棋盘上&#xff0c;并且使皇后彼此之间不能相互攻击。 给你一个整数 n &#xff0c;返回 n 皇后问题 不同的…

免费!微软推出全球第一个生成式AI认证

微软在官网宣布一项新的人工智能计划&#xff0c;包括与 LinkedIn联合推出免费的生成式AI课程和专业认证证书&#xff1b;微软与数据平台data.org、开源社区GitHub 等合作&#xff0c;发一起全球生成式AI挑战赛&#xff0c;为参赛的组织提供资金、技术、培训等帮助。 用户学习…

视觉SLAM理论与实践的学习链接汇总

仅供学习&#xff0c;在此感谢所有乐于分享知识的大佬们~ 一、 ORB_SLAM理论 视觉SLAM 前端 后端 回环 建图 1、 前端视觉里程计 1.1 特征点法 一文带你搞懂相机内参外参(Intrinsics & Extrinsics)-知乎 VSLAM 笔记——我们如何通过图像来计算位姿的变化&#xff…

文生图大模型三部曲:DDPM、LDM、SD 详细讲解!

1、引言 跨模态大模型是指能够在不同感官模态(如视觉、语言、音频等)之间进行信息转换的大规模语言模型。当前图文跨模态大模型主要有&#xff1a; 文生图大模型&#xff1a;如 Stable Diffusion系列、DALL-E系列、Imagen等 图文匹配大模型&#xff1a;如CLIP、Chinese CLIP、…

力扣刷题Days28-第二题-11.盛水最多的容器(js)

目录 1&#xff0c;题目 2&#xff0c;代码 3&#xff0c;学习与总结 3.1思路回顾 1&#xff0c;如何遍历 2&#xff0c;算法流程 3.2剖析问题 1&#xff0c;题目 给定一个长度为 n 的整数数组 height 。有 n 条垂线&#xff0c;第 i 条线的两个端点是 (i, 0) 和 (i, h…

Keil界面乱了,某些图标消失

文章目录 如图 如图 我都不知道怎么搞的第一个 重启界面解决了

vue2源码--依赖收集

vue2源码–依赖收集 Dep Dep是用来收集渲染的变量的。比如 {{age}} {{text}} 需要渲染&#xff0c;但是在后续中改变了age&#xff0c; text&#xff0c; 以及hobby这个变量&#xff0c;只会收集需要渲染的数据。 Watcher 通知dep的变化&#xff0c;被dep收集 一个dep可以有…