书生-浦路大模型全链路开源体系

2023年,大模型成为热门关键词

论文链接
在这里插入图片描述
在这里插入图片描述在这里插入图片描述

在这里插入图片描述

大模型已经成为发展通用人工智能的重要途经

在这里插入图片描述

模型评测过程:从模型到应用

在这里插入图片描述

全链条开源开发体系 | 数据:

  1. 多模态融合
    万卷包含文本、图像和视频等多模态数据,涵盖科技、文学、媒体、教育和法律等多个领域。该数据集对模型的知识内容、逻辑推理和泛化能力的提升有显著效果

  2. 精细化处理
    万卷经过语言筛选、文本提取、格式标准化、数据过滤和清洗(基于规则和模型)、多尺度去重和数据质量评估等精细数据处理环节,能够很好地适应后续模型训练的要求。

  3. 价值观对齐
    在万卷的构建过程中,研究人员注重将数据内容与主流中国价值观进行对齐,并通过算法和人工评估的结合提高语料库的纯净度

全链条开源开发体系 | 预处理:

高可扩展
支持从 8卡到 千卡训练 千卡 加速效率达 92%

极致性能优化
Hybrid Zero独特技术+极致优化,加速 50%

兼容主流
无缝接入 HuggingFace等技术生态,支持各类轻量化技术

开箱即用
支持多种规格语言模型,修改配置即可训练

全链条开源开放体系 | 微调

大语言模型的下游应用中,增量续训和有监督微调是经常会用到两种方式

增量续训

使用场景:让基座模型学习到一些新知识,如某个垂类领域知识训练数据:文章、书籍、代码等

有监督微调

使用场景:让模型学会理解和遵循各种指令,或者注入少量领域知识训练数据:高质量的对话、问答数据

在这里插入图片描述

全链条开源开放体系|评测

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

全链条开源开放体系|部署

  1. 大语言模型特点
  • 内存开销巨大
    • 庞大的参数量
    • 采用自回归生成token,需要缓存k/v
  • 动态Shape
    • 请求数不固定
    • token逐个生成,且数量不定
  • 模型结构相对简单
    • transformer结构,大部分是decoder-only
  1. 技术挑战
  • 设备
    • 低存储设备(消费级显卡、移动端等)如何部署?
  • 推理
    • 如何加速token的生成速度.
    • 如何解决动态shape,让推理可以不间断
    • 如何有效管理和利用内存
  • 服务
    • 提升系统整体吞吐量.
    • 降低请求的平均响应时间
  1. 部署方案
  • 技术点
    • 模型并行
    • 低比特量化
    • Attention优化
    • 计算和访存优化
    • Continuous Batching

在这里插入图片描述

全链条开源开放体系|智能体

大语言模型的局限性

  • 最新信息和知识的获取
  • 回复的可靠性
  • 数学计算
  • 工具使用和交互

在这里插入图片描述

多模态智能体工具箱AgentLego

  • 丰富的工具集合,尤其是提供了大量视觉、多模态相关领域的前沿算法功能
  • 支持多个主流智能体系统,如 LangChain,Transformers Agent,Lagent 等
  • 灵活的多模态工具调用接口,可以轻松支持各类输入输出格式的工具函数
  • 一键式远程工具部署,轻松使用和调试大模型智能体

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/594764.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

简单计算器实现,包括两个数

正在加载中... 简单计算器实现,包括两个数 ❤ 厾罗 简单计算器实现,包括两个数 以下代码用于实现简单计算器实现,包括两个数基本的加减乘除运算: 实例(Python 3.0) # Filename : test.py # author by : www.dida100.com …

SSD的控制器架构

SSD核心主要由3部分组成:主控,固件和闪存。 主控里面运行固件,固件对前后端数据进行处理并担负其他职能,包括磨损均衡,垃圾回收,内存映射,坏块管理等。 主控和固件就构成了SSD的控制器架构&am…

芯课堂 | MCU之EXT

概述 本文将介绍一下华芯微特MCU的嵌套向量中断控制器(NVIC)与外部中断/事件控制器(EXTI)的使用方法等。 01.嵌套向量中断控制器(NVIC) NVIC的全称是Nested vectoredinterrupt controller,即嵌…

普中STM32-PZ6806L开发板(HAL库函数实现-温度传感器DS18B20)

简介 主芯片STM32F103ZET6, 通过引脚PG11 连接DS18B20, 读取DS18B20采集的温度数据;电路原理图 DS18B20电路图 DS18B20 与 主芯片连接引脚 其他知识 DS18B20资料 DS18B20数据手册 DS18B20 简介 单线通讯的温度传感器, 测量温度在-55℃ 到 125℃, 在-10C 到…

平衡二叉树,力扣

目录 前序遍历与后续遍历 题目地址: 题目: 我们直接看题解吧: 审题目事例提示: 解题方法: 难度分析: 解题方法分析: 解题分析: 解题思路: 代码实现: 补充说明…

【每日论文阅读】生成模型篇

联邦多视图合成用于元宇宙 标题: Federated Multi-View Synthesizing for Metaverse 作者: Yiyu Guo; Zhijin Qin; Xiaoming Tao; Geoffrey Ye Li 摘要: 元宇宙有望提供沉浸式娱乐、教育和商务应用。然而,虚拟现实(VR)在无线网络上的传输是…

【UEFI基础】EDK网络框架(通用函数和数据)

通用函数和数据 DPC DPC全称Deferred Procedure Call。Deferred的意思是“延迟”,这个DPC的作用就是注册函数,然后在之后的某个时刻调用,所以确实是有“延迟”的意思。DPC在UEFI的实现中包括两个部分。一部分是库函数DxeDpcLib,…

Unity中使用四元数乘法表示旋转

四元数乘法旋转的本质是旋转的连续应用。当你执行p * q时,可以理解为首先应用四元数p的旋转,然后再应用四元数q的旋转。 四元数旋转乘法主要分为全局坐标的旋转和局部坐标的旋转. 全局坐标下的旋转: transform.rotationtransform.roation*…

考研复试英语口语问答举例第一弹

考研复试英语口语问答举例第一弹 文章目录 考研复试英语口语问答举例第一弹Question :介绍你的读研兴趣与动机Answer1:(医疗与人工智能结合方向)Answer2:(分布式与网安方向)Answer3:…

AUTOSAR规范与ECU软件开发(基础篇)1.2 汽车电子控制系统的基本构成

目录 前言 1、 传感器 2、 电子控制单元(ECU) 3、 执行器 前言 汽车电子控制系统主要由传感器(Sensor) 、 电子控制单元(Electronic Control Unit, ECU) 和执行器(Actuator) 组成(图1.1) ,对被控对象(Controlled Object) 进行控制。

斐波那契数列指的是这样一个数列 0, 1, 1, 2, 3,

斐波那契数列指的是这样一个数列 0, 1, 1, 2, 3, 5, 8, 13,特别指出:第0项是0,第1项是第一个1。从第三项开始,每一项都等于前两项之和。 Python 实现斐波那契数列代码如下: 实例(Python 3.0) # -*- coding: UTF-8 -*- # File…

JS和TS的基础语法学习以及babel的基本使用

简介 本文主要介绍了一下js和ts的基础语法,为前端开发zuo JavaScript 更详细的 JavaScript 学习资料:https://developer.mozilla.org/zh-CN/docs/Web/JavaScript 简介 定位 : JavaScript 是一种动态语言,它包含类型、运算符、标准内置( bu…

数字IC设计——数字电路基本元器件

现代数字集成电路基本由CMOS晶体管构成,而CMOS门电路由PMOS场效应管和NMOS场效应管以对称互补的形式组成,所谓“互补”,即利用互补型MOSFET,即pMOS和nMOS,二者成对出现构成互补电路。 这种电路具有高的电路可靠性和抗干…

Mysql show Profiles详解

1.简介 show profile 和 show profiles 命令用于展示SQL语句的资源使用情况,包括CPU的使用,CPU上下文切换,IO等待,内存使用等,这个命令对于分析某个SQL的性能瓶颈非常有帮助,借助于show profile的输出信息&…

力扣hot100 二叉树的直径

👨‍🏫 题目地址 一个节点的最大直径 它左树的深度 它右树的深度 😋 AC code /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* Tr…

(基础篇)go常用使用场景三(死锁的场景及处理)

目录 一、通道的发送和接收不匹配 二、没有足够的机会让 goroutine 执行完成 三、资源竞争

[Android]RadioButton控件

RadioButton控件 RadioButton控件是单选按钮控件,它继承自Button控件,可以直接使用Button控件支持的各种属性和方法。 与普通按钮不同的是,RadioButton控件多了一个可以选中的功能,能额外指定一个android:checked属性…

手机视频监控客户端APP如何实现跨安卓、苹果和windows平台,并满足不同人的使用习惯

目 录 一、手机视频监控客户端的应用和发展 二、手机视频监控客户端存在的问题 三、HTML5视频监控客户端在手机上实现的方案 (一)HTML5及其优点 (二)HTML5在手机上实现视频应用功能的优势 四、手机HTML5…

Micropython的包管理

MicroPython包支持多种管理和安装方式,本文主要mip、mpremote以及手动安装包的方式,另外也会说明下如何发布自己的包。 使用**mip**安装包 mip(“mip installs packages”)是一个跟Python pip概念类似的工具,但它不使…

【数据结构】循环队列(数组实现)

目录 一、循环队列定义 怎么使一个数组在逻辑上呈“环状”呢? 二、循环队列与顺序队列的差异 1、存储方式: 2、操作方式: 3、空间利用率: 4、循环队列判断队空的方式: 5、循环队列判断队满的方式 完整测试代码及注释: 总…