书生·浦语大模型全链路开源体系 学习笔记 第一课

背景

大模型是发展人工通用人工智能的一个重要途径,能够解决多种任务和多种模态,展示了一个更面向更高阶的智能的潜在途径。大模型的发展历程是从专用模型到通用模型的过程,从语音识别、图像识别、人脸识别等专用模型,到通用的大模型,能够解决多种任务和多种模态。

书生浦语大模型覆盖了轻量级、中量级、重量级的不同大小的系列,具备强大的性能和全面的优势,能够超过相近量级的模型,且开源可用。

技术路线-从模型到应用

有了模型之后,需要在多个场景应用。从模型怎么样去到最终的应用,是目前研究的重点方向之一。

第一步模型选型。针对于应用场景,比较多种大模型相关维度的能力,进行模型评测。经过模型评测初步选型之后,可选定意向大模型。

第二步评估业务场景复杂度。若不复杂,可直接把模型拿过来应用。则继续如果业务场景非常复杂,通常来讲直接开源模型无法满足需求,需要微调、prompt工程等进一步构建。

第三步,判断全参数微调或部分微调等,并计算所需算力,应提前规划,避免微调失败。如果算力足够,可进行全参数微调。如果算力资源比较受限,只能进行部分参数微调,类似把大部分的参数固定住,只调一小部分参数。

第四步,构建基于大模型的智能体需要考虑模型与环境的交互。如果需要调用外部API或与已有业务数据库交互,就需要构建智能体。如果不需要与环境交互,就可以直接将微调好的模型在业务场景中试用。

第五步,模型评测,并评估是否上线应用或继续迭代。

第六步,模型部署。关于软件系统相关性能、安全、功能等方面内容。如考虑如何以更少的资源部署模型,或者如何提升整个应用的吞吐量。

开源数据和工具-书生·浦语

进行了一些基本介绍。

书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili

书生浦语全链条开放体系,包括了书生万卷多模态的语料库,包括文本、图像、视频等数据,大小超过2个TB,涵盖了不同领域的数据。提供了超过5400多个数据集,涵盖了30多种模态,总共大概有80TB的数据,包括图像、视频、文本语料、3D模型、音频等不同数据。

预训练工具的特点包括高可扩展性、极致的性能优化、兼容主流生态、开箱启用等特点。

增量续训和有精度微调的区别是什么?增量续训主要是让基座模型学习到新的知识,训练数据通常包括垂直领域的文章、书籍、代码等;有精度微调主要是让模型学会理解和遵循各种指令,训练数据主要是高质量的对话数据和问答数据。

有监督微调中的部分参数微调是什么?部分参数微调是将预先的权重固定住,引入新的较小的可训练参数进行微调,可以大大节省训练代价。

xTuner框架能够适配多种生态,兼容不同的微调算法和策略,同时能够加载开源生态的模型和数据集,并进行自动化优化加速。xTuner框架支持NVIDIA20系以上的所有显卡,包括2080、3060到3090等。同时支持多种数据格式和训练引擎。

OpenCompass评测体系是一个全球领先的开源评测体系,提供了六大维度和超过80个数据集,支持40多万道评测题目,涵盖了大模型能力的多个维度和细分,形成一个比较全面的评测体系。同时,它不仅仅是一个评测维度或体系,还提供了一系列工具。包括平台级架构,分为模型层和能力层,支持基础模型和对话模型,以及通用能力和特色能力等评测。

OpenCompass提供了便捷的数据集接口,社区用户可以快速添加自定义的数据集。支持主流的模型

部署方面

语言模型部署面临的技术挑战包括设备存储、推理加速、动态shape、内存管理和利用、吞吐量提升、请求响应时间降低等

LMDeploy是一个高效的推理框架,能够提供大模型部署的全流程解决方案。

智能体应用方面

LLM作为核心,执行不同动作如网络搜索、python代码解释器等

legend支持哪些大语言模型?

AgentLego可以做什么?可以连接大语言模型和环境,调用更多的工具完成任务。

Lagent和AgentLego有什么区别?Lagent是搭建智能体框架,而AgentLego是为大模型提供工具集合。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/601151.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java8内置四大核心函数式接口

先来看几个例子,主要练习策略模式: 用策略模式的做法 定义个接口 其实像这样的接口并不需要我们自己创建 java8推出的Lambda表达式主要就是为了简化开发,而Lambda表达式 的应用主要是针对与函数式接口,自然也推出了对应的一些接口 /*** Java8 内置的四大核心函数式接口** C…

找城市(100%用例)C卷 (JavaPythonC++Node.jsswift)

一张地图上有n个城市,城市和城市之间有且只有一条道路相连:要么直接相连,要么通过其它城市中转相连(可中转一次或多次)。城市与城市之间的道路 都不会成环 。 当切断通往某个城市 i 的所有道路后,地图上将分为多个连通的城市群,设该城市 i 的聚集度为 DP i (Degree of…

7-2 jmu-java-m02-使用二维数组存储多元线性方程组 --笔记篇

题目 题面 可以使用二维数组存储来存储线性方程组的系数与常数。比如,对于如下3元线性方程组 3xyz1 6x2yz-1 -2x2yz7 可以使用二位数组存储 2 1 1 1 6 2 1 -1 -2 2 1 7 编写一个程序可以存储n元线性方程组 输入格式: 整数n,代表n元 n行、每行n1列线性方…

【C++】STL 算法 ③ ( 函数对象中存储状态 | 函数对象作为参数传递时值传递问题 | for_each 算法的 函数对象 参数是值传递 )

文章目录 一、函数对象中存储状态1、函数对象中存储状态简介2、示例分析 二、函数对象作为参数传递时值传递问题1、for_each 算法的 函数对象 参数是值传递2、代码示例 - for_each 函数的 函数对象 参数在外部不保留状态3、代码示例 - for_each 函数的 函数对象 返回值 一、函数…

权威认可!甄知科技猪齿鱼产品荣获信创产品评估证书

近日,依据《信息技术应用创新产品评估规范 第1部分:应用软件》(T/SSIA 2001-2022),经过严格评估,甄知科技旗下自主研发的猪齿鱼数智化开发管理平台 V2.0.0,通过信创测试认证,获得上海…

差分约束算法

差分约束 差分约束系统包含 m m m个涉及 n n n个变量的差额限制条件,这些差额限制条件每个都是形式为 x i − x j ≤ b ∈ [ 1 , m ] x_i-x_j\leq b_{\in[1,m]} xi​−xj​≤b∈[1,m]​的简单线性不等式。 通常我们要求解出一组可行解。 最短路差分约束 如果我们…

12.15 log 122.买卖股票的最佳时机 II,55. 跳跃游戏

122.买卖股票的最佳时机 II class Solution { public:int maxProfit(vector<int>& prices) {int result0;for(int i0;i<prices.size();i){if(i>0&&prices[i]-prices[i-1]>0){resultprices[i]-prices[i-1];}}return result;} }; 这道题贪心贪的时每…

ubuntu 22 virt-manger(kvm)安装winxp; ubuntu22体验 firebird3.0

安装 、启动 virt-manager sudo apt install virt-manager sudo systemctl start libvirtdsudo virt-manager安装windowsXP 安装过程截图如下 要点1 启用 “包括寿终正寝的操作系统” win_xp.iso 安装过程 &#xff1a; 从winXp.iso启动, 执行完自己重启从硬盘重启&#xff0c…

稿件代写3个不可或缺的步骤让你事半功倍-华媒舍

作为一个需求频繁的作者&#xff0c;你可能会面临大量的稿件代写任务。但是&#xff0c;你是否曾经为提高文章质量而苦恼过&#xff1f;是否希望在有限的时间内完成更多的代写任务&#xff1f;本篇文章将向你介绍三个不可或缺的稿件代写步骤&#xff0c;帮助你事半功倍&#xf…

Redis高级特性和应用(慢查询、Pipeline、事务、Lua)

Redis的慢查询 许多存储系统(例如 MySQL)提供慢查询日志帮助开发和运维人员定位系统存在的慢操作。所谓慢查询日志就是系统在命令执行前后计算每条命令的执行时间,当超过预设阀值,就将这条命令的相关信息(例如:发生时间,耗时,命令的详细信息)记录下来,Redis也提供了类似…

数仓工具—Hive进阶之常见的StorageHandler(24)

这里我们介绍一下常见的StorageHandler,但是由于目前StorageHandler的种类还是比较多的,主要包括官方的和非官方的,我们使用的时候需要注意的是版本的兼容性。 常见的StorageHandler Apache Hive提供了多个存储处理程序(Storage Handler),允许用户集成Hive查询和分析引…

Huggy Lingo: 利用机器学习改进 Hugging Face Hub 上的语言元数据

太长不看版: Hub 上有不少数据集没有语言元数据&#xff0c;我们用机器学习来检测其语言&#xff0c;并使用 librarian-bots 自动向这些数据集提 PR 以添加其语言元数据。 Hugging Face Hub 已成为社区共享机器学习模型、数据集以及应用的存储库。随着 Hub 上的数据集越来越多&…

[概率论]四小时不挂猴博士

贝叶斯公式是什么 贝叶斯公式是概率论中的一个重要定理&#xff0c;用于计算在已知一些先验信息的情况下&#xff0c;更新对事件发生概率的估计。贝叶斯公式的表达式如下&#xff1a; P(A|B) P(B|A) * P(A) / P(B) 其中&#xff0c;P(A|B)表示在事件B发生的条件下事件A发生的概…

云计算复习笔记--期末

1、云计算的定义和本质&#xff1a; 云计算是一种按使用量付费的模式。云计算是分布式计算的一种。通过计算机网络&#xff08;多指因特网&#xff09;形成的计算能力极强的系统&#xff0c;可存储、集合相关资源并可按需配置&#xff0c;向用户提供个性化服务。 2、云计算服…

基于sumo实现交通灯控制算法的模板

基于sumo实现交通灯控制算法的模板 目录 在windows安装run hello world networkroutesviewsettings & configurationsimulation 交通灯控制系统 介绍文件生成器类&#xff08;FileGenerator&#xff09;道路网络&#xff08;Network&#xff09;辅助函数生成道路网络&am…

php 数组中的元素进行排列组合

需求背景&#xff1a;计算出数组[A,B,C,D]各种排列组合&#xff0c;希望得到的是数据如下图 直接上代码&#xff1a; private function finish_combination($array, &$groupResult [], $splite ,){$result [];$finish_result [];$this->diffArrayItems($array, $…

12、DolphinScheduler

1、DolphinScheduler简介 1.1、 DolphinScheduler概述 Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系&#xff0c;使调度系统在数据处理流程中开箱即用。 1.2、 DolphinScheduler核心架构 Dolph…

USB -- STM32F103缓冲区描述表及USB数据存放位置讲解(续)

目录 链接快速定位 前沿 1 0x40005C00和0x40006000地址的区别和联系 2 USB_BTABLE寄存器介绍 3 USB缓冲区描述表&#xff08;SRAM&#xff09;介绍 3.1 发送缓冲区地址寄存器n&#xff08;n[0..7]&#xff09; 3.2 发送数据字节数寄存器n&#xff08;n[0..7]&#xff09…

机器学习中的概念 张量、标量、向量、矩阵等数据结构的区别

张量、标量、向量和矩阵等数据结构在深度学习和数学中扮演着重要角色&#xff0c;它们之间的区别如下&#xff1a; 标量&#xff08;Scalar&#xff09;&#xff1a;标量是一个单独的数&#xff0c;它没有方向&#xff0c;只有大小。在深度学习中&#xff0c;标量通常表示一个…

从C++习题中思考

目录 一.开始1.1 二.变量和基本类型1.11.21.31.31.41.5 C Peimer习题集第5版练习。 一.开始 1.1 编写程序&#xff0c;提示用户输入2个整数&#xff0c;打印出这两个整数指定的范围内的所有整数。 方式1&#xff1a;使用while循环。 #include<iostream> using namespac…