Bilibili开源发布轻量级 Index 系列语言模型:2.8T 训练数据,支持角色扮演

Bilibili首次发布 Index 系列模型中的轻量版本:Index-1.9B 系列

本次开源的 Index-1.9B系列包含以下模型:

Index-1.9Bbase:基座模型,具有 19 亿 非词嵌入参数量,在 2.8T    中英文为主的语料上预训练,多个评测基准上与同级别模型比处于领先.    

Index-1.9Bpure:基座模型的对照组,与 base 具有相同的参数和训练策略,不同之处在于我们严格过滤了该版本语料中所有指令相关的数据,

以此来验证指令对 benchmark 的影响

Index-1.9Bchat:基于 index-1.9B    base 通过 SFT 和 DPO 对齐后的对话模型,我们发现由于预训练中引入了较多定向清洗对话类语料,聊天的趣味性明显更强

Index-1.9Bcharacter    :在 SFT 和 DPO 的基础上引入了 RAG 来实现 fewshots 角色扮演定制

目前,我们已在 HuggingFace 和 ModelScope 上同步开源。期待听到你们的使用反馈!

开源网址,模型下载请到喜好儿网查看

详细描述了模型的预训练过程,包括数据清洗、去重、Tokenizer的设计和模型架构的选择。特别提到了模型使用了SentencePiece训练的BPE Tokenizer,并针对中文进行了优化。模型架构方面,Index-1.9B采用了36层的深度,并采用了Norm-Head技术来稳定训练过程。

训练过程中,使用了AdamW优化器,并采取了两阶段训练策略,包括稳定阶段和衰减阶段。报告还讨论了训练基础设施,包括自研训练框架和硬件配置。

在评测部分,模型在多个任务上的表现被详细列出,包括综合性选择题、理解和推理、数学问题解答以及代码能力评测。结果显示Index-1.9B在多数任务上都有出色的表现。

报告还包括了对模型结构、学习率和训练策略的深入讨论和实验,以及对预训练中是否加入指令的探讨。最后,报告介绍了如何通过SFT(Supervised Fine-Tuning)和DPO(Direct Preference Optimization)进一步优化模型,以更好地符合人类的偏好和提高对话的趣味性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/32621.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

已解决java.util.concurrent.BrokenBarrierException异常的正确解决方法,亲测有效!!!

已解决java.util.concurrent.BrokenBarrierException异常的正确解决方法,亲测有效!!! 目录 问题分析 出现问题的场景 报错原因 解决思路 解决方法 分析错误日志 检查线程中断 设置合理的等待时间 优化代码逻辑 使用同步…

Linux gdb lldb面试题及参考答案(万字长文)

什么是GDB?简述其主要功能。 GDB(GNU Debugger)是GNU项目的一部分,是一个功能强大的源代码级别的调试器,主要用于C、C++和其他多种编程语言的程序调试。GDB提供了丰富的功能来帮助开发者理解程序内部的工作方式,诊断并修复代码中的错误。其主要功能包括但不限于: 启动程…

[数据概念|方案实操]清华数据大讲堂5-数据要素化治理的理论方法与工程实践

“ 数据要素化是资产化的重要前提和实现路径” 鼹鼠哥公众号链接在 [数据概念|方案实操]清华数据大讲堂5-数据要素化治理的理论方法与工程实践 (qq.com) 2024年6月5日,清华数据大讲堂第五讲开讲。 中国电子信息产业集团副总 陆志鹏 以《数据要素化治理的理论方法与…

Adobe Photoshop图像处理软件下载安装,ps 2024版本安装包分享

Adobe Photoshop,这款业界闻名的图像处理软件,简称“PS”,以其强大的功能和广泛的应用领域,赢得了无数设计师、摄影师和创意工作者的青睐。 在Photoshop的世界里,用户能够随心所欲地对图像进行裁剪、缩放、调整色彩和…

视频共享融合赋能平台LntonCVS视频监控业务平台建设安全煤矿矿井应用方案

随着我国经济的飞速增长,煤炭作为主要的能源之一,在我国的能源结构中扮演着至关重要的角色。然而,煤矿事故的频繁发生,不仅造成了巨大的人员伤亡和财产损失,也对社会产生了深远的负面影响。因此,实现煤矿的…

kotlin 跨平台 粗略步骤

启用多平台支持 修改项目的build.gradle.kts: 首先,需要在build.gradle.kts文件中添加多平台插件并启用实验性功能。 plugins {kotlin("multiplatform") version "1.8.0" // 请使用当前最新版本 }kotlin {// 设置多平台支持jvm() //…

程序员如何高效读代码?

程序员高效读代码的技巧包括以下几点: 明确阅读目的:在开始阅读代码之前,先明确你的阅读目的。是为了理解整个系统的架构?还是为了修复一个具体的bug?或者是为了了解某个功能是如何实现的?明确目的可以帮助…

国产自研编程语言“仓颉”来了!

在 6.21 召开的华为开发者大会(HDC2024)上,华为自研的国产编程语言“仓颉”终于对外正式发布了! 随着万物互联以及智能时代的到来,软件的形态将发生巨大的变化。一方面,移动应用和移动互联网领域仍然强力驱动人机交互…

颠覆多跳事实验证!Causal Walk 前门调整技术引领去偏新纪元

Causal Walk: Debiasing Multi-Hop Fact Verifcation with Front-Door Adjustment 论文地址: Causal Walk: Debiasing Multi-Hop Fact Verification with Front-Door Adjustment| Proceedings of the AAAI Conference on Artificial Intelligencehttps://ojs.aaai.org/index.p…

ctfshow web其他 web450--web460

web450 <?phphighlight_file(__FILE__); $ctfshow$_GET[ctfshow];if(preg_match(/^[a-z][\^][a-z][\^][a-z]$/, $ctfshow)){ //小写字母^小写字母^小写字母eval("($ctfshow)();"); }?ctfshowphpinfo^phpinfo^phpinfoweb451 <?phphighlight_file(__FILE__…

自定义 Hook

1. Hook 使用规则 在使用 Hook 时&#xff0c;需要遵循一些基本规则&#xff0c;以确保代码的正确性和性能。 只能在函数组件或自定义 Hook 中调用 Hook&#xff1a;不能在普通的 JavaScript 函数中调用 Hook&#xff0c;只能在函数组件的顶层或自定义 Hook 中调用。 // 正确 …

Dash开源框架

Dash 是一个基于 Python 的开源框架&#xff0c;由 Plotly 开发&#xff0c;用于构建数据驱动的交互式 Web 应用程序。它结合了 Flask、Plotly 和 React.js 的强大功能&#xff0c;简化了数据可视化应用的开发过程。Dash 非常适合需要将数据科学和数据分析结果展示给非技术用户…

【深度学习系列】全面指南:安装TensorFlow的CPU和GPU版本

本博客旨在为初学者提供一份全面的指南&#xff0c;介绍如何根据个人电脑的配置选择并安装适合的TensorFlow版本。内容涵盖了如何查看电脑显卡型号以确定是安装CPU还是GPU版本的TensorFlow&#xff0c;创建Python虚拟环境&#xff0c;以及使用conda命令查找可用的TensorFlow版本…

FPGA早鸟课程第二弹 | Vivado 设计静态时序分析和实际约束

在FPGA设计领域&#xff0c;时序约束和静态时序分析是提升系统性能和稳定性的关键。社区推出的「Vivado 设计静态时序分析和实际约束」课程&#xff0c;旨在帮助工程师们掌握先进的设计技术&#xff0c;优化设计流程&#xff0c;提高开发效率。 课程介绍 关于课程 权威认证&…

常用主流sip协议软电话客户端软件有哪些?—— 筑梦之路

Ekiga 官网地址&#xff1a;Ekiga ~ Free Your Speech Ekiga&#xff0c;原名GnomeMeeting&#xff0c;支持Windows和Linux&#xff0c;是一个兼容SIP和H.323的视频会议程序&#xff0c;兼容VoIP&#xff0c;IP电话&#xff0c;通过Ekiga可以与使用任何SIP和H.323软硬件的远程…

Windows和Linux系统上的Mamba_ssm环境配置

目录 一、Linux系统安装 二、Win系统安装 1&#xff09;、安装causal_conv1d 1、第一种方法 2、第二种方法&#xff08;感觉可靠&#xff09; 3、第三种方法&#xff1a;直接下载大神编译好的文件进行安装 2&#xff09;、安装mamba-ssm 1、第一种方法 2、第二种方法&…

【感悟】世界著名五大学习法

费曼学习法 把你学习的东西&#xff0c;讲给其他听&#xff0c;如果能讲清楚&#xff0c;就是学会了。 西蒙学习法 确定学习目标&#xff0c;拆分学习任务&#xff0c;六个月就可以精通任意领域。 SQ3R阅读法 浏览、提问、阅读、回忆、复习。 番茄学习法 规划学习和休息时间…

openjudge_2.5基本算法之搜索_8783:单词接龙

概要 8783:单词接龙 总时间限制: 1000ms 内存限制: 65536kB 描述 单词接龙是一个与我们经常玩的成语接龙相类似的游戏&#xff0c;现在我们已知一组单词&#xff0c;且给定一个开头的字母&#xff0c;要求出以这个字母开头的最长的“龙”&#xff08;每个单词都最多在“龙”中…