[论文笔记] pai-megatron-patch Qwen2-72B/7B/1.5B 长文本探路

[论文笔记] Pai-megatron-patch cpu-offload 改到 Qwen2-CSDN博客

Pai-Megatron-Patch (mcore代码)

长文本限制：

开SP之后，72B能开到16K，7B能开到32K。

但是72B开16K，或者7B开32K时，如果训练时训练样本中有长文本的话，则还是会OOM。

code：

相对于原repo加了一些代码适配性的问题。 

Release tokenize code update · Carrie-Yi/pai-megatron-patch-xin · GitHub

解决方案：

1、cpu-offload

这个repo中给Qwen2-CT改了yarn和cpu-offload，但是还没测试

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/48429.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

平面五杆机构运动学仿真matlab simulink

平面五杆机构运动学仿真matlab simulink

1、内容简介 略 89-可以交流、咨询、答疑 2、内容说明 略 ] 以 MATLAB 程序设计语言为平台 , 以平面可调五杆机构为主要研究对象 , 给定机构的尺寸参数 , 列出所 要分析机构的闭环矢量方程 , 使用 MATLAB 软件中 SIMULINK 仿真工具 , 在 SIMULINK 模型窗口下建立数…
阅读更多...
麦田物语第十三天

麦田物语第十三天

系列文章目录 麦田物语第十三天 文章目录 系列文章目录一、实现根据物品详情显示 ItemTooltip1.ItemTooltips脚本编写二、制作 Player 的动画一、实现根据物品详情显示 ItemTooltip 1.ItemTooltips脚本编写 首先创建Scripts->Inventory->UI->ItemTooltip脚本，然后…
阅读更多...
深入浅出WebRTC—LossBasedBweV2

深入浅出WebRTC—LossBasedBweV2

WebRTC 同时使用基于丢包的带宽估计算法和基于延迟的带宽估计算法那，能够实现更加全面和准确的带宽评估和控制。基于丢包的带宽估计算法主要依据网络中的丢包情况来动态调整带宽估计，以适应网络状况的变化。本文主要讲解最新 LossBasedBweV2 的实现。 1…
阅读更多...
docker 安装MySQL 8.4.1

docker 安装MySQL 8.4.1

拉取MySQL镜像 docker pull mysql:8.4.1 查看本地镜像 docker images 通过镜像生成容器 docker run -itd --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD123456 mysql:8.4.1 查看目录运行中的容器列表 docker ps 进入容器内简单测试 docker exec -it mysql /bin/b…
阅读更多...
使用 Swagger 在 Golang 中进行 API 文档生成

使用 Swagger 在 Golang 中进行 API 文档生成

Swagger 是一款强大的 API 文档生成工具，可以帮助开发者轻松创建、管理和展示 RESTful API 文档。在本文中，我们将介绍如何在 Golang 项目中使用 Swagger 来生成 API 文档。 官网地址 ： gin-swagger 前提条件 Golang 开发环境（…
阅读更多...
Docker Desktop安装

Docker Desktop安装

0 Preface/Foreward 1 安装 1.1 运行docker安装包 安装完Docker Desktop后，运行Docker Desktop，出现WSL 2安装不完整情况，具体情况如下： 解决方法：旧版 WSL 的手动安装步骤 | Microsoft Learn 也可以直接下载新的安…
阅读更多...
Java设计模式：从单例到观察者

Java设计模式：从单例到观察者

设计模式是解决特定问题的通用解决方案。在Java编程中，设计模式可以帮助我们编写更灵活、可维护和可扩展的代码。本文将介绍几种常见的Java设计模式，包括单例、工厂、策略、装饰器和观察者模式。 1. 单例模式 单例模式是一种创建型模式，它确…
阅读更多...
2023发卡商城源码，最新自助下单彩虹云商城系统免授权无后门源码

2023发卡商城源码，最新自助下单彩虹云商城系统免授权无后门源码

# 彩虹自助下单系统 > PHP版本: > 7.0.1 ____ * 去除所有授权验证 * 支持自定义说说接口 * 去除后台广告与更新 * 可自定义易支付接口 ____ >安装教程: > 1、上传源代码到空间或服务器，并确保权限可读写。 > 2、上传完成后，使用浏览器…
阅读更多...
gcd之和（一维）

gcd之和（一维）

gcd之和 求 ∑ i 1 n gcd ⁡ ( n , i ) \sum_{i1}^{n}\gcd(n,i) ∑i1n​gcd(n,i)。 那么我们这一道题讲得详细一点。因为这一道题目的 n ≤ 1 0 9 n \leq 10^9 n≤109。这也就导致了一些算法是过不了的，那么我们就先从最简单的讲起： 对每一项来一遍 …
阅读更多...
VulnHub：cengbox1

VulnHub：cengbox1

靶机下载地址，下载完成后，用VirtualBox打开靶机并修改网络为桥接即可搭建成功。 信息收集 主机发现和端口扫描 扫描攻击机（192.168.31.218）同网段存活主机确认目标机ip，并对目标机进行全面扫描。 nmap 192.168.31.…
阅读更多...
springboot 项目整合 AI (文心一言）

springboot 项目整合 AI (文心一言）

百度智能云网址：https://cloud.baidu.com/?fromconsole 注册——个人认证——登录成功 第一步：点击千帆大模型平台 ​ 第二步：点击应用接入——创建应用 ​ 第三步：点击接口文档——API列表——可以点击指定模型进行查看调…
阅读更多...
H3CNE（路由基础、直连路由与静态路由）

H3CNE（路由基础、直连路由与静态路由）

目录 6.1 直连路由 6.2 静态路由理解性实验 6.2.1 配置直连路由 6.2.2 配置静态路由 6.3 路由表的参数与比较 6.3.1 优先级的比较 6.3.2 开销的比较 6.4 路由器中的等价路由、浮动路由、默认路由 6.4.1 等价路由 6.4.2 浮动路由 6.4.3 默认路由(缺省路由) 6.1 直连路…
阅读更多...
QT JSON使用实例

QT JSON使用实例

下面是一个使用Qt框架的示例代码，展示如何获取仪器的状态，将其打包成JSON格式，保存到当前目录下的JSON文件中，然后通过FTP发送该文件。 1. 准备工作 确保你已经安装了Qt，并创建一个新的Qt Console项目或Qt Widgets项目…
阅读更多...
ChatGPT：ChatOpenAI 是什么？

ChatGPT：ChatOpenAI 是什么？

ChatGPT：ChatOpenAI 是什么？ ChatOpenAI 是 LangChain 库中的一个类，专门用于与 OpenAI 的 Chat 模型（例如 GPT-4）进行交互。LangChain 是一个用于构建自然语言处理应用的框架，它提供了与不同语言模型&…
阅读更多...
Unity监听某个值是否改变，c#数值监听器

Unity监听某个值是否改变，c#数值监听器

Unity监听某个值是否改变，c#数值监听器 功能监听某个值的变化，当监听到变化之后执行对应的注册事件。 需要创建一个监听器对应，每监听一个值就要创建一个监听器对象，监听器是泛型，需要填写监听的类型。 创建监听器完毕…
阅读更多...
Python爬虫：代理ip电商数据实战

Python爬虫：代理ip电商数据实战

引言：数据访问管理引发的烦恼 作为一名Python博主，爬虫技能对于获取和分析数据至关重要，经常爬一下，有益身心健康嘛。爬虫技术对很多人来说，不仅仅是一种工具，更像是一种艺术，帮助我们从互联网…
阅读更多...
Pytorch学习笔记——在GPU上进行训练

Pytorch学习笔记——在GPU上进行训练

文章目录 1. 环境准备2. 导入必要库3. 加载数据集4. 定义简单的神经网络模型5. 检查和设置GPU设备6. 定义损失函数和优化器7. 训练模型8. 全部代码展示及运行结果 1. 环境准备 首先，确保PyTorch已经安装，且CUDA（NVIDIA的并行计算平台和编程模…
阅读更多...
org.springframework.context.annotation.ImportSelector的作用是什么？

org.springframework.context.annotation.ImportSelector的作用是什么？

org.springframework.context.annotation.ImportSelector 是 Spring 框架中一个非常有用的接口，它允许你根据条件动态地向 Spring 应用上下文中导入配置类。这对于开发模块化、可扩展且可配置的 Spring 应用来说非常有用。 如何使用 ImportSelector 创建 ImportSel…
阅读更多...
Leetcode热题100 Day2

Leetcode热题100 Day2

六、三数之和 这一题最关键的想法是把第二层嵌套和第三层嵌套合并为同一层嵌套，合并后即可使用两指针法。但是即使这样我在写的时候还是花了很多时间，一个是边界条件的处理（尤其是连续有相同值的处理）以及我发现了leetcode的编译…
阅读更多...
用PyTorch从零开始编写DeepSeek-V2

用PyTorch从零开始编写DeepSeek-V2

DeepSeek-V2是一个强大的开源混合专家（MoE）语言模型，通过创新的Transformer架构实现了经济高效的训练和推理。该模型总共拥有2360亿参数，其中每个令牌激活21亿参数，支持最大128K令牌的上下文长度。 在开源模型中&…
阅读更多...
最新文章

Copyright @ 2022~2023