qwen-moe

一、定义

  1. qwen-moe 代码讲解, 代码qwen-moe与Mixtral-moe 一样, 专家模块
  2. qwen-moe 开源教程
  3. Mixture of Experts (MoE) 模型在Transformer结构中如何实现,Gate的实现一般采用什么函数? Sparse MoE的优势有哪些?MoE是如何提高模型容量而不显著增加计算负
    担的?

二、实现

  1. qwen-moe 代码讲解
    参考:https://blog.csdn.net/v_JULY_v/article/details/135176583?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_baidulandingword~default-0-135176583-blog-135046508.235v43pc_blog_bottom_relevance_base4&spm=1001.2101.3001.4242.1&utm_relevant_index=3
import torch
from torch import nn
from torch.nn import functional as F
from transformers.activations import ACT2FNclass Qwen2MoeMLP(nn.Module):def __init__(self, config, intermediate_size=None):super().__init__()self.config = configself.hidden_size = config.hidden_sizeself.intermediate_size = intermediate_sizeself.gate_proj = nn.Linear(self.hidden_size, self.intermediate_size, bias=False)self.up_proj = nn.Linear(self.hidden_size, self.intermediate_size, bias=False)self.down_proj = nn.Linear(self.intermediate_size, self.hidden_size, bias=False)#self.act_fn = ACT2FN[config.hidden_act]def forward(self, x):return self.down_proj(self.gate_proj(x) * self.up_proj(x))class Qwen2MoeSparseMoeBlock(nn.Module):def __init__(self, config):super().__init__()self.num_experts = config.num_expertsself.top_k = config.num_experts_per_tokself.norm_topk_prob = config.norm_topk_prob# gatingself.gate = nn.Linear(config.hidden_size, config.num_experts, bias=False)self.experts = nn.ModuleList([Qwen2MoeMLP(config, intermediate_size=config.moe_intermediate_size) for _ in range(self.num_experts)])self.shared_expert = Qwen2MoeMLP(config, intermediate_size=config.shared_expert_intermediate_size)self.shared_expert_gate = torch.nn.Linear(config.hidden_size, 1, bias=False)def forward(self, hidden_states: torch.Tensor) -> torch.Tensor:""" """batch_size, sequence_length, hidden_dim = hidden_states.shapehidden_states = hidden_states.view(-1, hidden_dim)# router_logits: (batch * sequence_length, n_experts)router_logits = self.gate(hidden_states)routing_weights = F.softmax(router_logits, dim=1, dtype=torch.float)#选取每个token 对应的前k 个专家routing_weights, selected_experts = torch.topk(routing_weights, self.top_k, dim=-1)if self.norm_topk_prob:routing_weights /= routing_weights.sum(dim=-1, keepdim=True)   #权重归一化  确保每个token的专家权重之和为1# we cast back to the input dtyperouting_weights = routing_weights.to(hidden_states.dtype)#全为0的张量final_hidden_states = torch.zeros((batch_size * sequence_length, hidden_dim), dtype=hidden_states.dtype, device=hidden_states.device)# One hot encode the selected experts to create an expert mask# this will be used to easily index which expert is going to be sollicitatedexpert_mask = torch.nn.functional.one_hot(selected_experts, num_classes=self.num_experts).permute(2, 1, 0)  #稀疏矩阵# Loop over all available experts in the model and perform the computation on each expertfor expert_idx in range(self.num_experts):expert_layer = self.experts[expert_idx]                   # 第idx 专家对应的函数idx, top_x = torch.where(expert_mask[expert_idx])         #idx 专家,关注的token, top_x 对应第x 个tokenprint(expert_idx,top_x.cpu().tolist() )   #专家,处理的token# Index the correct hidden states and compute the expert hidden state for# the current expert. We need to make sure to multiply the output hidden# states by `routing_weights` on the corresponding tokens (top-1 and top-2)   专家输入信息:current_state = hidden_states[None, top_x].reshape(-1, hidden_dim)             #取出对应的token信息current_hidden_states = expert_layer(current_state) * routing_weights[top_x, idx, None]       #专家输出# However `index_add_` only support torch tensors for indexing so we'll use# the `top_x` tensor here. 使用.index_add_函数后在指定位置(top_x)加上了指定值(current_hidden_states)final_hidden_states.index_add_(0, top_x, current_hidden_states.to(hidden_states.dtype))shared_expert_output = self.shared_expert(hidden_states)shared_expert_output = F.sigmoid(self.shared_expert_gate(hidden_states)) * shared_expert_outputfinal_hidden_states = final_hidden_states + shared_expert_outputfinal_hidden_states = final_hidden_states.reshape(batch_size, sequence_length, hidden_dim)return final_hidden_states, router_logits# 假设的配置
class Config:def __init__(self):self.num_experts = 8self.num_experts_per_tok = 2self.norm_topk_prob = Trueself.hidden_size = 2self.moe_intermediate_size = 209self.shared_expert_intermediate_size = 20# 检查是否有可用的GPUdevice = torch.device("cpu")# 创建模型实例
config = Config()
model = Qwen2MoeSparseMoeBlock(config).to(device)input_tensor = torch.randn(1,3,2).to(device)# 前向传播
output = model(input_tensor)
print(output)

注意:1. 常规思路: 每个token 选择2 个专家, 然后每个token 传入2个专家中,进行处理。----->为了加快推理速度----->关注视角由token 转为专家。在这里插入图片描述
便把关注视角从“各个token”变成了“各个专家”,当然,大部分情况下 token数远远不止下图这5个,而是比专家数多很多。总之,这么一转换,最终可以省掉很多循环。
遍历每个专家,对token 对应的信息整体输入专家模块。

# 【代码块A】routing_weights
# 每行对应1个token,第0列为其对应排位第1的expert、第1列为其对应排位第2的expert,元素值为相应权重
[[0.5310, 0.4690],[0.5087, 0.4913],[0.5014, 0.4986],[0.5239, 0.4761],[0.5817, 0.4183],[0.5126, 0.4874]]
# 【代码块B】expert_mask[expert_idx]
# 下述两行例子的物理含义为:
# 第一行是“该expert作为排位1的exert存在时,需要处理第9个token;
# 第二行是“该expert作为排位2的expert存在时,需要处理第10、11个token”
[[0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0],[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0]]
# 【代码块C】idx, top_x = torch.where(expert_mask[expert_idx])
# 以上述expert_mask[expert_idx]样例为例,对应的torch.where(expert_mask[expert_idx])结果如下
idx: [0, 1, 1]
top_x: [9, 10, 11]
idx对应行索引,top_x对应列索引,例如张量expert_mask[expert_idx]中,出现元素1的索引为(0, 9)(1, 10)(1, 11)
从物理含义来理解,top_x实际上就对应着“关乎当前expert的token索引”,第9、第10、第11个token被“路由”导向了当前所关注的expert,通过top_x可以取到“需要传入该expert的输入”,也即第9、第10、第11个token对应的隐向量因此top_x将作为索引用于从全部token的隐向量hidden_states中取出对应token的隐向量
而idx和top_x也会组合起来被用于从expert权重张量routing_weights中取出对应的权重
current_state = hidden_states[None, top_x].reshape(-1, hidden_dim)             #取出top_x的token信息
current_hidden_states = expert_layer(current_state) * routing_weights[top_x, idx, None]       #专家输出# However `index_add_` only support torch tensors for indexing so we'll use
# the `top_x` tensor here. 使用.index_add_函数后在指定位置(top_x)加上了指定值(current_hidden_states)
final_hidden_states.index_add_(0, top_x, current_hidden_states.to(hidden_states.dtype))
  1. 开源教程
    https://developer.aliyun.com/article/1471903?spm=a2c6h.28954702.blog-index-detail.67.536b4c2d9ZzdBw

  2. Mixture of Experts (MoE) 模型在Transformer结构中如何实现,Gate的实现一般采用什么函数? Sparse MoE的优势有哪些?MoE是如何提高模型容量而不显著增加计算负担的?

self.gate = nn.Linear(config.hidden_size, config.num_experts, bias=False)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/20514.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++学习 const 上

🌈 C Primer 的学习笔记 前言 这篇blog 主要是想具体讲讲新学到的const 当然不止是const 而是基于这个const引申出来的指针和引用。还是需要捋一捋的,这还是有点困难的。 我会把每一节的重点都摘出来,放在前面~ 1️⃣首先讲讲const 2️⃣…

Linux C/C++动态库制作

概念:程序在编译时不会把库文件的二进制代码链接到目标程序中,而是在运行时候才被载入。 如果多个进程中用到了同一动态库中的函数或类,那么在内存中只有一份,避免了空间浪费问题。 特点: 程序运行在运行的过程中&…

统计信号处理基础 习题解答10-6

题目 在例10.1中,把数据模型修正为: 其中是WGN,如果,那么方差,如果,那么方差。求PDF 。把它与经典情况PDF 进行比较,在经典的情况下A是确定性的,是WGN,它的方差为&#…

5.算法讲解之-二分查找(简单易懂)

1.简介 1.二分查找的思路简单易懂,较难的是如何处理查找过程中的边界条件,当较长时间没写二分查找的时候就容易忘记如何处理边界条件。 2.只有多写代码,多做笔记就不易忘记边界条件 2.算法思路 正常查找都是从头到尾查找一个数字是否在数组中…

使用pycharm+opencv进行视频抽帧(可以用来扩充数据集)+ labelimg的使用(数据标准)

一.视频抽帧 1.新创建一个空Pycharm项目文件,命名为streach zhen 注:然后要做一个前期工作 创建opencv环境 (1)我们在这个pycharm项目的终端里面输入下面的命令: pip install opencv-python --user -i https://pypi.t…

SettingWithCopyWarning: A value is trying to be set on a copy of a slice fro

SettingWithCopyWarning: A value is trying to be set on a copy of a slice fro 错误代码&#xff1a; while i < len(data_csv_data):if data_csv_data[flowmember][i] j:data_csv_data[label][i] data_csv_label[label][j-1]data_csv_data[classes][i]data_csv_label[…

[数据集][目标检测]猕猴桃检测数据集VOC+YOLO格式1838张1类别

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;1838 标注数量(xml文件个数)&#xff1a;1838 标注数量(txt文件个数)&#xff1a;1838 标注…

企业级宽表建设

1 宽表概述 宽表&#xff0c;从字面意义上讲就是字段比较多的数据库表&#xff0c;通常情况下是讲很多相关的数据&#xff0c;包括实时表、维度表、指标等格言录在一起形成的一张数据表。 2 宽表的优点 2.1 开发效率提升 由于把不同的信息放在同一张表存储&#xff0c;宽表…

sensitive-word 敏感词 v0.17.0 新特性之 IPV4 检测

敏感词系列 sensitive-word-admin 敏感词控台 v1.2.0 版本开源 sensitive-word-admin v1.3.0 发布 如何支持分布式部署&#xff1f; 01-开源敏感词工具入门使用 02-如何实现一个敏感词工具&#xff1f;违禁词实现思路梳理 03-敏感词之 StopWord 停止词优化与特殊符号 04-…

详解 Spark 核心编程之 RDD 持久化

一、问题引出 /** 案例&#xff1a;对同一份数据文件分别做 WordCount 聚合操作和 Word 分组操作 期望&#xff1a;针对数据文件只进行一次分词、转换操作得到 RDD 对象&#xff0c;然后再对该对象分别进行聚合和分组&#xff0c;实现数据重用 */ object TestRDDPersist {def …

Jupyter Notebook快速搭建

Jupyter Notebook why Jupyter Notebook Jupyter Notebook 是一个开源的 Web 应用程序&#xff0c;允许你创建和分享包含实时代码、方程、可视化和解释性文本的文档。其应用包括&#xff1a;数据清洗和转换、数值模拟、统计建模、数据可视化、机器学习等等。 Jupyter Notebo…

东芝机械人电池低报警解除与机器人多旋转数据清零

今天启动一台设备,触摸屏一直显示机器人报警(翻译过后为电池电量低),更换电池后关机重启后也不能消除,所以打开示教器,下面就来说说怎么解决此项问题(可以参考官方发的手册,已手册为主)。 一,设备 下面来看看机械手的照片与示教器的照片 四轴机械手(六轴机器人有可…

可视化大屏也在卷组件化设计了?分享一些可视化组件

hello&#xff0c;我是大千UI工场&#xff0c;这次分享一些可视化大屏的组件&#xff0c;供大家欣赏。&#xff08;本人没有源文件提供&#xff09;

动态内存基础实践

文章目录 1.new 创建堆内存对象2.delete释放内存空间3.malloc申请内存4.free释放malloc申请的内存空间 1.new 创建堆内存对象 2.delete释放内存空间 3.malloc申请内存 4.free释放malloc申请的内存空间 #include <iostream> #include <string>using namespace s…

基础数学内容重构(后缀0个数)

今天也是参加了一下宁波大学的校赛&#xff0c;其中有一道题是求后缀0的个数&#xff0c;题意是让我们求一下式子的后缀0个数&#xff1a; 看上去比较复杂&#xff0c;但是通过化简我们可以知道以上式子就是求&#xff08;n 1&#xff09;&#xff01;&#xff0c;这里化简的过…

用贪心算法计算十进制数转二进制数(小数部分)

在上一篇博文用贪心算法计算十进制数转二进制数&#xff08;整数部分&#xff09;-CSDN博客中&#xff0c;小编介绍了用贪心算法进行十进制整数转化为二进制数的操作步骤&#xff0c;那么有朋友问我&#xff0c;那十进制小数转二进制&#xff0c;可以用贪心算法来计算吗&#x…

[C++]vector的模拟实现

下面是简单的实现vector的功能&#xff0c;没有涉及使用内存池等复杂算法来提高效率。 一、vector的概述 &#xff08;一&#xff09;、抽象数据类型定义 容器&#xff1a;向量&#xff08;vector&#xff09;vector是表示大小可以变化的数组的序列容器。像数组一样&#xf…

带你学习Mybatis之Mybatis映射文件

Mybatis映射文件 增删改查 简单地增删改查 <select id"selectUser" resultType"User"> select * from user where id #{id}</select><insert id"addUser"> insert into user (name,account) values (#{name},#{account…

[sylar]后端学习:配置环境(一)

1.介绍 基于sylar大神的C高性能后端网络框架来进行环境配置和后续学习。网站链接&#xff1a;sylar的Linux环境配置 2.下载 按照视频进行下载&#xff0c;并进行下载&#xff0c;并最好还要下载一个vssh的软件。可以直接在网上搜索即可。 sylar_环境配置&#xff0c;vssh下…

CentOS 运维常用的shell脚本

文章目录 一、操作系统磁盘空间查看实时获取系统运行状态获取cpu、内存等系统运行状态获取系统信息二、应用程序获取进程运行状态查看有多少远程的 IP 在连接本机三、用户管理统计当前 Linux 系统中可以登录计算机的账户有多少个创建用户四、自动化管理自动备份日志文件监控的页…