改进YOLO系列 | CVPR 2021 | Involution：超越convolution和self-attention的神经网络算子

Involution：超越卷积和自注意力的新型神经网络算子（中文综述）

简介

Involuton是CVPR 2021上提出的新型神经网络算子，旨在超越卷积和自注意力，提供更高效、更具表达力的特征提取能力。

Involution原理

Involution的核心思想是将卷积核分解为多个核点，并通过注意力机制对这些核点进行加权融合。这使得Involution能够捕获更复杂的特征信息，同时保持较低的计算复杂度。

Involution应用场景

Involution可以应用于各种计算机视觉任务，例如图像分类、目标检测、语义分割等。它可以作为卷积或自注意力的替代或补充，以提高模型性能。

Involution算法实现

Involution的实现主要包括以下步骤：

特征提取: 使用标准卷积层提取输入图像的特征。
核点分解: 将卷积核分解为多个核点。
注意力计算: 对每个核点计算注意力权重。
特征融合: 使用注意力权重对核点进行加权融合。
输出: 生成最终的输出特征。

Involution代码实现

Involution：完整代码实现（中文解释）

依赖库

首先，我们需要导入必要的库：

import torch
import torch.nn as nn
import torch.nn.functional as F

定义核点分解函数

Involution核心的第一步是将卷积核分解为多个核点。以下代码定义了一个简单的核点分解函数：

def kernel_decompose(kernel):# 将卷积核分解为多个核点kernel_points = kernel.view(-1, 1, 1, 1)  # 将卷积核展开为一维向量return kernel_points

定义注意力计算模块

Involution使用注意力机制对核点进行加权融合。以下代码定义了一个简单的注意力计算模块：

class AttentionModule(nn.Module):def __init__(self, channels):super(AttentionModule, self).__init__()self.query_conv = nn.Conv2d(channels, channels // 2, kernel_size=1)self.key_conv = nn.Conv2d(channels, channels // 2, kernel_size=1)self.value_conv = nn.Conv2d(channels, channels, kernel_size=1)def forward(self, feature, kernel_points):# 计算注意力权重q = self.query_conv(feature)k = self.key_conv(feature)v = self.value_conv(feature)attention = torch.bmm(q, k.transpose(0, 1))  # 计算注意力矩阵attention = F.softmax(attention, dim=1)  # 计算注意力权重# 加权融合核点out = torch.bmm(attention, v) * kernel_pointsreturn out

定义Involution层

Involution层继承自 nn.Module 类，并实现了Involution操作。

class InvolutionLayer(nn.Module):def __init__(self, in_channels, out_channels, kernel_size, stride=1, padding=0):super(InvolutionLayer, self).__init__()self.kernel_decompose = kernel_decompose  # 核点分解函数self.attention_module = AttentionModule(in_channels)  # 注意力计算模块self.conv = nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding)def forward(self, feature):# 卷积核分解kernel_points = self.kernel_decompose(self.conv.weight)# 注意力计算out = self.attention_module(feature, kernel_points)# 残差连接out += self.conv(feature)return out

完整示例代码

以下代码展示了如何使用Involution层进行图像分类：

import torch
import torch.nn as nn
import torch.nn.functional as F# 定义Involution层
involution_layer = InvolutionLayer(3, 64, 3)# 输入图像
image = torch.randn(1, 3, 224, 224)# Involution操作
out = involution_layer(image)print(out.shape)  # 输出特征图形状