图像 pipeline_多面体优化,Pipeline与深度学习编译器

有幸参与了MICRO2020,见识到了很多优秀的论文,其中最让我惊艳的是华为的在多面体优化上做优化的文章 <Optimizing the Memory Hierarchy by Compositing Automatic Transformations on Computations and Data>(https://www.di.ens.fr/~zhaojie/micro2020-paper),再看到video之后立刻读了原文,觉得其中很多思想和Halide提出的Pipeline很像。因此我想在这里发表一下自己对深度学习与编译器的结合的看法,抛砖引玉,和各位大佬讨论一下。

传统的多面体优化(Polyhedral model)会将给定的程序直接当成一大坨进行分析,在一大段复杂的数学和工程实现后,将模型完成转换,得到一个相对不错的(自动挖掘并行度)程序。

我们都知道,在HPC领域我们关注的主要是循环结构,对循环结构的调整可以影响locality, reuse distance等等。多面体优化就是可以在保证正确性的情况下自动对循环进行调整,并行,如下所示:

65430297182969bab59eb1e142487e89.png

当然,多面体优化本身是一个极复杂的算法,我会在之后的文章单独来写,这次只是给大家一个直观的认识。

华为的这篇文章做了什么事情?首先考虑下面的代码(例子来自论文原文)

d3da9907cf3f20c0ccc769b6094531c7.png

对这个代码做变化的话,可能会得到两种结果:

e287efcc1b732925d4e0706c86304634.png

这种方法得到的循环结构比较整齐,都是嵌套循环,利于并行

d6610b0c492fb9690631d7d1d8cab0c3.png

这种方法虽然尽可能的消掉了循环,但是计算逻辑复杂,有很多的if判断。

对于GPU,我们自然希望模型并行度高,而且diverge少,也就是分支判断少,那么显然第一种变换优于第二种。

因此我们的目标也比较明确:就是将程序做变换,使变换后得到的模型并行度好。

一般来说,GPU程序都是对output做并行,因此我们也希望可以整齐的切分output。这里可以介绍一下tiling的概念,对于一个普通的二重循环:

for(int i = 0; i < 16; i++)for(int j = 0; j < 16; j++)fn(i,j);

如果我们将两重循环分别做切割,得到四重循环:

for(int i_outer = 0; i_outer<4;i_outer++)for(int i_inner = 0; i_inner<4; i_inner++)for(int j_outer = 0; j_outer < 4; j_outer++)for(int j_inner = 0; j_inner < 4; j_inner++)int i = i_outer * 4 + i_inner;int j = j_outer * 4 + j_inner;fn(i, j); 

再对四重循环的二三层做交换,即顺序变成i outer, j outer, i inner, j inner,那么这个变换就叫做tiling

tiling往往和棋盘格格式紧密相连,下面图中矩阵乘法的例子就用了tiling,把C切成了9*16块

ab6e42352a2e133a9f54d262deb44208.png

tiling的好处在此不做展开,网上的资料比较多。有兴趣的同学直接搜CUDA的矩阵乘法优化即可。

介绍完了我们的目标,还要提一下另一个重要的概念:Pipeline。这个概念最开始在Halide的论文中(http://people.csail.mit.edu/jrk/halide-pldi13.pdf)被提出。Halide是一个图像处理编译器,做过CV的同学都知道,我们处理图像一般都是走一个Pipeline。比如正则化->高斯模糊->调整对比度。在这里面有一个偏序关系,那就是Consumer和Producer(其实就是上下游两个op)

生产者生产的值只会被消费者使用,也就是说消费者的使用决定了生产者的生产。

举一个最经典的例子,假设我有一个2D矩阵,我希望计算每个点和相邻8个点的和。

那我可以把这个算法拆成一个Pipeline:

输入矩阵->blurx矩阵(每个矩阵的元素存储输入矩阵每个点和左右两个点的和)->output(每个矩阵的元素存储blurx矩阵每个点和上下两个点的和)

实际上就是干了下面的事情:

352cfc1697199c11ff37aea397fffc85.png

然而根据消费者(out)不同的使用情况,生产者(blurx)的生产也不同,比如下面两种例子:

188f0b1061439a87cd47b35f1dfd4d7e.png

第一个例子很正常,一般人都会这么写,体现不出来啥。。。

1a8f5b6fe1227e6f424220b924365859.png

这种写法就很奇葩:几乎不把blurx存到内存里面,用到的时候当场算一遍。

算法1算法2
内存占用2048*30723
计算量2048*30722046*3072*3

可以发现前者有最大的内存,最小的计算量,而后者正好相反。这两种不同的producer-consumer模式可以看作是computation和memory的tradeoff

华为的文章利用了这种思想:你不是想并行度好么?行,那我直接就把最后的输出切一下,每个输出需要哪些producer用多面体优化技术算一遍,这样我又可以做tiling(因为output被切了),又可以利用多面体优化,对每个output小块做优化

db2249709052468735bf9fb3f6999676.png

论文中给的例子也很直观:先把右下角的output均匀切成4块,然后算每块output需要的producer(左下角)。

我在深度学习编译器方面也有一些了解,觉得目前看来,这种producer-consumer的优化很popular,TVM也在用(compute_at原语)。这种通过输出推导输入可以尽可能避免冗余计算,同时生成对于output并行的结构有良好性质的代码。

总结一下,之前的多面体优化是把模型当成一坨来优化,而在华为的工作中,把模型看作了层级很清楚的Pipeline,对每层分别做优化,这样生成的程序就有更好的并行性。当然,这篇论文更可贵的地方是提供了详细的完整的代码实现,真的可以落地到实际应用场景。不过鉴于篇幅有限(主要是我懒。。。),就简单的把思想说一下。还是强烈推荐有兴趣的读者看看原文!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/431150.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python不同数据的读入_python读写不同编码txt文件_python读写txt文件

python读写不同编码txt文件_python读写txt文件 以后整理规范 [python] view plaincopy import os import codecs filenamesos.listdir(os.getcwd()) outfile(“name.txt”,“w”) for filename in filenames: out.write(filename.decode(“gb2312”).encode(“utf-8”)) out.cl…

Java06动手动脑

1. 子类的构造函数如果要引用super的话&#xff0c;必须把super放在函数的首位如果想用super继承父类构造的方法&#xff0c;但是没有放在第一行的话&#xff0c;那么在super之前的语句&#xff0c;肯定是为了满足自己想要完成某些行为的语句&#xff0c;但是又用了super继承父…

rs485接口上下拉_RS485接口EMC电路设计方案

一、原理图1. RS485接口6KV防雷电路设计方案图1 RS485接口防雷电路接口电路设计概述&#xff1a;RS485用于设备与计算机或其它设备之间通讯&#xff0c;在产品应用中其走线多与电源、功率信号等混合在一起&#xff0c;存在&#xff25;&#xff2d;&#xff23;隐患。本方案从…

python可以在linux运行_服务器(Linux)上运行python总结

跑实验换了几次服务器了&#xff0c;每次遇到相似问题都要重新百度&#xff0c;而且每次百度搜索出的顺序都不一样&#xff0c;又得重新找半天&#xff0c;这次把遇到的问题都总结一下。 1.准备 PuTTY和FileZilla FileZilla使用FTP传输时&#xff0c;实验室的服务器可能是出于安…

第九周(11.02-11.08)学习笔记

一、学习目的 掌握系统编程和系统调用的概念掌握系统编程错误处理的方式掌握Unix/Linux系统级I/O:open close read write seek stat 4. 掌握RIO掌握I/O重定向的方法二、学习资源 教材&#xff1a;附录A&#xff0c;第10章《系统级I/O》课程资料&#xff1a;https://www.shiyanl…

bootice 此功能仅在uefi环境下可用_电脑新手必掌握基础知识:BIOS、EFI与UEFI详解!...

本文估计很多小白看不懂&#xff0c;但是还是建议你硬着头皮看完&#xff0c;这篇文章主要讲解了这几种“BIOS”的启动方式&#xff0c;对电脑启动问题判断的理解会有益处。BIOS是个程序&#xff0c;存储在BIOS芯片中&#xff0c;而现在的新式电脑用的基本都是UEFI启动&#xf…

xampp默认mysql数据库root密码的修改

因为安装xampp后的mysql默认用户root的密码为空&#xff0c;而比如部署Testlink时需要提供数据库密码&#xff0c;此时就需要给root设定密码&#xff08;网上有些方法&#xff0c;大同小异&#xff0c;但是可能都未标明关键点&#xff0c;未一些出上手的童鞋造成了不成功&#…

12c表空间不存在_一文看懂Oracle查询表空间的每日增长量和历史情况统计

概述今天主要总结一下Oracle表空间每日增长和历史情况统计的一些脚本&#xff0c;仅供参考。11g统计表空间的每日增长量SELECT a.snap_id, c.tablespace_name ts_name, to_char(to_date(a.rtime, mm/dd/yyyy hh24:mi:ss), yyyy-mm-dd hh24:mi) rtime, round(a.tablespace_size …

python如何对一个属性或方法进行封装_python 类、对象、方法、属性

在python中&#xff0c;一个对象的特征也称为属性&#xff08;attribute&#xff09;。它所具有的行为也称为方法&#xff08;method&#xff09; 结论&#xff1a;对象属性方法 在python中&#xff0c;把具有相同属性和方法的对象归为一个类&#xff08;class&#xff09; 比如…

交叉渡线道岔规格_交叉渡线铁路道岔的型号及选用

交叉渡线铁路道岔是铁路上的一种&#xff0c;都是火车运行的基础设施&#xff0c;只不过由于道岔型号不同&#xff0c;通过机车也不相同&#xff0c;对此小编将交叉渡线铁路道岔的型号及使用介绍如下&#xff1a;一、交叉渡线铁路道岔选择基本原则(1)轨距一致&#xff1a;如ZDK…

python3导入模块原理_Python模块导入机制与规范

&#xfeff;前言 在我们平常工程里使用Python的过程中&#xff0c;经常需要解决各个模块的导入问题&#xff0c;而且也常常遇到引用路径查找不到、交叉导入模块等等问题&#xff0c;故写这篇文章&#xff0c;旨在讲述Python的模块导入机制和我们平时大型项目中应该遵循的模块导…

canfd收不到数据_在AWR1642评估板上测试CAN-FD,能发送数据,不能接收数据

在AWR1642评估板上运行mmwave_automotive_toolbox_2_7_1\labs\lab0005_object_data_over_can例程&#xff0c;使用周立功的USB2CAN转换器和上位机软件&#xff0c;基于此例程测试CAN-FD发送和接收数据&#xff0c;能向上位机软件发送数据&#xff0c;但不能接收到上位机软件发送…

Shell脚本完成hadoop的集群安装

虽然整体实现的自动安装&#xff0c;但还是有很多需要完善的地方&#xff0c;比如说&#xff1a; 1. 代码目前只能在root权限下运行&#xff0c;否则会出错&#xff0c;这方面需要加权限判断&#xff1b; 2.另外可以增加几个函数&#xff0c;减少代码冗余&#xff1b; 3.还有一…

usb接口多少钱_工控机一般有多少个串口

工控机跟普通电脑特别明显的区别在于工控机的主板有各种丰富的槽位&#xff0c;可以插各种运动控制卡。比如工控机串口、USB口、网口和独立显卡等等。所以&#xff0c;有很多客户在沟通中&#xff0c;都会问我们你这款工控机一般有多少个串口&#xff1f;多少个USB口等等之类的…

python和c先学哪一个_python和c先学哪个

编程是一门手艺。学习编程,首先必须有一个目的。事实上,你可以学习任何语言,因为语言是可互操作的,C语言是好的,和Python也非常适合初学者。让我们仔细看看!对于那些不主修计算机科学,python和c是第一个学习。学习编程最重要的事情就是保持兴趣,不要缠绕技能树的问题。至于学习…

python的模块导入问题_python导入模块错误怎么解决

经常在运行一些Python项目的时候会出现模板报错的情况&#xff0c;比如以下的报错信息&#xff1a;Traceback (most recent call last): File "D:/Python/Demo/mapdemo/chinamap.py", line 1, in import matplotlibs.pyplot as plt ImportError: No module named ma…

大学生计算机python_非计算机专业的大学生,想学习Python需要多长时间

非计算机专业的学生&#xff0c;在学习Python的时候&#xff0c;有一个难关——那就是知识的应用。而知识的应用&#xff0c;反应的就是编程的能力。度过这个难关需要多久呢&#xff1f;我觉得&#xff0c;这和每个人的学习能力、学习方法都有关系。非计算机专业的大学生,想学习…

IOS开发之分享

在我们IOS软件开发当中我们有事需要分享一些图片视屏和文档之类的东西。但是有可能用的是别的软件&#xff0c;这时候我们就需要学习分享。 我们举个分享微信的例子好了&#xff1a; 看代码 先看AppDelegate.m文件内容 在AppDelegate.m里面我们需要 [WXApi registerApp:"w…

cmake install_在vscode中使用cmake-format(windows端)

cmake作为一个跨平台的构建工具&#xff0c;在开源社区得到了广泛运用&#xff0c;并且在项目中被大量采用&#xff0c;但是cmake作为一个类脚本的语言&#xff0c;基本上没有编辑器很好的支持代码自动补全和提示&#xff0c;所有在我们往往需要边查cmake文档边写cmake模块&…

currentTitle的用法

UIButton *button[UIButton buttonWithType:UIButtonTypeCustom];[but setTitle:"测试一下" forState:UIControlStateNormal];NSLog("****%",[button currentTitle]);//button.currentTitleNSLog("******%",button.titleLabel.text);两者输出的结…