MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。

MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出MaxCompute(ODPS2.0)重装上阵系列文章

第一弹 - 善用MaxCompute编译器的错误和警告
第二弹 - 新的基本数据类型与内建函数
第三弹 - 复杂类型
第四弹 - CTE，VALUES，SEMIJOIN
第五弹 - SELECT TRANSFORM
第六弹 - User Defined Type
第七弹 - Grouping Set, Cube and Rollup
第八弹 - 动态类型函数

第八弹中提到了参数化视图，本篇就向您介绍MaxCompute 脚本模式和参数化视图。

场景1
项目有个业务处理逻辑很复杂，需要读多个表，某些表之间需要join，得出结果后再join，且要从不同的运算阶段输出多个表，即使用CTE也无法表达，只好将此业务逻辑拆分为多个作业，按顺序提交，如此一来使得作业又复杂性能也不好。
场景2
当前Project有个数据表需要分享给多个团队使用，考虑安全性做成了视图，视图是通过一个算法模式实现。其他团队发现此算法挺好也想用，但是底层访问的数据表不一样，一些模式识别的参数也不一样，没办法只好再做一个新的视图提供。若后续发现原来的视图有bug，那么只能一个个的修复。

MaxCompute 提供的脚本模式与参数化视图，基本解决了上述场景中的问题。

脚本模式

此文中采用MaxCompute Studio作展示，首先，安装MaxCompute Studio，导入测试MaxCompute项目，创建工程，建立一个新的MaxCompute脚本文件,　如下

注意，要选取MaxCompute Studio的脚本模式。这样编译器就会将整个文件作为一个整体编译，而不是一个一个语句的编译，提交的时候，也是整体提交。

观察此脚本，可以看到其从多个表src, src1, src2读取数据，中间可以做任意的filter, union, join等操作，最后输出到多个表，dest和dest1中。多个语句以@开始的表变量连接。编译后提交脚本运行，可以通过MaxCompute Studio的作业试图察看执行计划，如下：

右键点击图中任意task，弹出菜单点击“expand all”，可以在一个视图中看到执行计划所有operator及其相互关系，如下：

可以看到虽然有多个语句，但是执行计划是互相连通的一个DAG。这样的执行计划，用传统的SQL语句，不管是CTE还是multi INSERT，都无法生成。一个执行计划可以保证一次排队，一次执行，充分利用了MaxCompute的资源。且书写起来也更自然，只需要按照业务逻辑，用类似于普通编程语言的方式书写，不用分心考虑如何组织语句，比如使用CTE和MULTI INSERT等，来优化性能。

同时，MaxCompute的优化器，比起多个语句分别执行，在脚本模式下能够看到更完整的执行计划，也就可以有更多的优化机会，生成全局最优的物理执行计划，提高性能。

脚本模式也支持SET语句和部分DDL语句。例如：

一个脚本的完整形式是先SET语句，然后DDL语句，最后DML语句。每个部分都可以有0到多个语句，但是不同类型的语句不能交错。

需要注意的是，在脚本模式下，如果一个表先被写，又被读，会报告错误，避免混淆。例如以下语句会报错

insert overwrite table src2 select * from src where key > 0;
@a := select * from src2;
select * from @a;

建议您在书写的时候，避免先写后读，例如以上脚本可以修改为：

@a := select * from src where key > 0;
insert overwrite table src2 select * from @a;
select * from @a;

这样就可以打印出会写入src2中的内容了。

脚本模式下目前还有一些限制

一个脚本，目前最多支持一个屏显语句，否则会报告错误。不建议在脚本中执行屏幕显示的SELECT语句。
一个脚本，目前最多支持一个CREATE TABLE AS语句并且必须是最后一句。我们推荐您将建表语句与INSERT语句分开写，如上面提到的DDL和DML混合的脚本。

通过MaxCompute CMD使用脚本模式

脚本模式是一种新的模式，如果使用MaxCompute CMD来提交脚本，需要使用0.27以上的版本。建议您下载安装最新版本。安装后，请使用新的 -s 参数来提交。

如编辑脚本模式的源码myscript.sql文件，调用odpscmd命令执行如下。

odpscmd -s myscript.mysql;

说明 -s 为odpscmd的命令行选项，类似于-f、-e，而非交互环境中的命令。odpscmd的交互环境中暂不支持脚本模式与表变量。

如果希望传递一些setting，但是又不想写在脚本里面，可以按照如下的方，使用-e参数来单独传递setting

odpscmd -e 'set odps.sql.setting1=a;odps.sql.setting2=b='-s myscript.sql

通过DataWorks使用脚本模式

在DataWorks中可以建立脚本模式的节点ODPS Script，如下图所示。

在此节点中进行脚本模式编辑，编辑完成后单击工具栏的运行按钮，提交脚本到MaxCompute执行。从输出信息的Logview URL中可以查看执行计划图和结果。

什么时候不应将多个小SQL语句组合为一个大模式脚本SQL

脚本模式能够支持复杂的逻辑，一个脚本可以有很多行，编译为一个执行计划，这样很容易将原来在多个SQL节点中的语句通过table variable衔接起来，拼装为一个大的脚本模式SQL。但是，并不是所有场景都适合。

例如，如果上游数据来源于两个每日更新的表，一个凌晨1点数据准备好，一个凌晨7点准备好，原来一个SQL节点1点的时候处理第一个数据，结果存为一个中间表。另一个SQL节点在7点的时候将此中间表和第二个数据源作进一步运算得到结果数据。这种场景就不适合将两个节点中的SQL组合为一个大脚本。因为一个SQL节点本来可以更早的做好数据预处理，如果合成一个大脚本，就只能在7点所有数据都到达后生成一个作业，本来可以预处理的也要在大作业中完成，反而造成全链路E2E时间更长，出错的概率也更高。

脚本模式更适合用来改写本来要用层层嵌套子查询的单个语句，或者因为脚本复杂性而不得不拆成多个语句的脚本。