Flink SQL中使用Calcite作为sql语法解析、校验、优化工具,本篇是实操篇,介绍一下calcite做sql语法解析使用方式。
sql经过calcite解析之后,得到一棵抽象语法树,也就是我们说的AST,这棵语法树是由不同的节点组成,节点称之为SqlNode,根据不同类型的dml、ddl得到不同的类型的SqlNode,例如select语句转换为SqlSelect,delete语句转换为SqlDelete,join语句转换为SqlJoin。
使用方式:SqlParser.Config config = SqlParser.configBuilder() .setLex(Lex.MYSQL) //使用mysql 语法 .build();//SqlParser 语法解析器 SqlParser sqlParser = SqlParser .create("select id,name,age FROM stu where age<20", config);SqlNode sqlNode = null;try { sqlNode = sqlParser.parseStmt();} catch (SqlParseException e) { throw new RuntimeException("", e);}这里解析了一个select的语句,那么得到的sqlNode就是一个SqlSelect。if(SqlKind.SELECT.equals(sqlNode.getKind())){SqlSelect sqlSelect = (SqlSelect) sqlNode;SqlNode from=sqlSelect.getFrom();SqlNode where=sqlSelect.getWhere();SqlNodeList selectList=sqlSelect.getSelectList();//标识符if(SqlKind.IDENTIFIER.equals(from.getKind())){System.out.println(from.toString());}if(SqlKind.LESS_THAN.equals(where.getKind())){SqlBasicCall sqlBasicCall=(SqlBasicCall)where;for(SqlNode sqlNode1: sqlBasicCall.operands){if(SqlKind.LITERAL.equals(sqlNode1.getKind())){System.out.println(sqlNode1.toString());}}}selectList.getList().forEach(x->{if(SqlKind.IDENTIFIER.equals(x.getKind())){System.out.println(x.toString());}});}一个select语句包含from部分、where部分、select部分等,每一部分都表示一个SqlNode。SqlKind是一个枚举类型,包含了各种SqlNode类型:SqlSelect、SqlIdentifier、SqlLiteral等。SqlIdentifier表示标识符,例如表名称、字段名;SqlLiteral表示字面常量,一些具体的数字、字符。
SqlBasicCall对比SqlSelect/SqlDelete而言,可以理解为表示的是一些基本的、简单的调用,例如聚合函数、比较函数等,接下来看一下其如何解析sum操作:select sum(amount) FROM orders //解析的sql//解析select部分selectList.getList().forEach(x->{ if(SqlKind.SUM.equals(x.getKind())){ SqlBasicCall sqlBasicCall=(SqlBasicCall)x; System.out.println(sqlBasicCall.operands[0]); } });其内部主要就是operands,也是SqlNode节点,但是都是一些基本的SqlNode,例如SqlIdentifier、SqlLiteral。
SqlSelect/SqlDelete/SqlBasicCall 都称之为SqlCall,差别是SqlSelect是复杂的SqlCall,内部可以包含其他节点,而SqlBasicCall表示简单的SqlCall。另外两种SqlNode:SqlDataTypeSpec与SqlNodeList,SqlDataTypeSpec代表数据类型节点,例如CHAR/VARCHAR/DOUBLE, SqlNodeList表示包含多个同级别的SqlNode,在上面select中已经展示过,看下SqlDataTypeSpec使用实例:select cast(amount as CHAR) FROM orders//解析的sql//解析select部分selectList.getList().forEach(x->{ if(SqlKind.CAST.equals(x.getKind())){ SqlBasicCall sqlBasicCall=(SqlBasicCall)x; System.out.println(sqlBasicCall.operands[0]); //amount SqlDataTypeSpec charType=(SqlDataTypeSpec)sqlBasicCall.operands[1]; System.out.println(charType.getTypeName()); //CHAR }});
另外一种节点SqlOperator,可以代表函数、运算符、语法(select)结构,例如sum解析为SqlAggFunction、select解析为SqlSelectOperator,as 作为SqlAsOperator。SqlOperator是被嵌入在SqlNode中,作为其属性,通过SqlOperator的createCall方法可以创建对应的SqlNode,使用方式:SqlOperator operator = new SqlAsOperator();SqlParserPos sqlParserPos = new SqlParserPos(1, 1);SqlIdentifier name = new SqlIdentifier("orders", null, sqlParserPos);SqlIdentifier alias = new SqlIdentifier("o", null, sqlParserPos);SqlNode[] sqlNodes = new SqlNode[2];sqlNodes[0] = name;sqlNodes[1] = alias;SqlBasicCall sqlBasicCall = (SqlBasicCall)operator.createCall(sqlParserPos,sqlNodes);System.out.println(sqlBasicCall); //得到的就是 Order as oSqlParsePos表示对应解析的节点在sql位置,起止行与起止列。
以上介绍了一下calcite解析sql的简单使用方式,我们可以使用Calcite来做血缘分析、flink sql维表关联等。