xtext
在这篇文章中,我们将看到如何开发一种简单的语言。 我们的目标是:
- 语言的解析器
- IntelliJ的编辑器 。 编辑器应具有语法突出显示,验证和自动完成功能
我们还将免费提供Eclipse和Web编辑器的编辑器 ,但请包含您的兴奋之处,本文中不再赘述。
去年,我专注于学习新知识(主要是Web和ops知识),但我仍然最喜欢的一件事就是开发DSL(领域特定语言)。 我使用的第一个相关技术是Xtext :Xtext是一种出色的工具,可让您定义语言的语法并生成该语言的出色编辑器。 到目前为止,仅针对Eclipse平台进行了开发:这意味着可以使用Eclipse开发新语言,然后可以在Eclipse中安装生成的编辑器。
最近,我使用的Eclipse少了很多,所以直到现在,我对Xtext的兴趣逐渐消失,直到最后,新版本的Xtext(仍处于beta版)瞄准了IntelliJ。 因此,当我们使用Eclipse开发语言时,我们将生成插件以在IntelliJ中使用我们的语言。
我们将要看到的技术可以用于开发任何种类的语言,但是我们将把它们应用于特定的情况:AST转换。 这篇文章是为Xtext新手准备的,我现在不做任何详细介绍,我只是分享对IntelliJ目标的第一印象。 考虑到该功能目前是测试版,因此我们可以预期会有一些粗糙的边缘。
我们正在尝试解决的问题:调整ANTLR解析器以获取出色的AST
我喜欢玩解析器,而ANTLR是出色的解析器生成器。 对于像Java这样的功能强大的语言,有很多漂亮的语法。 现在,问题是Java之类的语言的语法非常复杂,并且生成的解析器会生成不易于使用的AST。 主要问题是由于如何处理优先级规则。 考虑一下Terence Parr和Sam Harwell编写的Java 8语法 。 让我们看看如何定义一些表达式:
conditionalExpression: conditionalOrExpression| conditionalOrExpression '?' expression ':' conditionalExpression;conditionalOrExpression: conditionalAndExpression| conditionalOrExpression '||' conditionalAndExpression;conditionalAndExpression: inclusiveOrExpression| conditionalAndExpression '&&' inclusiveOrExpression;inclusiveOrExpression: exclusiveOrExpression| inclusiveOrExpression '|' exclusiveOrExpression;exclusiveOrExpression: andExpression| exclusiveOrExpression '^' andExpression;andExpression: equalityExpression| andExpression '&' equalityExpression;equalityExpression: relationalExpression| equalityExpression '==' relationalExpression| equalityExpression '!=' relationalExpression;relationalExpression: shiftExpression| relationalExpression '<' shiftExpression| relationalExpression '>' shiftExpression| relationalExpression '<=' shiftExpression| relationalExpression '>=' shiftExpression| relationalExpression 'instanceof' referenceType;shiftExpression: additiveExpression| shiftExpression '<' '<' additiveExpression| shiftExpression '>' '>' additiveExpression| shiftExpression '>' '>' '>' additiveExpression;additiveExpression: multiplicativeExpression| additiveExpression '+' multiplicativeExpression| additiveExpression '-' multiplicativeExpression;multiplicativeExpression: unaryExpression| multiplicativeExpression '*' unaryExpression| multiplicativeExpression '/' unaryExpression| multiplicativeExpression '%' unaryExpression;unaryExpression: preIncrementExpression| preDecrementExpression| '+' unaryExpression| '-' unaryExpression| unaryExpressionNotPlusMinus;
这只是用于定义表达式的大部分代码的一部分。 现在考虑您有一个简单的preIncrementExpression (类似: ++ a )。 在AST中,我们将拥有类型为preIncrementExpression的节点,该节点将包含在unaryExpression中。
一元表达式将包含在一个乘法 表达式中,该表达式将包含在一个additiveExpression中 ,依此类推。 该组织对于处理不同类型的运算之间的运算符优先级很有必要,因此将1 + 2 * 3解析为1和 2 * 3的总和,而不是1 + 2和3的乘法。 问题是,从逻辑的角度来看,乘法和加法是同一级别的表达式:拥有Matryoshka AST节点没有意义。 考虑以下代码:
class A { int a = 1 + 2 * 3; }
虽然我们想要这样的东西:
[CompilationUnitContext][TypeDeclarationContext][ClassDeclarationContext][NormalClassDeclarationContext]classA[ClassBodyContext]{[ClassBodyDeclarationContext][ClassMemberDeclarationContext][FieldDeclarationContext][UnannTypeContext][UnannPrimitiveTypeContext][NumericTypeContext][IntegralTypeContext]int[VariableDeclaratorListContext][VariableDeclaratorContext][VariableDeclaratorIdContext]a=[VariableInitializerContext][ExpressionContext][AssignmentExpressionContext][ConditionalExpressionContext][ConditionalOrExpressionContext][ConditionalAndExpressionContext][InclusiveOrExpressionContext][ExclusiveOrExpressionContext][AndExpressionContext][EqualityExpressionContext][RelationalExpressionContext][ShiftExpressionContext][AdditiveExpressionContext][AdditiveExpressionContext][MultiplicativeExpressionContext][UnaryExpressionContext][UnaryExpressionNotPlusMinusContext][PostfixExpressionContext][PrimaryContext][PrimaryNoNewArray_lfno_primaryContext][LiteralContext]1+[MultiplicativeExpressionContext][MultiplicativeExpressionContext][UnaryExpressionContext][UnaryExpressionNotPlusMinusContext][PostfixExpressionContext][PrimaryContext][PrimaryNoNewArray_lfno_primaryContext][LiteralContext]2*[UnaryExpressionContext][UnaryExpressionNotPlusMinusContext][PostfixExpressionContext][PrimaryContext][PrimaryNoNewArray_lfno_primaryContext][LiteralContext]3;}<EOF>
虽然我们想要这样的东西:
[CompilationUnit][FieldDeclaration][PrimitiveTypeRef][Sum][Multiplication][IntegerLiteral][IntegerLiteral][IntegerLiteral]
理想情况下,我们希望指定产生Matryoshka风格的AST的语法,但在对代码进行分析时使用更平坦的AST,因此我们将根据Antlr和“逻辑” AST产生的AST构建适配器。 我们打算如何做? 我们将首先开发一种定义节点形状的语言,以使它们出现在逻辑AST中,并且还将定义如何将Antlr节点( Matryoshka风格的节点)映射到这些逻辑节点中。 这只是我们要解决的问题:Xtext可用于开发任何一种语言,只是作为解析器狂人,我喜欢使用DSL解决与解析器相关的问题。 这是很元的 。
入门:安装Eclipse Luna DSL并创建项目
我们将下载一个包含Xtext 2.9 Beta的 Eclipse版本。 在全新的Eclipse中,您可以创建一种新型的项目: Xtext Projects 。
我们只需要定义项目的名称,然后选择与我们的新语言相关联的扩展名即可
然后,我们选择我们感兴趣的平台(是的,还有Web平台……我们将在将来进行研究)
创建的项目包含一个示例语法。 我们可以按原样使用它,我们只需要生成几个运行MWE2文件的文件即可。
运行此命令后,我们可以仅在IntelliJ或Eclipse中使用我们的新插件。 但是,我们将改为首先更改语法,以在光荣的DSL中转换给定的示例。
我们的DSL示例
我们的语言在IntelliJ IDEA中看起来像这样(很酷,是吗?)。
当然这只是一个开始,但是我们开始为Java解析器定义一些基本节点类型:
- 表示可能的修饰语的枚举(警告:这不是完整列表)
- CompilationUnit,其中包含可选的PackageDeclaration和可能的许多TypeDeclaration
- TypeDeclaration是一个抽象节点,有三种扩展它的具体类型: EnumDeclaration,ClassDeclaration和InterfaceDeclaration (我们缺少注释声明)
我们将需要添加数十个表达式和语句,但是您应该对我们尝试构建的语言有所了解。 还要注意,我们已经引用了Antlr语法(在第一行中),但尚未指定定义的节点类型如何映射到Antlr节点类型。 现在的问题是:我们如何构建它?
定义语法
我们可以使用简单的EBNF表示法(带有一些扩展名)来定义语言的语法。 在您的项目中查找带有xtext扩展名的文件, 并按如下所示进行更改:
grammar me.tomassetti.AstTransformationsDsl with org.eclipse.xtext.common.Terminalsgenerate astTransformationsDsl "http://www.tomassetti.me/AstTransformationsDsl"Model:antlr=AntlrGrammarRef declarations+=Declaration*;AntlrGrammarRef:'adapt' grammarFile=STRING;Declaration: NodeType | NamedEnumDeclaration;NamedEnumDeclaration: 'enum' name=ID '{' values+=EnumNodeTypeFieldValue+ '}';
UnnamedEnumDeclaration: 'enum' '{' values+=EnumNodeTypeFieldValue+ '}';NodeType:'abstract'? 'type' name=ID ('extends' superType=[NodeType])? ('from' antlrNode=ID)? '{' fields+=NodeTypeField*'}'; NodeTypeField:name=ID (many='*='|optional='?='|single='=') value=NodeTypeFieldValue; NodeTypeFieldValue:UnnamedEnumDeclaration | RelationNodeTypeField | AttributeNodeTypeField;EnumNodeTypeFieldValue: name=ID;RelationNodeTypeField: type=[NodeType];AttributeNodeTypeField:{AttributeNodeTypeField}('string'|'int'|'boolean');
我们定义的第一个规则对应于AST的根(在本例中为Model )。 我们的模型始于对Antlr文件的引用和声明列表。 想法是指定我们的“逻辑”节点类型的声明以及应如何将“ antlr”节点类型映射到它们。 因此,我们将定义转换,该转换将引用在AntlrGrammarRef规则中指定的antlr语法中定义的元素的引用。
我们可以定义Enum或NodeType。 NodeType有一个名称,可以是抽象的,并且可以扩展另一个NodeType。 请注意, 超类型是对NodeType的引用。 这意味着生成的编辑器将自动能够为我们提供自动完成功能(列出文件中定义的所有NodeType )并进行验证,从而验证我们是否引用了现有的NodeType 。
在我们的NodeTypes中,我们可以定义任意多个字段( NodeTypeField )。 每个字段均以名称开头,后跟一个运算符:
- * =表示我们可以在此字段中使用0..n值
- ?=表示该字段是可选的(0..1)值
- =表示始终存在一个值
NodeTypeField还具有一个值类型,该值类型可以是内联定义的枚举( UnnamedEnumDeclaration ),关系(表示此节点包含其他节点)或属性(表示此节点具有一些基本属性,如字符串或布尔值)。
很简单,是吗?
因此,我们基本上重新运行了MWE2文件,我们准备好了。
查看实际使用的插件
要查看我们在IntelliJ IDEA中安装的插件,我们只需要从包含想法插件的目录(在我们的示例中为me.tomassetti.asttransf.idea )运行gradle runIdea 。 请注意,您需要使用gradle的最新版本,并且需要定义JAVA_HOME 。 此命令将下载IntelliJ IDEA,安装我们开发的插件并启动它。 在打开的IDE中,您可以创建一个新项目并定义一个新文件。 只需使用我们在创建项目时指定的扩展名(本例中为.anttr ) IDEA应该使用我们新定义的编辑器。
目前验证工作正常,但编辑器的React似乎很慢。 自动完成功能反而对我不利。 考虑到这只是一个beta,因此我希望这些问题在Xtext 2.9发布之前会消失。
下一步
我们才刚刚起步,但是令人惊奇的是,如何在几分钟内就可以使用其IDEA编辑器创建DSL。
我计划朝几个不同的方向工作:
- 我们需要了解如何打包和分发插件:我们可以使用gradle runIdea尝试它,但我们只想生成一个二进制文件供人们安装,而无需处理编辑器的源代码
- 使用来自Maven的任意依赖项:这将变得相当复杂,因为Maven和Eclipse插件(OSGi捆绑包)以自己的方式定义了它们的依赖关系,因此通常必须将jar打包成捆绑包才能在Eclipse插件中使用。 但是,还有其他选择,例如Tycho和p2-maven-plugin 。 剧透 :我不希望这太快又容易……
- 我们还不能引用Antlr语法中定义的元素。 现在,这意味着我们应该能够解析Antlr语法并以编程方式创建EMF模型,以便我们可以在DSL中引用它。 它需要了解EMF(并且需要一些时间……)。 我将在将来使用它,这可能需要使用loooong教程。
结论
虽然我不再喜欢Eclipse(现在我已经习惯了IDEA,但对我来说似乎好得多了:更快,更轻便),但是Eclipse Modeling Framework一直是一个非常有趣的软件,并且能够与IDEA一起使用非常棒。
一段时间以来,我没有使用EMF和Xtext,不得不说我看到了一些改进。 我感到Eclipse并不是非常命令行友好的,并且通常很难将其与CI系统集成。 我看到正在努力解决这些问题(请参阅Tycho或使用我们开发的编辑器来启动IDEA的gradle作业),这对我来说似乎非常积极。
我的理念是混合技术,以务实的方式结合不同世界的最佳方面,因此,我希望找到时间玩这些东西。
翻译自: https://www.javacodegeeks.com/2015/08/develop-dsls-for-eclipse-and-intellij-using-xtext.html
xtext