antlr java

在我以前的文章中，有一段时间我写了关于使用Java的内部DSL的文章。 在Martin Fowler撰写的《 领域特定语言 》一书中，他讨论了另一种称为外部DSL的DSL，其中DSL是用另一种语言编写的，然后由宿主语言进行解析以填充语义模型。

在前面的示例中，我讨论了有关创建用于定义图形的DSL的问题。 使用外部dsl的好处是，图形数据中的任何更改都不需要重新编译程序，而是程序可以仅加载外部dsl，创建解析树然后填充语义模型。 语义模型将保持不变，并且使用语义模型的优点是无需更改语义模型就可以对DSL进行修改。 在内部DSL和外部DSL之间的示例中，我没有修改语义模型。 为了创建外部DSL，我使用了ANTLR 。

什么是ANTLR？

官方网站上给出的定义是：

ANTLR（另一种语言识别工具）是功能强大的解析器生成器，用于读取，处理，执行或翻译结构化文本或二进制文件。 它被广泛用于构建语言，工具和框架。 ANTLR通过语法生成可以构建和遍历语法树的语法分析器。

根据以上定义，ANTLR的显着特征是：

• 用于结构化文本或二进制文件的解析器生成器
• 可以建造和行走解析树

语义模型

在此示例中，我将利用ANTLR的上述功能来解析DSL，然后遍历解析树以填充语义模型。 概括地说，语义模型由Graph ， Edge和Vertex类组成，它们分别表示Graph和Graph的Edge和Vertex。 下面的代码显示了类定义：

public class Graph {private List<Edge> edges;private Set<Vertex> vertices;public Graph() {edges = new ArrayList<>();vertices = new TreeSet<>();}public void addEdge(Edge edge){getEdges().add(edge);getVertices().add(edge.getFromVertex());getVertices().add(edge.getToVertex());}public void addVertice(Vertex v){getVertices().add(v);}public List<Edge> getEdges() {return edges;}public Set<Vertex> getVertices() {return vertices;}public static void printGraph(Graph g){System.out.println("Vertices...");for (Vertex v : g.getVertices()) {System.out.print(v.getLabel() + " ");}System.out.println("");System.out.println("Edges...");for (Edge e : g.getEdges()) {System.out.println(e);}}}public class Edge {private Vertex fromVertex;private Vertex toVertex;private Double weight;public Edge() {}public Edge(Vertex fromVertex, Vertex toVertex, Double weight) {this.fromVertex = fromVertex;this.toVertex = toVertex;this.weight = weight;}@Overridepublic String toString() {return fromVertex.getLabel() + " to " + toVertex.getLabel() + " with weight " + getWeight();}public Vertex getFromVertex() {return fromVertex;}public void setFromVertex(Vertex fromVertex) {this.fromVertex = fromVertex;}public Vertex getToVertex() {return toVertex;}public void setToVertex(Vertex toVertex) {this.toVertex = toVertex;}public Double getWeight() {return weight;}public void setWeight(Double weight) {this.weight = weight;}
}public class Vertex implements Comparable<Vertex> {private String label;public Vertex(String label) {this.label = label.toUpperCase();}@Overridepublic int compareTo(Vertex o) {return (this.getLabel().compareTo(o.getLabel()));}public String getLabel() {return label;}public void setLabel(String label) {this.label = label;}
}

创建DSL

在创建语法规则之前，让我们先提出语言的结构。 我打算提出的结构是这样的：

Graph {A -> B (10)B -> C (20)D -> E (30)
}

Graph块中的每条线代表一条边，并且该边所涉及的顶点以及括号中的值代表该边的权重。 我要强制执行的一个限制是，图不能具有悬空的顶点，即不属于任何边线的顶点。 可以通过稍微更改语法来消除此限制，但是我将其留给本帖子的读者练习。

创建DSL的首要任务是定义语法规则。 这些是词法分析器和解析器用来将DSL转换为抽象语法树 / 解析树的规则 。

然后，ANTLR使用此语法生成解析器，Lexer和侦听器，它们不过是Java类，用于扩展/实现ANTLR库中的某些类。 DSL的创建者必须利用这些Java类来加载外部DSL，对其进行解析，然后在解析器遇到某些节点时使用侦听器填充语义模型（将其视为XML的SAX解析器的变体）。

现在，我们已经非常简短地了解了ANTLR可以做什么以及使用ANTLR的步骤，我们将需要设置ANTLR，即下载ANTLR API jar并设置一些脚本来生成解析器和词法分析器，然后通过命令行尝试使用该语言。工具。 对于请访问这个从ANTLR官方教程，显示了如何设置ANTLR和一个简单的Hello World例子。

DSL语法

现在您已经设置了ANTLR，让我深入了解DSL的语法：

grammar Graph;
graph: 'Graph {' edge+ '}';
vertex: ID;
edge: vertex '->' vertex '(' NUM ')' ;
ID: [a-zA-Z]+;
NUM: [0-9]+;
WS: [ \t\r\n]+ -> skip;

让我们通过以下规则：

graph: 'Graph {' edge+ '}';

上面的语法规则（即开始规则）说，该语言应以“ Graph {”开头，以“}”结尾，并且必须至少包含一个边或多个边。

vertex: ID;
edge: vertex '->' vertex '(' NUM ')' ;
ID: [a-zA-Z]+;
NUM: [0-9]+;

以上四个规则说一个顶点至少应具有一个字符或多个字符。 边定义为两个顶点的集合，两个顶点之间用“->”分隔，并且在“（）”中包含一些数字。

我将语法语言命名为“ Graph”，因此一旦使用ANTLR生成Java类（即解析器和词法分析器），我们最终将看到以下类：GraphParser，GraphLexer，GraphListener和GraphBaseListener。 前两个类处理解析树的生成，后两个类处理解析树的遍历。 GraphListener是一个接口，其中包含处理解析树的所有方法，即处理事件（例如，输入规则，退出规则，访问终端节点），此外，还包含用于处理与输入图相关的事件的方法规则，输入边缘规则并输入顶点规则。 我们将利用这些方法来拦截dsl中存在的数据，然后填充语义模型。

填充语义模型

我在资源包中创建了一个文件graph.gr，其中包含用于填充图形的DSL。 由于资源包中的文件在运行时可供ClassLoader使用，因此我们可以使用ClassLoader读取DSL脚本，然后将其传递给Lexer和解析器类。 使用的DSL脚本是：

Graph {A -> B (10)B -> C (20)D -> E (30)A -> E (12)B -> D (8)
}

以及加载DSL并填充语义模型的代码：

//Please resolve the imports for the classes used.
public class GraphDslAntlrSample {public static void main(String[] args) throws IOException {//Reading the DSL scriptInputStream is = ClassLoader.getSystemResourceAsStream("resources/graph.gr");//Loading the DSL script into the ANTLR stream.CharStream cs = new ANTLRInputStream(is);//Passing the input to the lexer to create tokensGraphLexer lexer = new GraphLexer(cs);CommonTokenStream tokens = new CommonTokenStream(lexer);//Passing the tokens to the parser to create the parse trea. GraphParser parser = new GraphParser(tokens);//Semantic model to be populatedGraph g = new Graph();//Adding the listener to facilitate walking through parse tree. parser.addParseListener(new MyGraphBaseListener(g));//invoking the parser. parser.graph();Graph.printGraph(g);}
}/*** Listener used for walking through the parse tree.*/
class MyGraphBaseListener extends GraphBaseListener {Graph g;public MyGraphBaseListener(Graph g) {this.g = g;}@Overridepublic void exitEdge(GraphParser.EdgeContext ctx) {//Once the edge rule is exited the data required for the edge i.e //vertices and the weight would be available in the EdgeContext//and the same can be used to populate the semantic modelVertex fromVertex = new Vertex(ctx.vertex(0).ID().getText());Vertex toVertex = new Vertex(ctx.vertex(1).ID().getText());double weight = Double.parseDouble(ctx.NUM().getText());Edge e = new Edge(fromVertex, toVertex, weight);g.addEdge(e);}
}

执行上述操作时的输出为：

Vertices...
A B C D E 
Edges...
A to B with weight 10.0
B to C with weight 20.0
D to E with weight 30.0
A to E with weight 12.0
B to D with weight 8.0

总而言之，本文创建了一个外部DSL，用于通过使用ANTLR填充图形数据。 我将增强这种简单的DSL，并将其公开为实用程序，供从事图形工作的程序员使用。

这篇文章非常讲究概念和代码，您可以随意提出任何疑问，以便我也可以尝试解决这些问题，以使他人受益。

翻译自: https://www.javacodegeeks.com/2013/07/creating-external-dsls-using-antlr-and-java.html

antlr java