Go语言从零构建SQL数据库(4)-解析器

SQL解析器：数据库的"翻译官"图解与代码详解

图解SQL解析过程

SQL解析器就像是人类语言与计算机之间的翻译官，将我们书写的SQL语句转换成数据库能够理解和执行的结构。

1. 词法分析：从文本到标记

词法分析器的工作就像是将一段完整的句子拆分成单词和标点符号。对于SQL语句 SELECT id, name FROM users WHERE age > 18：

词法分析器核心代码示例

词法分析器读取SQL文本，按字符处理，输出标记序列：

// 词法分析器核心代码 - 简化展示
func (l *Lexer) NextToken() Token {// 跳过空白字符l.skipWhitespace()// 根据当前字符判断Token类型switch l.ch {case '=':                                  // 识别等号return Token{Type: EQUAL, Literal: "="}case ',':                                  // 识别逗号return Token{Type: COMMA, Literal: ","}case '>':                                  // 识别大于号return Token{Type: GREATER, Literal: ">"}// ... 其他特殊字符处理default:if isLetter(l.ch) {                    // 识别关键字或标识符literal := l.readIdentifier()tokenType := lookupKeyword(literal) // 判断是否是关键字return Token{Type: tokenType, Literal: literal}} else if isDigit(l.ch) {              // 识别数字return Token{Type: NUMBER, Literal: l.readNumber()}}}
}

这段代码展示了词法分析器如何一个字符一个字符地读取SQL文本，并根据字符类型创建不同的标记。

2. 语法分析：构建有意义的结构

语法分析器接收标记流，根据SQL语法规则构建语句结构：

语法分析的入口代码

语法分析器根据第一个标记判断SQL语句类型，并分派给相应的处理函数：

// 语法分析入口 - 判断SQL语句类型
func (p *Parser) Parse() (ast.Statement, error) {switch p.currToken.Type {case lexer.SELECT:                         // 处理SELECT语句return p.parseSelectStatement()case lexer.INSERT:                         // 处理INSERT语句return p.parseInsertStatement()case lexer.UPDATE:                         // 处理UPDATE语句return p.parseUpdateStatement()case lexer.DELETE:                         // 处理DELETE语句return p.parseDeleteStatement()case lexer.CREATE:                         // 处理CREATE语句if p.peekTokenIs(lexer.TABLE) {return p.parseCreateTableStatement()}return nil, fmt.Errorf("不支持的CREATE语句")case lexer.DROP:                           // 处理DROP语句if p.peekTokenIs(lexer.TABLE) {return p.parseDropTableStatement()}return nil, fmt.Errorf("不支持的DROP语句")default:return nil, fmt.Errorf("不支持的SQL语句类型: %s", p.currToken.Literal)}
}

SELECT语句的解析流程

解析SELECT语句的代码展示了如何逐步构建语句结构：

// SELECT语句解析 - 关键步骤
func (p *Parser) parseSelectStatement() (*ast.SelectStatement, error) {stmt := &ast.SelectStatement{}           // 初始化空的SELECT语句节点p.nextToken()                            // 跳过SELECT关键字// 1. 解析列名列表columns, err := p.parseExpressionList(lexer.COMMA)if err != nil {return nil, err}stmt.Columns = columns                   // 设置选择的列// 2. 解析FROM子句和表名if !p.expectPeek(lexer.FROM) {           // 期望下一个标记是FROMreturn nil, fmt.Errorf("期望FROM，但得到%s", p.peekToken.Literal)}p.nextToken()                            // 跳过FROMif !p.currTokenIs(lexer.IDENTIFIER) {    // 期望当前标记是标识符(表名)return nil, fmt.Errorf("期望表名，但得到%s", p.currToken.Literal)}stmt.TableName = p.currToken.Literal     // 设置表名// 3. 解析WHERE子句(可选)p.nextToken()if p.currTokenIs(lexer.WHERE) {p.nextToken()                        // 跳过WHEREexpr, err := p.parseExpression(LOWEST) // 解析条件表达式if err != nil {return nil, err}stmt.Where = expr                    // 设置WHERE条件}return stmt, nil                         // 返回完整的SELECT语句节点
}

3. 抽象语法树(AST)：SQL的结构化表示

抽象语法树是SQL语句的树状结构表示，每个节点代表语句的一个组成部分。

AST的基本节点类型

// AST核心接口定义
type Node interface {                        // 所有AST节点的基础接口TokenLiteral() string                    // 返回节点对应的词法单元字面值String() string                          // 返回节点的字符串表示
}type Statement interface {                   // SQL语句节点NodestatementNode()                          // 标记方法，表明这是语句节点
}type Expression interface {                  // 表达式节点NodeexpressionNode()                         // 标记方法，表明这是表达式节点
}

示例：SELECT语句的AST图解

对于 SELECT id, name FROM users WHERE age > 18：

AST节点的定义

AST节点类型展示了如何用代码表示SQL的各个组成部分：

// SELECT语句节点定义
type SelectStatement struct {Columns     []Expression        // 选择的列列表，如 id, nameTableName   string              // 查询的表名，如 usersTableAlias  string              // 表别名，如 uWhere       Expression          // WHERE条件，如 age > 18
}// 二元表达式节点（用于WHERE条件等）
type BinaryExpression struct {Left      Expression            // 左操作数Operator  TokenType             // 操作符（如 >, =, AND）Right     Expression            // 右操作数
}// 标识符节点（列名、表名等）
type Identifier struct {Value    string                 // 标识符的名称，如 "id", "users"
}