C语言第三方库Melon开箱即用之词法分析器使用

之前的文章中，笔者介绍了Linux/UNIX C语言库Melon的基本功能及框架使用。

本文将介绍Melon中的词法分析器组件。

Melon的Github仓库为：https://github.com/Water-Melon/Melon
在这里插入图片描述

词法分析器在Melon中并不依赖于自身框架，因此可以在不初始化框架的情况下即可使用。

基础使用

我们先来看一个基本例子：

//lexer.c#include <stdio.h>
#include "mln_lex.h"MLN_DEFINE_TOKEN_TYPE_AND_STRUCT(static, mln_test, TEST);
MLN_DEFINE_TOKEN(mln_test, TEST);int main(int argc, char *argv[])
{if (argc != 2) {fprintf(stderr, "Usage: %s file_path\n", argv[0]);return -1;}mln_string_t path;mln_lex_t *lex = NULL;struct mln_lex_attr lattr;mln_test_struct_t *ts;mln_string_nSet(&path, argv[1], strlen(argv[1]));lattr.pool = mln_alloc_init();if (lattr.pool == NULL) {fprintf(stderr, "init memory pool failed\n");return -1;}lattr.keywords = NULL;lattr.hooks = NULL;lattr.preprocess = 0;lattr.padding = 0;lattr.type = M_INPUT_T_FILE;lattr.data = &path;lattr.env = NULL;mln_lex_initWithHooks(mln_test, lex, &lattr);if (lex == NULL) {fprintf(stderr, "lexer init failed\n");return -1;}while (1) {ts = mln_test_token(lex);if (ts == NULL || ts->type == TEST_TK_EOF)break;write(STDOUT_FILENO, ts->text->data, ts->text->len);printf(" line:%u type:%d\n", ts->line, ts->type);}mln_lex_destroy(lex);mln_alloc_destroy(lattr.pool);return 0;
}

如此，即可完成一个词法解析器程序，它读取程序的参数所指定的文件的内容，然后解析成词素，并将其打印出来。

我们执行：

$ ./lexer lexer.c/ line:1 type:21
/ line:1 type:21
lexer line:1 type:5
. line:1 type:20
c line:1 type:5
# line:3 type:9
include line:3 type:5
< line:3 type:24
stdio line:3 type:5
. line:3 type:20
h line:3 type:5
> line:3 type:26
...

可以看到，这个程序将我们的示例C程序拆解成各种词素，如：/，#，<等等。

进阶使用

上面的例子可以看到，基础的词法解析器解析出的词素过于细碎，有时我们还希望解析器支持我们自定义的关键字、自定义格式的数据，甚至是一些预处理功能，例如引入其他文件的内容解析词素。

那么，我们就将上面的例子进行一番修改：

//lexer.c#include <stdio.h>
#include "mln_lex.h"mln_string_t keywords[] = {mln_string("on"),mln_string("off"),mln_string(NULL)
};MLN_DEFINE_TOKEN_TYPE_AND_STRUCT(static, mln_test, TEST, TEST_TK_ON, TEST_TK_OFF, TEST_TK_STRING);
MLN_DEFINE_TOKEN(mln_test, TEST, {TEST_TK_ON, "TEST_TK_ON"}, {TEST_TK_OFF, "TEST_TK_OFF"}, {TEST_TK_STRING, "TEST_TK_STRING"});static inline int
mln_get_char(mln_lex_t *lex, char c)
{if (c == '\\') {char n;if ((n = mln_lex_getAChar(lex)) == MLN_ERR) return -1;switch ( n ) {case '\"':if (mln_lex_putAChar(lex, n) == MLN_ERR) return -1;break;case '\'':if (mln_lex_putAChar(lex, n) == MLN_ERR) return -1;break;case 'n':if (mln_lex_putAChar(lex, '\n') == MLN_ERR) return -1;break;case 't':if (mln_lex_putAChar(lex, '\t') == MLN_ERR) return -1;break;case 'b':if (mln_lex_putAChar(lex, '\b') == MLN_ERR) return -1;break;case 'a':if (mln_lex_putAChar(lex, '\a') == MLN_ERR) return -1;break;case 'f':if (mln_lex_putAChar(lex, '\f') == MLN_ERR) return -1;break;case 'r':if (mln_lex_putAChar(lex, '\r') == MLN_ERR) return -1;break;case 'v':if (mln_lex_putAChar(lex, '\v') == MLN_ERR) return -1;break;case '\\':if (mln_lex_putAChar(lex, '\\') == MLN_ERR) return -1;break;default:mln_lex_setError(lex, MLN_LEX_EINVCHAR);return -1;}} else {if (mln_lex_putAChar(lex, c) == MLN_ERR) return -1;}return 0;
}static mln_test_struct_t *
mln_test_dblq_handler(mln_lex_t *lex, void *data)
{mln_lex_cleanResult(lex);char c;while ( 1 ) {c = mln_lex_getAChar(lex);if (c == MLN_ERR) return NULL;if (c == MLN_EOF) {mln_lex_setError(lex, MLN_LEX_EINVEOF);return NULL;}if (c == '\"') break;if (mln_get_char(lex, c) < 0) return NULL;}return mln_test_new(lex, TEST_TK_STRING);
}int main(int argc, char *argv[])
{if (argc != 2) {fprintf(stderr, "Usage: %s file_path\n", argv[0]);return -1;}mln_string_t path;mln_lex_t *lex = NULL;struct mln_lex_attr lattr;mln_test_struct_t *ts;mln_lex_hooks_t hooks;memset(&hooks, 0, sizeof(hooks));hooks.dblq_handler = (lex_hook)mln_test_dblq_handler;mln_string_nSet(&path, argv[1], strlen(argv[1]));lattr.pool = mln_alloc_init();if (lattr.pool == NULL) {fprintf(stderr, "init pool failed\n");return -1;}lattr.keywords = keywords;lattr.hooks = &hooks;lattr.preprocess = 1;//支持预处理lattr.padding = 0;lattr.type = M_INPUT_T_FILE;lattr.data = &path;lattr.env = NULL;mln_lex_initWithHooks(mln_test, lex, &lattr);if (lex == NULL) {fprintf(stderr, "lexer init failed\n");return -1;}while (1) {ts = mln_test_token(lex);if (ts == NULL || ts->type == TEST_TK_EOF)break;write(STDOUT_FILENO, ts->text->data, ts->text->len);printf(" line:%u type:%d\n", ts->line, ts->type);}mln_lex_destroy(lex);mln_alloc_destroy(lattr.pool);return 0;
}

这一次，我们增加如下功能：

  • 支持关键字 on和off
  • 支持识别双引号扩住的内容为字符串类型
  • 增加了预处理功能，例如引入其他文件内容

生成可执行程序：

$ cc -o a a.c -I /usr/local/melon/include/ -L /usr/local/melon/lib/ -lmelon -lpthread

创建两个测试文件：

a.ini
#include "b.ini"
test_mode = on
log_level = 'debug'
proc_num = 10
b.ini
conf_name = "b.ini"

运行我们的程序来看看效果：

$ ./lexer a.iniconf_name line:1 type:5
= line:1 type:25
b.ini line:1 type:42
test_mode line:2 type:5
= line:2 type:25
on line:2 type:40
log_level line:3 type:5
= line:3 type:25
' line:3 type:13
debug line:3 type:5
' line:3 type:13
proc_num line:4 type:5
= line:4 type:25
10 line:4 type:2

可以看到，在a.ini中写入include的部分，是b.ini文件内容解析后的词素。并且on和off都被正常解析出来了。且字符串也被正常处理出来了。

Melon的Github仓库为：https://github.com/Water-Melon/Melon

感谢阅读

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/602797.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

详解Keras3.0 Callbacks API : TensorBoard（可视化工具）

详解Keras3.0 Callbacks API : TensorBoard（可视化工具）

TensorBoard TensorBoard是TensorFlow提供的可视化工具。需要安装TensorFlow才能使用此回调。此回调记录TensorBoard的事件&#xff0c;包括&#xff1a;度量汇总图、训练图可视化、重量直方图、采样剖面。 keras.callbacks.TensorBoard(log_dir"logs",histogram_…
阅读更多...
docker部署simpleDocker

docker部署simpleDocker

1&#xff0c;安装docker&#xff0c;请参考 linux安装docker 2&#xff0c;安装docker-compose&#xff0c;请参考 Docker-Compose 3&#xff0c;安装simpleDocker 准备docker-compose.yml文件 version: 3 services:redis:container_name: redisimage: redis:latestweb:conta…
阅读更多...
imgaug库指南（八）：从入门到精通的【图像增强】之旅

imgaug库指南（八）：从入门到精通的【图像增强】之旅

引言 在深度学习和计算机视觉的世界里&#xff0c;数据是模型训练的基石&#xff0c;其质量与数量直接影响着模型的性能。然而&#xff0c;获取大量高质量的标注数据往往需要耗费大量的时间和资源。正因如此&#xff0c;数据增强技术应运而生&#xff0c;成为了解决这一问题的…
阅读更多...
mysql原理--事务

mysql原理--事务

1.事务的起源 对于大部分程序员来说&#xff0c;他们的任务就是把现实世界的业务场景映射到数据库世界。比如银行为了存储人们的账户信息会建立一个 account 表&#xff1a; CREATE TABLE account (id INT NOT NULL AUTO_INCREMENT COMMENT 自增id,name VARCHAR(100) COMMENT …
阅读更多...
excel统计分析——两因素有重复方差分析

excel统计分析——两因素有重复方差分析

参考资料&#xff1a;生物统计学 无重复观测值的两因素方差分析只能研究两个因素的主效应&#xff0c;不能考察因素间的交互作用&#xff0c;只有在确定因素间不存在交互作用时才能进行无重复观测值的试验和分析。为了准确估计因素的主效应、交互作用和随机误差&#xff0c;每个…
阅读更多...
061：vue中通过map修改一维数组，增加一些变量

061：vue中通过map修改一维数组，增加一些变量

第061个 查看专栏目录: VUE ------ element UI 专栏目标 在vue和element UI联合技术栈的操控下&#xff0c;本专栏提供行之有效的源代码示例和信息点介绍&#xff0c;做到灵活运用。 &#xff08;1&#xff09;提供vue2的一些基本操作&#xff1a;安装、引用&#xff0c;模板使…
阅读更多...
K8S-应用部署

K8S-应用部署

1 应用管理解读 2 应用部署实践 资源对象管理关系 资源对象管理实践 手工方式&#xff1a; kubectl run pod名称 --imageimage地址资源清单方式: apiVersion: v1 kind: Pod metadata:labels:run: my-podname: my-pod spec:containers:- image: kubernetes-register.sswang.co…
阅读更多...
jenkins安装报错：No such plugin: cloudbees-folder

jenkins安装报错：No such plugin: cloudbees-folder

jenkins安装报错&#xff1a;No such plugin: cloudbees-folder 原因是缺少cloudbees-folder.hpi插件 解决&#xff1a; 一&#xff0c;重新启动 http://xxx:8800/restart 二&#xff0c;跳到重启界面时&#xff0c;点击系统设置 三&#xff0c;找到安装插件&#xff0c;然…
阅读更多...
1-03C语言超基础语法

1-03C语言超基础语法

一、概述 为了更好的进行后续的课程&#xff0c;避免出现"老师&#xff0c;我还没学过的东西&#xff0c;你怎么直接用&#xff1f;"诸如此类疑问&#xff0c;本小节就诞生了。 实际上&#xff0c;整个第一个大章节的所有小节都是"C语言基础语法"&#x…
阅读更多...
动手学深度学习之卷积神经网络之池化层

动手学深度学习之卷积神经网络之池化层

池化层 卷积层对位置太敏感了&#xff0c;可能一点点变化就会导致输出的变化&#xff0c;这时候就需要池化层了&#xff0c;池化层的主要作用就是缓解卷积层对位置的敏感性 二维最大池化 这里有一个窗口&#xff0c;来滑动&#xff0c;每次我们将窗口中最大的值给拿出来 还是上…
阅读更多...
【REST2SQL】02 GO连接Oracle数据库

【REST2SQL】02 GO连接Oracle数据库

Oracle数据库我用的最多&#xff0c;先研究Oracle,Go连接Oracle并实现REST和SQL服务。 1 Oracle数据库的安装 我这里安装使用的是Oracle 11g , 安装过程省略5217字。 2 安装Go-ora依赖 go get github.com/sijms/go-ora/v2 安装成功后在GOPATH目录可见&#xff1a; 3 创建一…
阅读更多...
基于ElementUI封装的下拉树选择可搜索单选多选清空功能

基于ElementUI封装的下拉树选择可搜索单选多选清空功能

效果&#xff1a; 组件代码 /*** 树形下拉选择组件&#xff0c;下拉框展示树形结构&#xff0c;提供选择某节点功能&#xff0c;方便其他模块调用* author wy* date 2024-01-03 * 调用示例&#xff1a;* <tree-select * :height"400" // 下拉框中树形高度* …
阅读更多...
【数据结构】二叉树的概念及堆

【数据结构】二叉树的概念及堆

前言 我们已经学过了顺序表、链表、栈和队列这些属于线性结构的数据结构&#xff0c;那么下面我们就要学习我们第一个非线性结构&#xff0c;非线性结构又有哪些值得我们使用的呢&#xff1f;那么接下来我们就将谈谈树的概念了。 1.树的概念与结构 1.1树的概念 树是一种非线性…
阅读更多...
python数据可视化之折线图案例讲解

python数据可视化之折线图案例讲解

学习完python基础知识点&#xff0c;终于来到了新的模块——数据可视化。 我理解的数据可视化是对大量的数据进行分析以更直观的形式展现出来。 今天我们用python数据可视化来实现一个2023年三大购物平台销售额比重的折线图。 准备工作&#xff1a;我们需要下载用于生成图表的第…
阅读更多...
2024苹果Mac电脑免费文件数据恢复软件EasyRecovery

2024苹果Mac电脑免费文件数据恢复软件EasyRecovery

EasyRecovery是一个操作安全、价格便宜、用户自主操作的非破坏性的只读应用程序&#xff0c;它不会往源驱上写任何东西&#xff0c;也不会对源驱做任何改变&#xff01;EasyRecovery是一个操作安全、价格便宜、用户自主操作的非破坏性的只读应用程序&#xff0c;它不会往源驱上…
阅读更多...
Android 15即将到来，或将推出5大新功能特性

Android 15即将到来，或将推出5大新功能特性

Android15 OneUI电池优化 三星最近完成了对其所有设备的稳定版 One UI 6.0 更新的推出&#xff0c;引起了用户的极大兴奋。据新出现的互联网统计数据显示&#xff0c;即将发布的基于 Android 15 的 One UI 7 将通过优化电池和功耗来重新定义用户体验&#xff0c;这是一项具有突…
阅读更多...
【开源项目】WPF 扩展组件 -- Com.Gitusme.Net.Extensiones.Wpf

【开源项目】WPF 扩展组件 -- Com.Gitusme.Net.Extensiones.Wpf

一、项目简介 Com.Gitusme.Net.Extensiones.Wpf 是一款 Wpf 扩展组件。基于.Net Core 3.1 开发&#xff0c;当前最新 1.0.1 版本。包含 核心扩展库&#xff08;Com.Gitusme.Net.Extensiones.Core&#xff09;、视频渲染&#xff08;Com.Gitusme.Media.Video&#xff09;、串口…
阅读更多...
基于多反应堆的高并发服务器【C/C++/Reactor】（中）线程池的启动和从线程池中取出一个反应堆实例

基于多反应堆的高并发服务器【C/C++/Reactor】（中）线程池的启动和从线程池中取出一个反应堆实例

一、线程池的启动 &#xff08;主线程&#xff09; // 启动线程池 &#xff08;主线程&#xff09; void threadPoolRun(struct ThreadPool* pool) {/*线程池被创建出来之后&#xff0c;接下来就需要让线程池运行起来&#xff0c;其实就是让线程池里的若干个子线程运行起来*//…
阅读更多...
小微企业在银行信贷相关产品和机器学习建模案例_论文科研_企业调研

小微企业在银行信贷相关产品和机器学习建模案例_论文科研_企业调研

各银行小微企业贷款业务 互联网的时代&#xff0c;大量新信息技术的涌现和网络的无处不在&#xff0c;想要抢占这片金融天地&#xff0c;必须重视小微金融业务&#xff0c;小微企业是一直具有重大潜力的客户&#xff0c;商业银行、消金公司发展小微信贷业务可以拓宽自身客户群…
阅读更多...
系统学英语 — 音标音节 — 能读就能写

系统学英语 — 音标音节 — 能读就能写

目录 文章目录 目录概览12 个单元音8 个双元音28 个辅音音节 概览 12 个单元音 序号发音音标助记字母组合备注1拖长音 前腔[i:]eate、ea、ee、ie2短促音 前腔[i]bige、i、y3拖长音 后腔[a:]aska、ar4短促音 中腔[ʌ]runu、o、ou、oo5拖长音 中腔[ə:]earlyer、ir、or、ur…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023