yq 配置文件格式转换工具

在现代开发和运维的世界中,处理和转换不同格式的数据文件如 YAML、JSON、XML、CSV 等是日常任务。文件格式的多样性和复杂性常常给开发者带来不小的挑战。在这种情况下,强大的命令行工具能够极大地简化工作流程,本文主要介绍一款基于Go实现处理 YAML、JSON、XML、CSV、TOML 的命令行工具yq。

1 安装 go yq

1)安装 go 编译器

yq 依赖的 go 版本是 1.21,需要安装 1.21 版本以上的 go 版本。

$ go version
go version go1.21.11 darwin/amd64

2)安装 go yq

$ go install github.com/mikefarah/yq/v4@latest
go install github.com/mikefarah/yq/v4@latest
go: downloading github.com/mikefarah/yq/v4 v4.44.2
go: downloading github.com/mikefarah/yq v2.4.0+incompatible
go: downloading github.com/spf13/cobra v1.8.0
go: downloading gopkg.in/op/go-logging.v1 v1.0.0-20160211212156-b2cb9fa56473
go: downloading github.com/a8m/envsubst v1.4.2
go: downloading github.com/dimchansky/utfbom v1.1.1
go: downloading github.com/elliotchance/orderedmap v1.6.0
go: downloading github.com/alecthomas/participle/v2 v2.1.1
go: downloading github.com/goccy/go-json v0.10.3
go: downloading github.com/goccy/go-yaml v1.11.3
go: downloading github.com/jinzhu/copier v0.4.0
go: downloading github.com/yuin/gopher-lua v1.1.1
go: downloading golang.org/x/net v0.26.0
go: downloading github.com/magiconair/properties v1.8.7
go: downloading golang.org/x/text v0.16.0
go: downloading golang.org/x/xerrors v0.0.0-20220907171357-04be3eba64a2
go: downloading golang.org/x/sys v0.21.0

安装完成后,可以通过以下命令验证:

yq --version

应该会看到类似以下的输出:

yq (https://github.com/mikefarah/yq/) version v4.44.2
2 基本用法

go yq 可以处理多种文件格式,以下是一些常见的用法示例:

读取 YAML 文件

假设有一个名为 example.yaml 的 YAML 文件,内容如下:

name: John Doe
age: 30
address:city: ExampleCityzip: 12345

可以使用 yq 读取这个文件的内容:

yq e . example.yaml

输出将是:

name: John Doe
age: 30
address:city: ExampleCityzip: 12345

 

读取 JSON 文件

假设有一个名为 example.json 的 JSON 文件,内容如下:

{"name": "John Doe","age": 30,"address": {"city": "ExampleCity","zip": 12345}
}

可以使用 yq 读取这个文件的内容:

yq e -o=json . example.json

输出将是:

{"name": "John Doe","age": 30,"address": {"city": "ExampleCity","zip": 12345}
}
转换格式

go yq 强大的一点在于它可以在多种格式之间转换。比如,你可以将 YAML 文件转换为 JSON 文件:

yq e -o=json . example.yaml

类似地,可以将 JSON 文件转换为 YAML 文件:

yq e -o=yaml . example.json
编辑文件

可以使用 yq 编辑文件内容。以下演示如何修改 example.yaml 文件中的值:

yq e '.age = 31' -i example.yaml

修改后的 example.yaml 文件内容将是:

name: John Doe
age: 31
address:city: ExampleCityzip: 12345
 查询数据

有时我们只需要获取文件中的某一部分数据,yq 提供了一种简单的查询方式。比如,可以查询 example.yaml 文件中的 address 字段:

yq e '.address' example.yaml

输出将是:

city: ExampleCity
zip: 12345
多文件处理

yq 还支持同时处理多个文件,比如合并两个 YAML 文件:

假设有两个文件 file1.yaml 和 file2.yaml,内容如下:

file1.yaml:

name: John Doe
age: 30

file2.yaml:

address:city: ExampleCityzip: 12345

可以使用以下命令将这两个文件合并:

yq eval-all 'select(fileIndex == 0) * select(fileIndex == 1)' file1.yaml file2.yaml

输出将是:

name: John Doe
age: 30
address:city: ExampleCityzip: 12345
使用嵌套命令

有时我们需要进行一些更复杂的操作,比如修改嵌套的值。假设我们需要修改 example.yaml 文件中 address.city 的值,可以使用嵌套命令:

yq e '.address.city = "NewCity"' -i example.yaml

修改后的文件内容将是:

name: John Doe
age: 30
address:city: NewCityzip: 12345
使用管道传输与其他命令组合

go yq 还可以与其他命令组合使用,充分利用管道传输数据。比如,可以结合 jq 命令处理 JSON 文件:

cat example.json | yq e -o=json '.' | jq '.name'

输出将是:

"John Doe"
进阶用法和扩展
自定义函数

go yq 支持自定义函数,我们可以在处理文件时执行自定义逻辑。以下是一个简单的例子,创建一个自定义函数将所有字符串转换为大写:

yq e 'def uppercase: map_values(if type == "!!str" then (. | upcase) else . end); . ' example.yaml
使用正则表达式

go yq 支持使用正则表达式进行复杂的过滤和替换操作。假设我们需要替换所有以 J 开头的名字,可以使用以下命令:

yq e '(.name | select(. == "John Doe") | sub("John", "Jane"))' example.yaml
 结合自动化工具

将 go yq 结合到自动化工具如 Makefile 或 CI/CD 管道中,可以极大地提升自动化程度和效率。例如,可以在 Makefile 中定义一个任务处理 YAML 文件:

process_yaml:yq e '.version += 1' -i example.yaml

在 CI/CD 管道中,可以使用如下步骤:

jobs:process_yaml:runs-on: ubuntu-lateststeps:- name: Checkout codeuses: actions/checkout@v2- name: Install yqrun: go install github.com/mikefarah/yq/v4@latest- name: Process YAMLrun: yq e '.version += 1' -i example.yaml
总结

go yq 是一个强大而灵活的命令行工具,适用于处理多种文件格式如 YAML、JSON、XML、CSV、TOML 和属性文件。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/32746.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

docker中mysql突然无法连接设置

参考地址解决:连接不上 docker中的mysql_thinkphp6 连不上 docker mysql-CSDN博客

Python中使用PyQT5库时报错:没有Qt平台插件可以初始化

一、发现问题:无限易pythonGo打开执行的时候报:“没有Qt平台插件可以初始化,请重新安装应用程序。”的错误,点击确定后无限易崩溃闪退。 二、解决问题: 1、重新安装依赖,打开CMD输入pip list,查…

Leetcode3185. 构成整天的下标对数目 II

Every day a Leetcode 题目来源&#xff1a;3185. 构成整天的下标对数目 II 解法1&#xff1a;哈希 本质思路类同经典的“两数之和”。枚举右&#xff0c;用哈希表维护左。 枚举 j&#xff0c;并维护 cnt[x] 表示所有满足 i < j 的下标 i 中&#xff0c;有几个 hours[i]…

初识 SpringMVC,运行配置第一个Spring MVC 程序

1. 初识 SpringMVC&#xff0c;运行配置第一个Spring MVC 程序 文章目录 1. 初识 SpringMVC&#xff0c;运行配置第一个Spring MVC 程序1.1 什么是 MVC 2. Spring MVC 概述2.1 Spring MVC 的作用&#xff1a; 3. 运行配置第一个 Spring MVC 程序3.1 第一步&#xff1a;创建Mave…

c++中log4cplus日志库引用

c中log4cplus日志库引用 源码地址:编译及安装主要能力&#xff1a;使用 log4cplus 的基本步骤和示例代码使用示例&#xff1a;标准使用示例&#xff1a;简洁使用示例&#xff1a;异步模式使用&#xff1a; Log4cplus是一个C的日志库&#xff0c;它提供了灵活的日志记录功能&…

基于CDMA的多用户水下无线光通信(1)——背景介绍

研究生期间做多用户水下无线光通信&#xff08;Underwater Optical Wireless Communication&#xff0c;UOWC&#xff09;&#xff0c;写几篇博客分享一下学的内容。导师给了大方向&#xff0c;让我用直接序列码分多址&#xff08;Direct Sequence Code Division Multiple Acce…

创建指定数值范围的数组

导入numpy import numpy as np 1. 创建指定数值范围的数组 数值范围[1, 12)&#xff0c;步长为2 # start 表示开始值 stop 表示结束值 step 表示步长 n1 np.arange(1,12,2) n1 2. 创建等差的数组 7500-10000&#xff0c;6等分&#xff0c;结束点包含 # linspace: …

塞贝壳效应

塞贝克效应&#xff08;Seebeck effect&#xff09;&#xff0c;通常被称为第一热电效应&#xff0c;是由托马斯约翰塞贝克&#xff08;Thomas Johann Seebeck&#xff09;在1821年发现的一种热电现象。这个效应描述了当两种不同的导体或半导体在它们的接点处有温度差时&#x…

containerd手动配置容器网络

containerd手动配置容器网络 机器详情nerdctl启动一个不带网络的容器获取容器ID、PID与network namespace路径准备bridge插件的执行配置文件通过下面的命令调用bridge插件准备tuning插件文件执行下面的命令调用tuning插件准备portmap插件文件执行下面的命令调用portmap插件删除…

SFF1006A-ASEMI无人机专用SFF1006A

编辑&#xff1a;ll SFF1006A-ASEMI无人机专用SFF1006A 型号&#xff1a;SFF1006A 品牌&#xff1a;ASEMI 封装&#xff1a;TO-220F 最大平均正向电流&#xff08;IF&#xff09;&#xff1a;10A 最大循环峰值反向电压&#xff08;VRRM&#xff09;&#xff1a;600V 最大…

富文本编辑器CKEditor

介绍 富文本编辑器不同于文本编辑器,它提供类似于 Microsoft Word 的编辑功能 在Django中,有可以现成的富文本三方模块django-ckeditor,具体安排方式: pip install django-ckeditor==6.5.1官网:Django CKEditor — Django CKEditor 6.7.0 documentation 使用方式 创建项…

QT事件处理系统之三:子类化QPushButton后,对事件进行相应处理后,自定义按钮无法发出clicked信号的问题

1、信号槽绑定 如下,Widget中进行了SelfButton按钮的信号槽绑定。 Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi

Kubernetes之Pod详解

如何更好的使用好Pod&#xff1f;本文尝试从Pod组成、Namespace共享、控制器实现原理及Pod设计原则4个方面对Pod的使用进行详细阐述&#xff0c;希望对您 一、 Kubernetes Pod介绍 在 Kubernetes 中&#xff0c;Pod 是最小的可部署单元&#xff0c;包含一个或多个容器。Pod 提…

VBA学习(17):使用条件格式制作Excel聚光灯

今天给大家分享的表格小技巧是制作聚光灯。 先说一下啥是聚光灯。所谓聚光灯&#xff0c;可以简单理解为对工作表的行列填充颜色&#xff0c;突出显示被选中的单元格&#xff0c;仿佛该单元格被聚光灯照亮似的。聚光灯有助于肉眼识别所选中的单元格或区域&#xff0c;提高数据…

WHAT - NextJS 系列之 Rendering - Server Components

目录 一、Server Components1.1 Server Components特点使用 1.2 Client Components特点使用 1.3 综合使用示例1.4 小结 二、Server Components 优势三、Streaming 特性3.1 基本介绍和使用Streaming的理解工作原理使用示例服务器端组件客户端组件页面流程解释 3.2 HTTP/1.1和HTT…

【启明智显产品介绍】工业级HMI芯片Model3C详解(二)图像显示

Model3C芯片国产自主的工业级高清显示与智能控制 MCU&#xff0c;配备强大的 2D 图形加速处理器、PNG/JPEG 解码引擎&#xff0c;可以满足多种交互设计场景和多媒体互动需求&#xff0c;具备高可靠性、高开放性&#xff0c;可广泛应用于工业自动化控制、HMI人机交互、串口屏、智…

拖拽劫持与数据窃取

2010 年&#xff0c;ClickJacking 技术有了新的发展。一位名叫 Paul Stone 的安全研究者在 BlackHat 2010 大会上发表了题为“Next Generation Clickjacking”的演讲。在该演讲中&#xff0c;提出了“浏览器 拖拽事件”导致的一些安全问题。 目前很多浏览器都开始支持 Drag &a…

构造函数实现依赖注入

构造函数注入是依赖注入&#xff08;Dependency Injection&#xff09;的一种形式&#xff0c;它允许您在创建对象时&#xff0c;将对象所需的依赖项通过构造函数传递给它&#xff0c;而不是在对象内部自己创建或查找这些依赖项。这有助于增强代码的可测试性和可维护性&#xf…

【database2】redis:优化/备份/订阅

文章目录 1.redis安装&#xff1a;加载.conf2.操作&#xff1a;set/get&#xff0c;push/pop&#xff0c;add/rem3.Jedis&#xff1a;java程序连接redis&#xff0c;拿到jedis4.案例_好友列表&#xff1a;json om.4.1 前端&#xff1a;index.html4.2 web&#xff1a;FriendSer…

谈谈面试常考题:懒加载,防抖,节流(方法实现详解)

前言 最近在学习中确实收获了挺多东西&#xff0c;其中我觉得有必要拿来进行分享一下的就是懒加载了&#xff0c;还有相关的防抖和节流。因为在浏览器中这些都是属于很常见的性能优化&#xff0c;面试也是常考题。话不多说&#xff0c;速度发车。 什么是懒加载&#xff1f;懒…