高效配置Python应用:使用Hydra探索新视野

简介:Python开发中经常面临如何管理大量配置参数的困扰Python库 - Hydra,它由Facebook研究团队开发,并旨在帮助开发者简化应用配置的复杂性。作为一个开源Python库,设计用来帮助开发者更高效地创建、组织和管理复杂的应用程序配置。无论是需要处理大量配置参数的大型项目,还是需要快速改变配置用于多个环境和实验的小型项目,Hydra都能够胜任。

历史攻略:

任务编排和调度神器:Apache Airflow

主要特点:

易于使用:Hydra的使用方法非常直观,并且易于理解和实现。
强大的覆盖能力:Hydra允许开发者在运行时改变配置,这在多环境开发和实验性任务中非常有用。
层级配置:Hydra支持以层级的方式组织配置,使得配置更加清晰,便于管理。
插件系统:Hydra提供一个插件系统,使得开发者可以根据需要扩展Hydra的功能。

安装:

pip install hydra-core --upgrade

案例源码:

# -*- coding: utf-8 -*-
# time: 2023/06/16 18:36
# file: hy_demo.py
# 公众号: 玩转测试开发
from omegaconf import DictConfig, OmegaConf
import hydra@hydra.main(config_path="conf", config_name="config")
def my_app(cfg: DictConfig) -> None:print(OmegaConf.to_yaml(cfg))print(cfg.db.driver)  # 输出: mysqlprint(cfg.db.user)  # 输出: testprint(cfg.db.password)  # 输出: secretif __name__ == "__main__":my_app()

python源码同级目录下:新建conf目录,新建文件 config.yaml

db:driver: mysqluser: testpassword: secret

运行结果:

(base) [root@ci4vyvxi572ysx2s hy]# python3 hy_demo.py 
/home/tom/work/hy/hy_demo.py:9: UserWarning: 
The version_base parameter is not specified.
Please specify a compatability version level, or None.
Will assume defaults for version 1.1@hydra.main(config_path="conf", config_name="config")
/root/miniconda3/lib/python3.9/site-packages/hydra/_internal/hydra.py:119: UserWarning: Future Hydra versions will no longer change working directory at job runtime by default.
See https://hydra.cc/docs/1.2/upgrades/1.1_to_1.2/changes_to_job_working_dir/ for more information.ret = run_job(
db:driver: mysqluser: testpassword: secretmysql
test
secret

Hydra的运行时参数覆盖功能允许我们在运行程序时直接更改配置参数,而无需更改配置文件。

案例2:命令将更改db.driver的值为postgres,db.user的值为admin,db.password的值为pass。

python hy_demo.py db.driver=postgres db.user=admin db.password=pass

运行结果:

(base) [root@ci4vyvxi572ysx2s hy]# python3 hy_demo.py db.driver=postgres db.user=admin db.password=pass
/home/tom/work/hy/hy_demo.py:9: UserWarning: 
The version_base parameter is not specified.
Please specify a compatability version level, or None.
Will assume defaults for version 1.1@hydra.main(config_path="conf", config_name="config")
/root/miniconda3/lib/python3.9/site-packages/hydra/_internal/hydra.py:119: UserWarning: Future Hydra versions will no longer change working directory at job runtime by default.
See https://hydra.cc/docs/1.2/upgrades/1.1_to_1.2/changes_to_job_working_dir/ for more information.ret = run_job(
db:driver: postgresuser: adminpassword: passpostgres
admin
pass

总结:Hydra是一个非常强大的配置管理工具,它可以帮助我们更高效地管理复杂的Python应用配置。不管是在开发大型项目,还是在进行小规模实验,Hydra都能成为得力助手。如果对Hydra有任何问题或者想要了解更多的信息,欢迎在评论区留言讨论。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/191220.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

async/await的实现原理(手动实现)

为什么要引入async/await操作符? 对于js的异步编程场景,无论是使用xhr回调还是promise回调,当异步操作过多并且每个动作之间存在依赖关系(即需要串行执行)时,代码的可读性和维护性会变得很差。async/await…

华为OD机试真题-两个字符串间的最短路径问题-2023年OD统一考试(C卷)

题目描述: 给定两个字符串,分别为字符串A与字符串B。例如A字符串为ABCABBA,B字符串为CBABAC可以得到下图m*n的二维数组,定义原点为(0, 0),终点为(m, n),水平与垂直的每一条边距离为1,映射成坐标系如下图。 从原点(0, 0)到(0, A)为水平边,距离为1,从(0, A)到(A, C)为垂…

Selenium page object模式Python

目录 概述 优点 示例 项目结构: 基础页面类BasePage 业务页面类BaiduHomePage 测试类test_baidu: 文件工具类file_util 运行日志: 测试结果: 概述 在web应用程序的UI中,有一些区域可以与测试交互。页面对象…

数据表没有主键进行自关联

需求: 大数据环境,特别的hive的表,很多是没有主键的。有时候sql查询的时候,需要自关联,这就需要根据数据采用不同的方案 自关联 数据表test(id,name,age),如果有主键id,自关联sql如下 select * from test…

acwing算法基础之贪心--排序不等式、绝对值不等式和推公式

目录 1 基础知识2 模板3 工程化 1 基础知识 暂无。。。 2 模板 暂无。。。 3 工程化 题目1:排队打水。给定N个数,表示装满每个桶所需的时间,请你安排打水顺序,使得等待时间最小,并输出该最小值。 解题思路&#…

Kubernetes sample-controller 例子介绍

sample-controller sample-controller 是 K8s 官方自定义 CDR 及控制器是实现的例子 通过使用这个自定义 CDR 控制器及阅读它的代码,基本可以了解如何制作一个 CDR 控制器 CDR 运作原理 网上有更好的文章,说明其运作原理: https://www.z…

【虚拟机】Docker基础 【二】

2.2.数据卷 容器是隔离环境,容器内程序的文件、配置、运行时产生的容器都在容器内部,我们要读写容器内的文件非常不方便。大家思考几个问题: 如果要升级MySQL版本,需要销毁旧容器,那么数据岂不是跟着被销毁了&#x…

微信小程序实现打分效果代码整理

一、微信小程序点击对应点击高亮 js代码 Page({data: {list: [1, 2, 3, 4, 5],active: 0},itemClickOne(e){var nume.currentTarget.dataset.value;this.setData({active:num});}, }) wxml代码 <view class"list"><view class"item {{itemactive?…

IDC MarketScape2023年分布式数据库报告:OceanBase位列“领导者”类别,产品能力突出

12 月 1 日&#xff0c;全球领先的IT市场研究和咨询公司 IDC 发布《IDC MarketScape:中国分布式关系型数据库2023年厂商评估》&#xff08;Document number:# CHC50734323&#xff09;。报告认为&#xff0c;头部厂商的优势正在扩大&#xff0c;OceanBase 位列“领导者”类别。…

C#语言高阶开发

目录 数据结构 集合 动态数组ArrayList 习题&#xff1a;声明一个Monster类&#xff0c;有一个Attack方法,用一个ArrayList去封装Monster的对象,装10个&#xff0c;遍历monster的list让他们释放攻击方法 哈希表HashTable 创建一个武器类&#xff0c;有一个属性叫做id,每个…

【数据中台】开源项目(3)-Linkis

关于 Linkis Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口&#xff0c;上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎&#xff0c;同时实现统一变量、脚本、用户定义函数和资源文件…

web:very_easy_sql(sql、ssrf、gopher协议sql注入)

题目 页面显示如下 显示不是内部用户&#xff0c;无法识别信息 查看源码&#xff0c;找到一个use.php 访问之后显示如下 随便输入了一个&#xff0c;发现url有参数显示 试一下靶机的网址&#xff0c;返回nonono 联系之前原始页面写的“不是内网用户&#xff0c;无法别识身份”…

【PTA-C语言】实验三-循环结构I

如果代码存在问题&#xff0c;麻烦大家指正 ~ ~有帮助麻烦点个赞 ~ ~ 实验三-循环结构I 7-1 求交错序列前N项和 &#xff08;分数 15&#xff09;7-2 寻找250&#xff08;分数 15&#xff09;7-3 最大公约数和最小公倍数&#xff08;分数 15&#xff09;7-4 统计字符&#xff0…

Redis 发布订阅机制深入探索

Redis 的发布订阅&#xff08;pub/sub&#xff09;机制是一种消息传递模式&#xff0c;允许消息的发送者&#xff08;发布者&#xff09;和消息的接收者&#xff08;订阅者&#xff09;通过一个中介层&#xff08;频道&#xff09;进行通信&#xff0c;而无需彼此直接交互。以下…

C到C++过渡

C到C过渡 函数提高函数重载函数模板有默认参数的函数 结构体与类结构体类对象封装 函数提高 函数重载 C允许用同一函数名定义多个函数, 而这些函数的参数个数和参数类型可以不相同。这就是函数重载。即对一个函数名重新赋予它新的含义使一个函数名可以多用。所谓重载,其实就是…

231202 刷题日报

周四周五&#xff0c;边值班边扯皮&#xff0c;没有刷题。。 今天主要是做了: 1. 稀疏矩阵压缩&#xff0c;十字链表法 2. 快速排序 3.349. 两个数组的交集​​​​​ 4. 174. 地下城游戏 要注意溢出问题&#xff01;

外包搞了6年,技术退步明显......

先说情况&#xff0c;大专毕业&#xff0c;18年通过校招进入湖南某软件公司&#xff0c;干了接近6年的功能测试&#xff0c;今年年初&#xff0c;感觉自己不能够在这样下去了&#xff0c;长时间呆在一个舒适的环境会让一个人堕落!而我已经在一个企业干了四年的功能测试&#xf…

vue项目报错及解决npm run build:prod打包错误

vue项目报错及解决npm run build:prod打包错误 执行dev环境时加载失败了该变量&#xff0c;在package.json文件中 删掉 解决方法&#xff1a; 打包成功&#xff1a;

使用 OpenFunction 在任何基础设施上运行 Serverless 工作负载

作者&#xff1a; 霍秉杰&#xff1a;KubeSphere 可观测性、边缘计算和 Serverless 团队负责人&#xff0c;Fluent Operator 和 OpenFunction 项目的创始人&#xff0c;还是多个可观测性开源项目包括 Kube-Events、Notification Manager 等的作者&#xff0c;热爱云原生技术&am…

Hdoop学习笔记(HDP)-Part.16 安装HBase

目录 Part.01 关于HDP Part.02 核心组件原理 Part.03 资源规划 Part.04 基础环境配置 Part.05 Yum源配置 Part.06 安装OracleJDK Part.07 安装MySQL Part.08 部署Ambari集群 Part.09 安装OpenLDAP Part.10 创建集群 Part.11 安装Kerberos Part.12 安装HDFS Part.13 安装Ranger …