又是一年 1024

    今天是 1024 程序员节,现在是一名大数据讲师,我和往常一样,依旧在讲课中度过。对于很多程序员来说,这一天也许是属于代码、调试和无数行 SQL 查询的,而对于我来说,虽然工作内容不同,却也和数据、代码息息相关。

    今天的课堂上,我带学生们讨论了数据处理中的几个常见问题,比如kettle 循环 ,kettle 变量 , 比如 kettle 怎么连接  hive 处理。

还学习的hive 元数据的作用

SELECT * FROM metastore  .DBS---存数据库
SELECT * FROM metastore.TBLS    ---存数据库的表
SELECT * FROM metastore.COLUMNS_V2 cv  ---表字段
SELECT * FROM metastore.SDS s ---表字段 存在哪里 
-----------------------------------------------------------------
SELECT * FROM metastore.PARTITIONS p --分区的基本信息
SELECT * FROM metastore.PARTITION_KEYS pk --分区的字段信息
SELECT * FROM metastore.PARTITION_KEY_VALS pkv ---分区的字段的值
SELECT * FROM metastore.PARTITION_PARAMS pp ---分区的属性
-----------------------------------------------------------------

看着学生们在操作台上自行操作、解决问题我不禁想起自己当初作为程序员时的经历——那种面对成千上万行数据的挑战,偶尔的卡顿和偶尔的PUA,和经常加班。也让我想起来了曾经看过的一本书《疯狂的程序员》 ,2008 出版 也是曾经的 CSDN 明星博主,可惜了有一些事情是一辈子都不能干,大家有空还是可以看看挺有意思。比如:“DOS”就是“Disk Operating System”,磁盘操作系统。“TMD”是“战区导弹防御系统”,“NMD”是“国家导弹防御系统”。比如:什么程序优化啊,都抵不上有钱,有钱就是最好的优化。说什么“效率就是金钱”,其实“金钱就是效率”。

这本书让我想起的以前在京东的日子 ,那些没日没夜的加班也是没啥了。所以有的时候痛并快乐着。程序员已经是构建现代数字社会的基石,编写的代码、设计的系统,影响着亿万人的生活。从数据隐私到人工智能决策,从自动驾驶技术到医疗诊断系统,小到蓝牙耳机,大到火箭飞机都有程序员的心情付出。但除了技术的提升, 思想品德,道德伦理更重要。我也经常和学生们说了数据隐私的重要性。因为每天处理着大量的用户数据,这些数据可能涉及个人身份、财务信息,甚至隐私敏感信息。如何在开发应用时确保用户的隐私得到保护,是开发人员,数据工程师必须面对的伦理挑战。我们不仅要遵守法律法规,更要在设计和开发阶段主动思考如何加强安全措施,避免数据泄露。如 《网络安全法》,《数据安全法》《个人信息保护法》,建议大家都需要学习,也可以少走很多弯路 。

另外 有幸参加了 10 月 19 日上海 CSDN 举办的程序员节活动,收获满满。活动中,我学习了关于 RAG(Retrieval-Augmented Generation)以及产品经理的一些最新技术知识,这些内容不仅让我对新技术的应用有了更深入的理解,也让我看到了技术创新的广阔前景。

让我感触最深的,除了学习到的新知识,还有现场那些大一新生们的激情和努力。我们在活动中实操了一个嵌入式蓝牙耳机的项目,感觉已经更不上大学生的节奏了,真的都很厉害,他们虽然刚刚步入大学,却展现出对编程和技术强烈的好奇心,令我钦佩。在这个充满机遇与挑战的时代,看到这些年轻人奋发图强,不禁让我回想起自己刚入行时的那份激情。

在活动中,我也认识了其他的 CSDN 博主,作为一名大数据讲师,这样的机会让我不仅可以分享自己的教学经验,还能从其他技术人身上获得新的启发。

总的来说,这次活动不仅让我拓宽了视野,还加深了我对行业发展的理解,也让我更加坚信,无论是讲师还是程序员,都要不断学习和进步,紧跟技术的脚步。

最后分享一张1024程序员节图 

最后,愿每一位程序员都能在职业生涯中找到热爱与使命,创造出改变世界的作品!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/57587.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

软考算法——线性表、栈和队列、串、数组、矩阵和广义表

软考算法(一) 线性表定义顺序表单链表循环链表双向链表 性能分析线性表插入删除操作 栈和队列栈队列循环队列 串、数组、矩阵和广义表串串的基本操作串的存储结构 数组数组的存储地址计算 矩阵——稀疏矩阵上三角矩阵下三角矩阵 广义表 线性表 定义 线性…

设置K8s管理节点异常容忍时间

说明 每个节点上的 kubelet 需要定时向 apiserver 上报当前节点状态,如果两者间网络异常导致心跳终端,kube-controller-manager 中的 NodeController 会将该节点标记为 Unknown 或 Unhealthy,持续一段时间异常状态后 kube-controller-manage…

软考——计算机网络概论

文章目录 🕐计算机网络分类1️⃣通信子网和资源子网2️⃣网络拓扑结构3️⃣ 计算机网络分类3:LAN MAN WAN4️⃣其他分类方式 🕑OSI 和 TCP/IP 参考模型1️⃣OSI2️⃣TCP/IP🔴TCP/IP 参考模型对应协议 3️⃣OSI 和 TCP/IP 模型对应…

AUTOSAR_EXP_ARAComAPI的6章笔记(4)

☞返回总目录 相关总结:《AUTOSAR 自适应应用中原始数据流传输的使用方法》总结 6.4 原始数据流传输的使用方法 本章描述了原始数据流(RawDataStreams)在 AUTOSAR 自适应应用程序中的使用方法。 目前,原始数据流传输在单播 / …

WSL2-轻量级AI训练场景最佳生产环境

WSL2 只适用于 Win 10 、Win11 在运行 AI 软件、AI 模型训练,Linux 是最佳的操作系统。 在运行各种软件,如:Stable Diffusion Web UI 等,使用 Docker 容器运行也更方便后期的快速复用,同样的 Docker 容器在 Linux 中…

基于springboot的网上服装商城推荐系统的设计与实现

基于springboot的网上服装商城推荐系统的设计与实现 开发语言:Java 框架:springboot JDK版本:JDK1.8 服务器:tomcat7 数据库:mysql 5.7 数据库工具:Navicat11 开发软件:idea 源码获取&#xf…

安灯系统助力汽车零部件工厂快速解决生产异常

在汽车零部件制造领域,高效的生产管理和快速解决异常情况是确保产品质量和生产进度的关键。而安灯系统的应用,正为汽车零部件工厂带来了全新的变革,助力其快速解决生产异常。 汽车零部件工厂的生产报工产线看板直观地反映出生产的各项关键数据…

基于SpringBoot的“心灵治愈交流平台”的设计与实现(源码+数据库+文档+PPT)

基于SpringBoot的“心灵治愈交流平台”的设计与实现(源码数据库文档PPT) 开发语言:Java 数据库:MySQL 技术:SpringBoot 工具:IDEA/Ecilpse、Navicat、Maven 系统展示 系统功能界面图 登录、用户注册界面图 心灵专…

【有啥问啥】智能座舱中的儿童遗留检测(CPD,Child Presence Detection)技术详解

智能座舱中的儿童遗留检测(CPD,Child Presence Detection)技术详解 引言 儿童遗留检测(CPD,Child Presence Detection)系统是一项旨在保护儿童免受因被遗忘在车内而导致的热中暑危险的重要安全技术。近年…

HCIP-HarmonyOS Application Developer 习题(十五)

(判断)1、在HarmonyOs中发布带权限公共事件,发布者首先要在config.json中申请所需的权限。 答案:正确 分析:发布携带权限的公共事件:构造CommonEventPublishInfo对象,设置订阅者的权限。 &#…

书生营 L0G4000 玩转HF/魔搭/魔乐社区

模型下载 在codespace上给环境装包,按照教材即可 运行后下载成功 建立下载json文件 新建下载internlm2_5-chat-1_8b的json文件 运行结果 基本上没啥问题,照着教程来就行 模型上传(可选) push的时候需要先认证token 最后的…

Linux 权限的理解

内容摘要 本文内容包括shell的运行原理,包括外壳程序的原理、理解、和意义,以及从两个方面对于权限的理解(人和事物的属性)、修改文件的权限,包括修改文件的拥有者、修改文件拥有者所在的组的用户以及修改文件的三类用…

域渗透AD渗透攻击利用 MS14-068漏洞利用过程 以及域渗透中票据是什么 如何利用

目录 wmi协议远程执行 ptt票据传递使用 命令传递方式 明文口令传递 hash口令传递 票据分类 kerberos认证的简述流程 PTT攻击的过程 MS14-068 漏洞 执行过程 wmi协议远程执行 wmi服务是比smb服务高级一些的,在日志中是找不到痕迹的,但是这个主…

鸿蒙中富文本编辑与展示

富文本在鸿蒙系统如何展示和编辑的?在文章开头我们提出这个疑问,带着疑问来阅读这篇文章。 富文本用途可以展示图文混排的内容,在日常App 中非常常见,比如微博的发布与展示,朋友圈的发布与展示,都在使用富文…

【树莓派 5B】anaconda换源 更换清华源

【树莓派 5B】anaconda换源 更换清华源 前言 本文基于树莓派5B上运行的 Raspberrypi-OS-64bit (Debian 12 Bookworm)平台,更换 Anaconda 官方源为清华大学镜像源,旨在解决网络连接超时、连接官方源失败、下载速度慢的问题。 参…

spring (Aop) day 1024

ok了家人们,继续学习spring ,这段知识点有点绕,建议搭配b站的视频去学,passion!!! 八.AOP-面向切面编程 8.1 动态代理 8.1.1 概述 什么是代理?在现实生活中,代理很常见…

学习虚幻C++开发日志——TSet

TSet 官方文档:虚幻引擎中的Set容器 | 虚幻引擎 5.5 文档 | Epic Developer Community (epicgames.com) TSet 是通过对元素求值的可覆盖函数,使用数据值本身作为键,而不是将数据值与独立的键相关联。 默认情况下,TSet 不支持重…

iOS 18.2开发者预览版 Beta 1版本发布,欧盟允许卸载应用商店

苹果今天为开发人员推送了iOS 18.2开发者预览版 Beta 1版本 更新(内部版本号:22C5109p),本次更新距离上次发布 Beta / RC 间隔 2 天。该版本仅适用于支持Apple Intelligence的设备,包括iPhone 15 Pro系列和iPhone 16系…

【设计模式系列】观察者模式

一、什么是观察者模式 观察者模式(Observer Pattern)是一种行为设计模式,它定义了对象之间的一对多依赖关系,当一个对象的状态发生变化时,所有依赖于它的对象都会得到通知并自动更新。这种模式也被称为发布-订阅模式&…

「重磅」中国电信数据湖+数据中台实施方案(附60页方案)

来源:公众号-数据分析小兵 作者按 哈喽,大家好,我是数据分析小兵,今天小兵向大家分享中国电信基于数据湖的数据中台实施方案。 方案核心内容一:数据湖的搭建与实施 数据湖是一套针对海量多源异构数据,具备数据采集、数据存储、数据计算、数据访问、数据管理的技术架构…