回响科技二面面试题解答

面试题

1、你们的数仓中DWD层为什么要划分数据域?划分数据域之后会对ADS层造成什么影响?是可以提效还是可扩展性强?你们是如何考虑的呢?
2、AZkaban和dolphinScheduler的区别是什么?如果选型会从哪几个方面来考虑呢?
3、数仓中数据的幂等性如何实现?就是如何保证数仓中的数据不丢失和不重复?
4、零点漂移问题如何解决?
5、你们是如何统一指标口径?
6、某电商平台业务线的A运营组比如说提了一个GIV的计算公式,说不包含优惠卷的价格,就是不包含平台成本,平台补贴,B运营组又提了一个需求是GIV要包含平台补贴,这个时候如何去协调和沟通?
7、数据抽取工具分别有哪些优缺点?适用于哪些场景?

回答

1划分数据域,方便对业务环节进行拆解且清晰,能够快速定位找寻,ads 用的是主题域,划分后ads 会依赖跨域数据,如果底层数据域变动会影响ads 指标或标签,所以对于指标提现建议放到dws 做指标沉淀复用且方便找寻,对于ads 数据仍然是依赖但采用大宽表小宽表方法存储,大宽表即核心标签指标存放地方,能给后续ads 做到复用同时也是核心内容直接引用资产,但这样仍然会耦合,耦合点在于如果ads 大宽表不能产出下游也会等待,所以最好办法是对于核心大宽表拆解到2级主题存放

3更多是想问实时数据情况吧,参考kafka ack 与幂等以及Flink exactly once ,这里八股文就不解释了,说下离线的 离线抽取丢数情况还是有的,最简单办法还是扫count 即数据源和ods 如果不匹配则告警,如果是全量可以用表行数波动来判断,增量得和库匹配去写脚本了,至于重复则设置主键唯一dqc

5指标口径拉齐,从整体看与数分沟通,数分负责业务口径审批及对接,数仓负责技术口径审批及维护,对当前指标按照数据 主题域拆解归类生成指标域,指标域也由负责主题同学负责,同时建设指标上下线流程(流程在学习路线元数据指标那节课),并且建设指标中心去维护录入指标

6 核心问题在于指标多个业务方不统一情况,继续接5题的回答,生成指标中心后统一拉业务方负责人一起沟通确定指标业务口径,如后续更改则需要在审批指标时候抄送另外一方业务,让他们有告知,但如果业务方态度强硬可上升leader ,让负责人清楚目前指标状况和达成统一的好处,如果负责人也态度强硬并对自己leader 的leader 举报,则可以再退而求其次 单独开发for 这个部门,但这个口子能不开就不开。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/657671.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《Numpy 简易速速上手小册》第10章:Numpy案例研究和实践技巧(2024 最新版)

文章目录 10.1 实际案例分析10.1.1 基础知识10.1.2 完整案例:天气数据分析10.1.3 拓展案例 1:股票价格分析10.1.4 拓展案例 2:信号处理 10.2 Numpy 最佳实践10.2.1 基础知识10.2.2 完整案例:高效数组操作10.2.3 拓展案例 1&#x…

vue-cli初始化项目很慢?

第一种情况 大部分是由于npm的镜像源不是淘宝的 cmd输入npm config get registry查看是不是淘宝的,是的话看第二种情况试试不是的话输入npm config set registry https://registry.npm.taobao.org 第二种情况 vue-cli配置文件不是使用淘宝镜像源的 找到文件.vue…

已实现:vue、h5项目如何使用echarts实现雷达图、六边形图表

说实话,要说图表里,最强的应该属于echarts了,不管是接入难度上,还是样式多样性上,还有社区庞大程度上,都是首屈一指的,反观有的人习惯用chart.js了,这个无可厚非,但是如果…

从C向C++5——友元和string

一.对象特性(续) 1.空指针访问成员函数 C中空指针也是可以调用成员函数的,但是也要注意有没有用到this指针。 如果用到this指针,需要加以判断保证代码的健壮性。 如果调用的成员函数不访问成员属性,那么空指针可以调…

C语言中大小写字母的转化

在C语言中,大小写字母的转化是一个非常基础且常用的功能。C语言中的字符是以ASCII码的形式存储的,而ASCII码中,小写字母和大写字母之间相差32。因此,可以通过简单的数学运算来实现大小写字母的转换。 一、数学运算转化 大写字母…

微信小程序如何实现实时显示输入内容

如下所示&#xff0c;在许多场景中需要实时显示用户输入&#xff0c;具体实现见下文。 .wxml <input type"text" placeholder"请输入{{item.value}}(必填)" style"width:80%;" bindinput"get_required_value" data-info"{{it…

科技云报道:新趋势下,国产数据库或“春山可望”

科技云报道原创。 从540亿元到1286亿元——这是中国通信标准化协会大数据技术标准推进委员会针对中国数据库行业给出的一份预测报告。 报告指出&#xff0c;未来五年&#xff0c;中国数据库行业将从百亿级市场跨越成为千亿级市场。 最近两年&#xff0c;中国的数据库行业似乎…

【PyRestTest】PyRestTest入门引导

pyresttest环境安装完毕之后&#xff0c;进行如下操作&#xff0c;快速入门pyresttest。 第一步&#xff1a;创建一个简单的REST服务 1、进行如下命令clonepyresttest项目: git clone https://github.com/svanoort/pyresttest.git2、安装运行Rest服务的依赖包 (Django and D…

Ubuntu 22.04 中文乱码解决方案

sudo apkg-reconfigure locales 按空格键选中

团队管理-如何提高员工积极性

一、审题 关键词&#xff1a;提高、工作积极性 有哪些指标&#xff1a; 1、迭代工作交付量&#xff0c;单位时间内完成的工作内容 2、问题解决&#xff0c;处理问题的态度是否积极&#xff0c;效率是否提高 3、工作主动性&#xff0c;是否主动的承担一些工作职责&#xff…

PHP面试--echo、print、print_r、var_dump区别

echo、print、print_r、var_dump 区别 echo 输出单个或多个字符&#xff0c;多个使用逗号分隔无返回值 echo "String 1", "String 2";print 只可以输出单个字符返回1&#xff0c;因此可用于表达式 print "Hello"; if ($expr && pri…

Jenkins自动化打包

Jenkins自动化打包 下载安装 我们直接从官网https://www.jenkins.io/download/ 下载所需的Jenkins文件 如上图所示, 选择Windows版本,下面就是一路安装即可,需要注意的是,选择作为系统服务选项, 不要自己设置账号密码登录. Web配置 安装完根据提示在浏览器打开 http://lo…

达梦数据库存储过程

根据网上语法自学写的存储过程&#xff0c;使用的是DBeaver工具&#xff0c;但是调试过程太痛苦&#xff0c;也不清楚为什么有时候改了报错或者没生效。 注意点&#xff1a; 1.如果怀疑没生效或者不对&#xff0c;可以建个临时表每次往里面插不同数据确认代码是否最新。 2.不…

iZotope RX 10.4.2 mac激活版 音频修复和增强工具

iZotope RX 10 for Mac是一款专业的音频修复软件&#xff0c;旨在提供强大、精确的工具&#xff0c;让用户能够清晰、纯净地处理音频。以下是其主要功能和特点&#xff1a; 软件下载&#xff1a;iZotope RX 10.4.2 mac激活版下载 强大的降噪功能&#xff1a;iZotope RX 10采用了…

动态住宅IP可以用来注册亚马逊电商吗?

注册亚马逊店铺可以用动态IP&#xff0c;只要是独立且干净的网线就没问题&#xff0c;亚马逊规则要求一个IP地址只能出现一个亚马逊店铺&#xff0c;若使用不当会导致关联账户。所以现在非常多人使用指纹浏览器搭配代理IP 固定ip可以给我们的账户带来更多的安全&#xff0c;要知…

输电线路导线舞动在线监测装置:“舞动”不再!守护电网安全!

输电线路导线舞动会影响输电线路的运行安全&#xff0c;其影响因素主要包括以下几个方面&#xff1a; 1、风力影响&#xff1a;风力是导致输电线路导线舞动的主要原因之一。在风的激励下&#xff0c;会对导线施加较大的侧向压力&#xff0c;导线会随风摆动&#xff0c;发生扭转…

docker程序镜像的安装

目录 一、流程 二、总结 一、 流程 对文中脚本测试前提默认系统已安装docker docker程序部署命令脚本 加载已打包的docker程序 docker load < sto...p.tar创建网络 名称为c…m子网subnet 172.27.16.1/24网关gateway 172.27.16.254-d 指定网络驱动程序 docker network cre…

iOS17使用safari调试wkwebview

isInspectable配置 之前开发wkwebview的页面的时候一直使用safari调试&#xff0c;毕竟jssdk交互还是要用这个比较方便&#xff0c;虽说用一个脚本插件没问题。不过还是不太方便。 但是这个功能突然到了iOS17之后发现不能用了&#xff0c;还以为又是苹果搞得bug&#xff0c;每…

Skywalking trace UI页面中字段信息详解,包括端点、跨度类型和Peer

刚上手Skywalking的同学可能对 trace UI 页面信息中的字段信息不是很了解&#xff0c;在这里就给大家一一讲解&#xff0c;重点关注端点、跨度类型和Peer 服务 :服务的名称 实例&#xff1a;服务对应的实例 端点&#xff1a;端点(Endpoint) 对于特定服务所接收的请求路径, 如…

Word莫名其妙开启兼容模式将其永久取消的方法

这是因为Word模板文件被意外更改了 找到Word模板文件&#xff0c;目录在C:\Users\15976\AppData\Roaming\Microsoft\Templates 15976替换成你自己的用户名&#xff0c;不确定的就先点进C/Users看一看&#xff0c; AppData是隐藏文件夹&#xff0c;显示隐藏文件夹才能看见&am…