数据库备份策略 分布式_管理优秀的分布式数据团队的4种基本策略

数据库备份策略 分布式

COVID-19 has forced nearly every organization to adapt to a new workforce reality: distributed teams. We share four key tactics for turning your remote data team into a force multiplier for your entire company.

COVID-19迫使几乎每个组织都适应新的劳动力现实:分散的团队。 我们分享了四个关键策略,可将您的远程数据团队变成整个公司的力量倍增器。

It’s month 6 (or is it 72? It’s hard to tell) of the global pandemic, and despite the short commute from your bedroom to the kitchen table, you’re still adjusting to this new normal.

现在是全球大流行的第6个月(或者是72岁?这很难说),尽管从卧室到厨房的通勤时间很短,但您仍在适应这一新常态。

Your team is responsible for all the same tasks (handling ad-hoc queries, fixing broken pipelines, implementing new rules and logic, etc.), but troubleshooting broken data has only gotten harder. It’s difficult enough to identify the root cause of a data downtime incident when you’re all 5 feet away from each other; it’s 10 times harder when you’re working on different time zones.

您的团队负责所有相同的任务(处理临时查询,修复损坏的管道,实现新规则和逻辑等),但是对损坏的数据进行故障排除只会变得更加困难。 当您彼此相距5英尺时,要确定数据停机事件的根本原因已经非常困难。 当您在不同时区工作时,难度会增加10倍。

Distributed teams aren’t novel, in fact, they’ve become increasingly common over the last few decades, but working during a pandemic is new for everyone. While this shift widens the geographic talent pool, collaborating at this scale entails unforeseen hurdles, particularly when it comes to working with real-time data.

分布式团队并不是什么新奇的事物,事实上,在过去的几十年里它们已经变得越来越普遍,但是在大流行期间工作对于每个人来说都是新事物。 尽管这种转变扩大了地理人才库,但这种规模的协作带来了不可预见的障碍,尤其是在处理实时数据时。

Your daily standup only gets you so far.

每天的站起来只会让您走得那么远。

Here are 4 essential steps to managing a great distributed data team:

以下是管理一个出色的分布式数据团队的4个基本步骤:

记录所有东西 (Document all the things)

Information about which tables and columns are “good or bad” breaks down when teams are distributed. One data scientist we spoke with at a leading e-commerce company told us that it takes 9 months of working on a team to develop a spidey-sense for what data lives where, which tables are the ‘right’ ones, and which columns are healthy vs. experimental.

分配团队时,有关哪些表和列是“好是坏”的信息会分解。 我们在一家领先的电子商务公司与之交谈的一位数据科学家告诉我们,一个团队需要花9个月的时间开发出针对数据存放在何处,哪些表是“正确的”表,哪些列是什么的间谍意识。健康与实验。

The answer? Consider investing in a data catalog or lineage solution. Such technologies provide one source of truth about a team’s data assets, and make it easy to understand formatting and style guidelines for data input. Data catalogs become particularly important when data governance and compliance come into play, which is top of mind for data teams in financial services, healthcare, and many other industries.

答案? 考虑投资数据目录或沿袭解决方案 。 此类技术提供了有关团队数据资产的一个真实来源,并易于理解数据输入的格式和样式准则。 当数据治理和合规性发挥作用时,数据目录就变得尤为重要,这对于金融服务,医疗保健和许多其他行业的数据团队而言,是最重要的。

设置数据的SLA和SLO (Set SLAs and SLOs for data)

It’s important to ensure alignment not just among data team members but with data consumers (i.e., marketing, executives, or operations teams), too. To do so, we suggest taking a page out of the site reliability engineering book and setting and align clear service level agreements (SLAs) and service level objectives (SLOs) for data. SLAs for expectations around data freshness, volume, and distribution, as well as other pillars of observability, will be crucial here.

重要的是,不仅要确保数据团队成员之间的一致性,而且还要确保与数据消费者(即市场,执行人员或运营团队)的一致性。 为此,我们建议从站点可靠性工程手册中抽出一页,并为数据设置并调整明确的服务水平协议(SLA)和服务水平目标(SLO)。 关于数据新鲜度,数据量和分布以及其他可观察性Struts的 SLA在这里至关重要。

Katie Bauer, a Data Science Manager at Reddit, suggests distributed data teams maintain a central document with expected delivery dates for important projects, and review that document weekly.

Reddit的数据科学经理Katie Bauer建议分布式数据团队维护一个中心文档,其中包含重要项目的预计交付日期,并每周审查该文档。

“Instead of pinging my team for updates throughout the week when questions arise from stakeholders, I can easily visit this document for answers,” she said. “This keeps us focused on delivering our work and avoids unnecessary diversions.”

她说:“当利益相关者提出问题时,我不必整周对我的团队进行更新,而是可以轻松访问此文档以获取答案,”她说。 “这使我们专注于交付工作,避免了不必要的转移。”

投资自助工具 (Invest in self-serve tooling)

Investing in self-serve data tools (including cloud warehouses like Snowflake and Redshift, as well as data analytics solutions, like Mode, Tableau, and Looker) will streamline data democratization no matter the location or persona of the data user.

投资自助数据工具(包括Snowflake和Redshift之类的云仓库,以及Mode,Tableau和Looker之类的数据分析解决方案)将简化数据民主化,无论数据用户的位置或角色如何。

Similarly, self-serve versioning control systems helps everyone stay on the same page when it comes to collaborating on larger workflows, which becomes extremely important when it comes to leveraging real-time data across time zones.

同样,自助式版本控制系统可以帮助每个人在较大的工作流程上保持一致,这在跨时区利用实时数据时显得尤为重要。

优先考虑数据可靠性 (Prioritize data reliability)

Industries that are responsible for managing PII and other sensitive customer information, like healthcare and financial services, have a low tolerance for mistakes. Data teams need confidence that data is secure and accurate across their pipeline, from consumption to output. The right processes and procedures around data reliability can prevent such data downtime incidents and restore trust in your data.

医疗保健和金融服务等负责管理PII和其他敏感客户信息的行业对错误的容忍度较低。 数据团队需要信心,确保从消费到输出的整个管道中的数据都是安全和准确的。 围绕数据可靠性的正确流程和步骤可以防止此类数据停机事件并恢复对数据的信任。

For many years, data quality monitoring was the primary way in which data teams caught broken data, but this isn’t cutting it anymore, particularly when real-time data and distributed teams are the norm. Our remote-first world calls for a more comprehensive solution that can seamlessly track the five pillars of data observability and other important data health metrics tailored to the needs of your organization.

多年来,数据质量监视是数据团队捕获损坏的数据的主要方式,但是这种情况已不再减少,尤其是在实时数据和分布式团队成为常态的情况下。 我们的远程第一世界需要一个更全面的解决方案,该解决方案可以无缝地跟踪数据可观察性的五个Struts以及适合组织需求的其他重要数据健康指标。

记住:没事也可以 (Remember: it’s OK to not be OK)

We hope these tips help you accept and even embrace the data world’s new normal.

我们希望这些技巧可以帮助您接受甚至接受数据世界的新常态。

On top of this more tactical advice, however, it never hurts to remember that it’s OK to not be OK. Emilie Schario, GitLab’s first data analyst who is now an internal strategy consultant, put it best: “This is not normal remote work. What it takes to be successful during a period of forced remote work in a global pandemic is different from what it means to be remote-as-usual.”

但是,除了这个更具战术性的建议外,记住“ 不行是可以的”也从未有过任何伤害。 GitLab的第一位数据分析师Emilie Schario现已成为内部战略顾问,他最好地指出:“这不是正常的远程工作。 在全球大流行中被迫进行远程工作期间要取得成功所需要的与不同于通常进行远程管理意味着什么。”

We’d love to hear your advice for leading distributed teams! Reach out to Barr Moses with your words of wisdom.

我们很想听听您对领先的分布式团队的建议! 用您的智慧之言与 Barr Moses 接触

This article was written by Will Robins & Barr Moses.

本文由威尔·罗宾斯和巴尔·摩西撰写。

翻译自: https://towardsdatascience.com/4-essential-tactics-for-managing-a-great-distributed-data-team-e7df9f85e6fa

数据库备份策略 分布式

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/392486.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何使用阿里云云解析API实现动态域名解析,搭建私有服务器

原文地址:http://www.yxxrui.cn/article/116.shtml 未经许可请勿转载,如有疑问,请联系作者:yxxrui163.com 公司的网络没有固定的公网IP地址,但是能够保证的是,每次动态分配的IP地址均为独立的公网IP&#x…

新手指南:dvwa_如何构建基本的Slackbot:新手指南

新手指南:dvwaBy Vishwa ShahVishwa Shah着 Update: code and tutorial updated on June 28 to reflect Slack API changes.更新:代码和教程已于6月28日更新,以反映Slack API的更改 。 Slackbots:为什么要使用它们? (Slackbots:…

java 加载class文件路径_动手实现MVC: 1. Java 扫描并加载包路径下class文件

背景用过spring框架之后,有个指定扫描包路径,然后自动实例化一些bean,这个过程还是比较有意思的,抽象一下,即下面三个点如何扫描包路径下所有的class文件如何扫描jar包中对应包路径下所有的class文件如何加载class文件…

leetcode 738. 单调递增的数字(贪心算法)

给定一个非负整数 N&#xff0c;找出小于或等于 N 的最大的整数&#xff0c;同时这个整数需要满足其各个位数上的数字是单调递增。 &#xff08;当且仅当每个相邻位数上的数字 x 和 y 满足 x < y 时&#xff0c;我们称这个整数是单调递增的。&#xff09; 示例 1: 输入: …

python+[:]+切片_我从C ++到Python的方式:概念上的改变

python[:]切片by asya f由asya f 我从C 到Python的方式&#xff1a;概念上的改变 (How I went from C to Python: a conceptual change) 介绍 (Introduction) People say that coding in Python is so easy that even a 6 year old can do it. This was the thought that I ha…

深度学习 免费课程_2020年排名前三的免费深度学习课程

深度学习 免费课程&#xff03;1 Fastai面向程序员的实用深度学习2020 (#1 Fastai Practical Deep Learning for Coders 2020) On 21 of August 2020, fastai released the new version of the fastai library and of their Deep Learning course!2020年8月21日&#xff0c;fas…

mysql复制主从集群搭建

近期搭了个主从复制。中间出了点小问题&#xff0c;排查搞定&#xff0c;记录下来1环境&#xff1a;虚拟机&#xff1a;OS:centos6.5Linux host2 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/LinuxserverIP192.168.18.66192.168.18.6…

java jolt tuxedo_java通过jolt调用tuxedo服务.xls

java通过jolt调用tuxedo服务.xls还剩20页未读&#xff0c;继续阅读下载文档到电脑&#xff0c;马上远离加班熬夜&#xff01;亲&#xff0c;喜欢就下载吧&#xff0c;价低环保&#xff01;内容要点&#xff1a;?private bea.jolt.pool.servlet.ServletSessionPoolManager bool…

你的周末时光是什么样的?

周末是一个特殊的假日&#xff0c;隔三差五就会有&#xff0c;来的容易去得也容易&#xff0c;即便如此&#xff0c;我们还是应该好好珍惜&#xff0c;周末可以做的事太多了&#xff0c;既可以用来减压&#xff0c;也可以为下一周的学习和工作充电&#xff0c;不管做什么&#…

leetcode 290. 单词规律(hash)

给定一种规律 pattern 和一个字符串 str &#xff0c;判断 str 是否遵循相同的规律。 这里的 遵循 指完全匹配&#xff0c;例如&#xff0c; pattern 里的每个字母和字符串 str 中的每个非空单词之间存在着双向连接的对应规律。 示例1: 输入: pattern “abba”, str “dog…

2019年微博用户画像_2019年您需要了解的有关用户的信息

2019年微博用户画像by Yisroel Yakovson通过伊斯洛尔雅科夫森 2019年您需要了解的有关用户的信息 (What You Need to Know About Your Users in 2019) Users have changed a lot in the last few years. We programmers may have a culture gap to overcome in this area. If …

使用lt;jsp:includegt;,不想写死URL,动态生成URL的解决的方法

JSP中文件包括有2种方式&#xff0c;静态包括和动态包括。静态包括使用<% include file"" %>。动态包括使用<jsp:include page"" />。本文不打算介绍这2种方式的差别和使用场景&#xff0c;主要关注page和file属性的路径问题。 假设事先知道被…

java udp ip端口 设置_UDP端口扫描Java只找到1个开放的UDP端口

我对端口扫描有一个分歧.我在Java中扫描一些IP地址的UDP端口.在我的程序中(假设一切正常)我只能找到一个开放的UDP端口.在另一方面端口扫描“nmap”我得到4个开放的UDP端口.有人可以告诉我为什么我不能通过Java代码找到多个端口&#xff1f;顺便说一句,我可以在我的代码中找到真…

pandas之Seris和DataFrame

pandas是一个强大的python工具包&#xff0c;提供了大量处理数据的函数和方法&#xff0c;用于处理数据和分析数据。 使用pandas之前需要先安装pandas包&#xff0c;并通过import pandas as pd导入。 一、系列Series Seris为带标签的一维数组&#xff0c;标签即为索引。 1.Seri…

机器学习:分类_机器学习基础:K最近邻居分类

机器学习:分类In the previous stories, I had given an explanation of the program for implementation of various Regression models. Also, I had described the implementation of the Logistic Regression model. In this article, we shall see the algorithm of the K…

leetcode 714. 买卖股票的最佳时机含手续费(dp)

给定一个整数数组 prices&#xff0c;其中第 i 个元素代表了第 i 天的股票价格 &#xff1b;非负整数 fee 代表了交易股票的手续费用。 你可以无限次地完成交易&#xff0c;但是你每笔交易都需要付手续费。如果你已经购买了一个股票&#xff0c;在卖出它之前你就不能再继续购买…

如何在Angular Material中制作自定义主题

by Charlee Li通过李李 如何在Angular Material中制作自定义主题 (How to make a custom theme in Angular Material) Angular Material is a great library that implements Material Design for Angular 2. The official document is sufficient regarding the component us…

最感叹的莫过于一见如故,最悲伤的莫过于再见陌路。最深的孤独,是你明知道自己的渴望,却得对它装聋作哑。最美的你不是生如夏花,而是在时间的长河里,波澜不惊。...

最感叹的莫过于一见如故&#xff0c;最悲伤的莫过于再见陌路。最深的孤独&#xff0c;是你明知道自己的渴望&#xff0c;却得对它装聋作哑。最美的你不是生如夏花&#xff0c;而是在时间的长河里&#xff0c;波澜不惊。转载于:https://www.cnblogs.com/dj258/p/7003890.html

java vimrc_.vimrc技巧

-------------------------------------------------------------------" 设置字符编码。参考&#xff1a;http://www.rainux.org/blog/index.php/2005/10/20/106" encoding: Vim 内部使用的字符编码方式&#xff0c;包括 Vim 的buffer (缓冲区)、菜单文" 本、消…

将PDF和Gutenberg文档格式转换为文本:生产中的自然语言处理

Estimates state that 70%–85% of the world’s data is text (unstructured data). Most of the English and EU business data formats as byte text, MS Word, or Adobe PDF. [1]据估计&#xff0c;全球数据的70&#xff05;–85&#xff05;是文本(非结构化数据)。 大多数…