一，【基础运维检查】

或叫 例行检查 或叫 例行巡检

mail cacti

1.理解例行检查列表的内容、检查项的含义以及可能引发的问题。

2.按照例行检查表，定期检查系统状态，发现异常立即通报并推进解决。

3.定期检查线上服务模块，排除可疑进程, 发现问题及时通报。

4.理解监控和统计报表的各项含义，每天定时检查报表，发现异常立即通报并推进解决。

5.制定服务例行检查要点和方法，部署执行并不断完善，避免检查的盲点。

工作清单参考

1.在预期的时间内，根据执行手册，保质保量完成产品线既定的例行检查工作。

2.通过技术方式提高例行检查的效率。

3.有能力发现潜在问题，制定或者补充合理的检查清单和检查方式，保证基础运维有效进行。

4.进行问题和追查，并解决可能的隐患。

具体检查项举例

机器性能：idle>60%，memfree>60%，io<30MB/s，nic<90MB/s，disk_used<80%

模块日志：请求次数<800次/s ，耗时<300ms/次，日志fatal|error|warnning条数

系统日志：查检内核日志是否有异常输出 '(I/O error|EXT2-fs error|ERROR on|Medium Error|error recovery|disk error|Illegal block|Out of Memory|dead device|readonly)'

数据报表：前一天用户访问量报表，前一天用户提交量报表，各地域访问服务流量情况和耗时情况，非正常用户(网页抓取)访问量情况

备份检查：检查夜间的数据备份是否正常。

如在排查过程中遇到问题，需要及时跟进：

凭估问题影响，及时通报，跟进问题，定位问题，提出解决方案，经确认后执行解决方案，最后通报问题已解决 并 给出如何让此类问题不再次发生。

二，【整理预案】

工作清单参考

1.根据服务稳定性和部署现状，整理服务执行预案。

2.将服务分级别，分层次，整理不同重要性的应急预案。

3.定期进行预案演练，每季度进行一次大规模预案演练，但如有重要级别的服务，可以加快预案练习频率(每月演练一次)

4.记录预案执行时间，人员，操作耗时，影响服务时间，服务恢复时间，最后整理整个预案演习的时间和真正影响服务时间。

5.根据预案演练发现的问题，记录问题原因，并更新预案，如果有遗漏的监控应在预案演练后及时添加监控。

6.优化预案执行过程，预案执行自动化，降低影响服务的时间。

三，【故障处理】

1.熟悉服务日常故障处理方法和预案执行要点。

2.对已知线上故障能按流程进行通报并按预案执行。

3.及时处理并回复相关的服务报警信息。

4.能透彻分析报警原因,并推动报警问题解决。

5.能发现服务隐患，总结处理方法和提出预案改进建议。

四，【数据备份】

1.根据服务类型，将需要备份的数据划分重要级别，理解什么数据需要全量备份，什么时候需要增量备份，并且需要确认数据需要保留天数。

2.编写数据恢复预案，定期演练，包含但不限于每季度的数据恢复测试；

3.根据服务调整、机器迁移等服务变更须及时更新备份方案；

五，【机器管理】

1.熟悉服务器资源状况，机房分布情况，并能做到批量管理，自动化管理。

2.合理使用服务器资源，根据不同服务的需求，安排不同配置的服务器。

3.保证服务器正常运行，对服务器硬件添加或变更来解决资源不足问题。

4.熟悉服务器上下架、上下线、搬迁相关流程。

六，【服务管理】

服务与服务间的关联关系。

线上服务操作注意事项。

及时发现服务上的问题，并及时跟进、推动解决。

整理运维文档，记录每个服务的问题或潜在问题和这个服务的特殊点。

七，【技术审核】

1.编制或审核上线步骤、回滚方案。

2.按流程高质量地完成上线、操作，包括上线后的检查复核以及紧急情况下的回滚操作。

3.用脚本和自动化的方法实现上线和操作,改进上线/操作过程。

具体审核点：

1.评估变更对运维影响(如资源、接口、平台)，产出评估影响，以及应对策略。

2.评估变更对业务的影响(如流量、收入、网页数等)

3.变更执行

3.1变更时间、地点、参与；

3.2变更方案(含 执行方案、预案)；

3.3变更执行；

3.4变更check；(业务和运维)；

3.5变更回顾；

4.对所做的变更进行回顾和总结

4.1变更问题总结和改进；

4.2改进措施与实施；

4.3改进对业务推动；

4.4改进对运维推动；