复杂的深度模型中，如果效果不好，是因为网络设计的欠缺？还是数据天然缺陷？是训练代码的bug？还是Tensorflow自身的问题？基于此，阿里工程师推出了DeepInsight深度学习质量平台，致力于解决当前模型调试和问题定位等一系列问题。接下来，阿里巴巴高级技术专家、DeepInsight深度学习质量平台技术负责人：孙凯（花名：路宸），带我们一起探索。
1. 背景
机器学习训练过程的调试、可视化以及训练效果的评估一直是业界难题。在数据较少，模型较简单，如LR、GBDT、SVM，超参不多的情况下，模型的可调性和可解释性都有一定保障，那么我们用简单的训练，再观察召回/精度/AUC等指标就可以应对。
而深度学习时代，模型的复杂性远远超乎想象，层层嵌套的网络结构，优化器和大量超参的选择，特征的连续化，一起构建了复杂的深度模型。如果效果不好，其原因是多样的，为了定位和解决这些问题，算法研发同学需要花费大量精力反复尝试，而且很可能得不到准确的答案。简单来说，网络模型近似于黑盒。
- DeepInsight
通过研究，我们发现训练和评估过程中大量中间指标与模型效果能产生关系，通过系统的分析建模张量、梯度、权重和更新量，能够对算法调优、问题定位起到辅助决策作用。而且，通过改进AUC算法，分析ROC、PR、预估分布等更多评估指标，能够更全面地评估模型效果。
通过2个多月的努力，我们推出了DeepInsight平台，致力于解决当前模型调试和问题定位等一系列问题。提交模型开始训练之后，用户可以通过DeepInsight平台，能一站式查看并分析训练过程，从训练中间指标到预测指标，再到性能数据，一应俱全。对于训练中明显的问题，平台也会高亮给予提示。未来，我们希望平台能更好地帮助用户发现和定位训练中的问题，并能给予适当提示（如更改某些子网络的最优化算法、更改学习率动量等），就如同GDB之于C++一样。
2.1 目标
沉淀并持久化训练数据。深度学习的数据非常宝贵，每次训练的网络拓扑、参数、训练中间过程、模型评估指标都会持久存储，方便后续人工分析和二次建模；
沉淀对模型训练的认识，提供分析调优手段，辅助决策，同时规避各类已知问题；
利用大数据分析建模，寻找中间过程指标的关系，更好地辅助决策，我们称这个目标为Model on Model，即利用新的模型来分析评估深度模型；
在大数据分析建模的基础上，尝试对已有模型进行深度强化学习（DRL），提高深度学习调试效率。
2.2 架构
系统主要分为四层：输入层、解析层、评估层、输出层；
同时包括五大组件：Tensorboard+可视化分析；TensorViewer日志展示对比；TensorDealer集成配置；TensorTracer数据透出；TensorDissection分析调优。
2.3 进展
2.3.1 高性能可视化组件TensorBoard+
Google的TensorBoard（简称为TB）是TensorFlow（简称为TF）的可视化组件，可以查看深度学习的网络结构、中间指标等。原生的TB是单机版命令行方式运行，无法多用户使用；易用性差，每次切换日志路径都需要kill掉当前进程；同时性能也很差，加载工业模型数据立即卡死；指标分层混乱，几千个指标全都罗列，无法查看；用法复杂功能较弱，不支持已展示图形的二次数据对比，不支持X轴浮点数据展示等。
因此，我们重构了TB的核心代码，支持GB级日志加载和数据分层，将整个服务改造成多用户版本，利用Docker灵活管理资源并自动回收。UI上支持了高亮自定义指标、分层展示、数据对比、日志上传等，具体如下：
支持在线更改TF日志路径：
支持图形数据在线聚合对比：
支持X轴浮点数值类型展示：
支持图形数据Hightlight分维度显示：
支持手动调整前端定时刷新时间，实时展示数据：
2.3.2 集成配置日志管理系统TensorViewer
TF的任务缺乏有效管理，用户无法按需查看和分析数据，更无法回顾历史数据。我们打通了TF与DeepInsight的通路，收集了所有任务的信息，用户可以查看每次训练的实时数据和所有历史数据，支持多任务对比分析；同时支持一键跳转到Tensorboard+，直接对当前日志数据进行可视化展示。
2.3.3 改进TensorFlow的可视化数据透出
我们定义了一套数据透出方式，可以把所有内部数据透出成统一的Summary格式，并被Tensorboard+处理。由于PS架构没有Master集中处理中间数据，再加上张量、梯度等指标的透出是极为消耗资源的，所以，如何透出数据是值得深入研究的。当前我们在Worker0上透出数据，能满足一般模型训练的要求，未来，会研究Snapshot数据透出方案，在大规模网络下也能取得较好效果。
当前，我们已经初步解析了Tensorflow透出的过程指标，正在这些海量指标上进行有监督和无监督的建模探索。
2.3.4 改进模型评估指标
Tensorflow自带的AUC计算方式分桶较少，计算精度有bug，在处理大量数据时性能不够，而且，仅仅能计算AUC，无法绘制ROC、PR等曲线。
我们改进了计算方式，引入更多桶，并提升计算效率，同时，绘制了更多新的指标。当前绘制的指标包括AUC、ROC、PR、波动率、正负样本分桶分布。通过观察正负样本的分布，我们发现Tensorflow异步计算的缺陷，导致某些桶的样本数量有误差，会带来AUC上极小波动，这个bug目前尚未解决。所有的预估指标都无缝接入DeepInsight平台。
2.3.5 研究模型训练中间指标
通过深入观察和建模大规模Embedding子网络的训练指标，我们发现权重（偏置）值的变化可以反应出相关网络结构是否被有效训练。权重（偏置）值变化微弱的区域即为训练的“盲区”—该部分网络没有被训练起来。通过观察权重（偏置）的梯度，可以帮助我们诊断梯度弥散或梯度爆炸等问题，分析了解训练该部分网络的难易程度，有针对性地调整优化器以及学习率等设置。通过全面考察整个网络各部分的激活以及梯度，可以帮助我们深入了解整个网络前后向多路信息相互耦合、协同传导的复杂机制，从而更有效地进行模型结构的设计调优。
对中间指标的研究会沉淀回流到DeepInsight，在训练指标产出后，对用户给予提示，做到辅助决策的作用。
原文链接
本文为云栖社区原创内容，未经允许不得转载。
