随着智能 IPC 设备（如安防摄像头、宠物陪伴机器人、婴儿监视器等）日益普及，越来越多的生活场景被实时记录。然而在实际使用中，由于设备安装位置不当、广角镜头视野过大等原因，经常会出现拍摄主体占比过小的问题，导致"全景清晰而主体模糊"，严重影响用户的观看体验。
一、涂鸦 AI 推理模型自动突出主体
因此，涂鸦重磅推出 On-App AI 视频主体突出解决方案，利用涂鸦赋能 App 的 AI 能力对画面进行实时目标检测，自动定位、识别主体后，再利用图像算法对其进行智能自适应放大，使主体更突出、画面更聚焦。最后，对处理完成的视频进行编码与封装，即可输出经过优化的视频内容。
该方案适合拓展应用至生活各个场景中，如：
- 在室内监护中，可用于婴儿看护、宠物监测、宠物机器人等设备；
- 在医疗影像或科研中，可结合内镜或其他医疗设备突出术野关键区域；
- 在户外记录时，可用于智能喂鸟器、狩猎摄像机、自然景观摄像机等设备；
- 在安防与工业检测中，可用于巡检、维修等需要检查局部细节的设备。
a.例如针对家庭场景里的小猫，摄像头会自动识别主体并进行画面放大👇：
b.在户外复杂场景下，涂鸦 On-App AI 视频主体方案依然能够精准识别目标对象，并进行动作追踪和画面放大。戳视频，直观体验生成效果👇：
【插入视频】
二、详解涂鸦 AI 视频主体突出技术
1、整体技术架构介绍
在涂鸦所有的 AI 产品/硬件解决方案中, 我们打通了端到端的 AI 能力：即设备端、云端、App 端三端协同。通过将先进的 AI 推理模型部署到涂鸦赋能 App 上，能够助力品牌商与开发者将先进的 AI 技术无缝集成到移动设备中，打造更灵活的 AI 架构、更优的用户体验、更安全的计算能力。
- 在移动端模型的部署中，涂鸦采用了轻量化技术架构（ TensorFlow Lite 等），这种技术架构的优势就在于具备高效推理、低延迟、低功耗等特点，并且支持本地模型实现离线运行、系统更新、部署等按需加载的机制，助力提高运行效率，打造更灵活的 AI 架构。
- 图像处理技术涂鸦采用了 OpenGL ES，可实现更高效的渲染与优化，充分利用 GPU 对图像处理过程进行加速；
- 视频编解码技术采用涂鸦平台提供的硬件解码，能够提升视频处理性能、降低 CPU 负载，确保视频流畅播放与低功耗运行。
（涂鸦 AI 视频主体突出技术架构图）
2、技术亮点
2.1 拥有更灵活的 AI 架构：轻量化和动态化
（轻量化与动态化运行流程示意图）
2.1.1 轻量级检测模型
涂鸦采用专门优化移动端的轻量级对象检测模型 EfficientDet-D0，该模型参数少、计算量小、推理速度快，可以精准检测视频中指定主体（如宠物、人物）的位置与类别。同时，基于智能分析能力可快速筛除无主体片段，有效降低计算负担，提升处理效率。
2.1.2 模型动态化
采用按需加载的动态模型管理机制，支持模型在线下载、更新与部署，确保视频应用始终使用最优模型版本，同时减少初始安装包体积，提高运行效率。
2.2 更优的用户体验：实时性和高效率
2.2.1 实时交互处理
该方案支持实时响应用户的交互需求。依托本地计算的高效运行，可确保流畅无延迟的用户体验，无需依赖网络，即可实现快速响应与实时处理。
2.2.2 新增防抖图像算法
在检测视频主体位置的过程中，检测框可能会发生抖动偏移，从而导致主体放大的画面也会产生抖动；针对这一问题，涂鸦增加抖动阈值，确保视频处理画面时的平滑流畅。
2.2.3 微调模型以提高准确度
涂鸦积累了海量不同场景下的主体图片，覆盖不同光照条件下白天黑夜等多个场景，数据脱敏之后，涂鸦对这些模型进行精心的训练微调，确保模型推理过程中的泛化能力。
2.3 更安全的计算能力：低成本和隐私保护
2.3.1 降低处理成本
涂鸦支持开发者动态调整视频帧的推理策略。在没有检测到视频主体的时候，系统会间隔多帧识别一帧；当检测到主体时，就会自动调整为间隔 3 帧检测一帧。这样就能充分利用移动端的硬件加速，显著提升视频编解码速度，降低 CPU 负载，提高整体性能。
而且，本地化处理相比云端处理的成本更低、更能节约云端负荷，算力消耗每万次减少 25 TFLOPs，节省成本约 10% 左右。
2.3.2 保护隐私安全
该方案的所有数据处理均在本地完成，显著降低时延、提高响应速度，同时避免数据外传，增强用户隐私保护，为应用提供更安全高效的计算环境。
三、开发教程与问题咨询
1、如何实现 AI 视频主体突出功能的开发？
涂鸦 On-App AI 视频主体突出方案是基于涂鸦智能 IPC 功能所打造，如要开发该方案需要先对接 IPC SDK，设备端方案可参考 IPC SDK 开发：
具体开发教程见如下链接👇：
https://t.tuya.com/AY1D3VbxRO
2、技术原理介绍
如需了解更多有关 AI 视频主体突出的技术原理和开发介绍，可复制下方链接查看详情介绍👇：
https://developer.tuya.com/cn/miniapp/solution-ai/case
3、开发者问题咨询
开发中如遇到任何问题，可以登录涂鸦开发者论坛进行提问，将有技术小哥随时为你解答👇：
https://www.tuyaos.com/viewforum.php?f=3
