本期为TechBeat人工智能社区第565期线上Talk。
北京时间1月18日(周四)20:00，香港中文大学博士生—高瑞元的Talk已准时在TechBeat人工智能社区开播！
他与大家分享的主题是: “MagicDrive - 基于3D几何控制的自动驾驶街景数据生成”，介绍了他的团队在新型街景生成框架等相关工作所做的研究。
Talk·信息
▼
主题：MagicDrive - 基于3D几何控制的自动驾驶街景数据生成
嘉宾：香港中文大学博士生 高瑞元
时间：北京时间 1月18日(周四)20:00
地点：TechBeat人工智能社区
点击下方链接，即可观看视频！
TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
https://www.techbeat.net/talk-info?id=843
Talk·介绍
▼
虽然最近在扩散模型方面的进步显著提高了具有2D控制的数据合成能力，并让我们看到了在3D感知任务成功应用合成数据希望，但在街景生成中实现精确的3D控制却依旧十分困难。具体来说，将鸟瞰视角（BEV）作为主要条件会丢失高度信息，无法控制道路表面高度；使用2D控制会影响到物体大小、遮挡模式和，进而与标注不匹配。对于3D物体检测任务，这些都是感知数据合成的重要因素。
MagicDrive作为一个新型街景生成框架，提供了包括相机姿态、道路地图和3D边界框在内的多样化3D几何控制。通过定制编码策略实现了与文本描述的结合，可以实现多种条件的戏力度控制。此外，我们的设计还融入了一个跨视图关注模块，确保了多个相机视图间的一致性。通过MagicDrive，我们捕捉到了细粒度的3D几何变化和各种场景描述差异，实现了高保真度的街景合成。在下游任务的实验中，MagicDrive 还证明了生成数据可以用来提升BEV分割和3D物体检测等任务的表现。
Talk大纲
1、背景：3D 可控的街景生成与自动驾驶感知模型数据增强；
2、方法：MagicDrive - 多重可控 + 跨视角/多帧一致的街景数据生成；
3、实验结果：MagicDrive 生成高质量图像/视频数据，可以有效驱动下有感知任务训练，并且具有多重可控性；
4、总结：MagicDrive 的优势与不足，以及未来工作展望
Talk·预习资料
▼
论文链接：
https://arxiv.org/abs/2310.02601
论文链接：
https://arxiv.org/abs/2308.07687
论文链接：
https://arxiv.org/abs/2306.04607
Talk·提问交流
▼
在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！
你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！
Talk·嘉宾介绍
▼
高瑞元
香港中文大学博士生
高瑞元目前是CUHK计算机系博四的学生，导师是徐强教授。博士期间主要的研究方向是生成模型与感知模型的协同，对AI安全也有所涉猎。此前，高瑞元于北京航空航天大学获得本科学位，曾与北京航空航天大学的杨海龙老师、刘祥龙老师一同合作，主要研究方向为AI隐私。
以第一作者身份在多个会议、期刊发表过多篇论文, 包括ICCV，CCGrid和TCYB，并以协作作者身份发表多篇论文。曾在中国科学院自动化研究所，商汤研究院等实习。
个人主页: TechBeat
关于TechBeat人工智能社区
▼
TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。
我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。
期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！
更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区
