U版YOLO-World来了，YOLOv8再度升级，三行代码上手YOLO-World！

本文首发：AIWalker
欢迎关注AIWalker，近距离接触底层视觉与基础AI

https://arxiv.org/abs/2401.17270
https://github.com/AILab-CVC/YOLO-World
https://github.com/ultralytics/ultralytics
https://www.yoloworld.cc/

YOLO-World亮点

YOLO-World是下一代YOLO检测器，旨在实时开放词汇对象检测。
YOLO-World在大规模视觉语言数据集上进行了预训练，包括Objects 365，GQA，Flickr 30 K和CC 3 M，这使得YOLO-World具有强大的zero-shot开集Capbility与Grounding能力。
YOLO-World实现了快速的推理速度；可以对用户给定词汇，所提重新参数化技术进一步加速推理和部署；

YOLO-World方案

上图为YOLO-World整体架构示意图，它包含一个YOLO检测器、一个文本编码器以及RepVL-PAN。文本编码器首先将输入文本编码为文本嵌入信息；图像编码器对基于输入图像提取多尺度特征信息；RepVL-PAN通过跨模态融合增强文本与图像表征。

YOLO Detector：编码器基于YOLOv8演变而来，YOLOv8由DarkNet骨干、PAN多尺度特征融合以及检测头构成；
Text Encoder：采用CLIP预训练文本编码器对输入文本T提取对应的文本嵌入 $\text{TextEncoder}(T) \in \mathbb{R}^{C \times D}$ ，这里C表示名词数目，D表示嵌入维度。相比于Text语言编码器，CLIP文本编码器可以提供更好的视觉-语义能力。当输入文本是句子时，我们采用n-gram算法提取名词短词并送入本文编码器。
Text Contrastive Head：延续YOLOv8，我们采用解耦头对边框 ${b_k\}_{k=1}^K$ 与目标嵌入 ${e_k\}_{k=1}^K$ 进行回归。作者提出文本对比头(Text Contrastive Head)计算目标-文本相似度 $s_{k,j}$ ，定义如下：

$s_{k,j} = \alpha \cdot \text{L2-Norm}(e_k) \cdot \text{L2-Norm}(w_j)^{T} + \beta$

注：这里的L2-Norm与仿生变换参数对于稳定区域-本文训练非常重要。

Training with Online Vocabulary：在训练过策划肝囊肿，我们为每个Mosaic图像构建一个在线词汇集合T。具体来说，我们采样所有包含在Mosaic图像中的正名词短语，然后从对应数据集中随机采样一些负名词短语。每个Mosaic图像最多包含M个词汇，默认M=80。
Inference with Offline Vocabulary：在推理阶段，我们提出了一种基于离线词汇集合的prompt-then-detect策略以进一步提升效率。用户也可以自定义一些客制化提示信息[可选]，然后采用文本编码器对这些提示信息进行编码得到离线嵌入包。离线词汇可以避免对每个输入都进行文本编码计算，为词汇调整提供了更灵活的调控机制。

更详细介绍请参考：YOLO-World | 赋能YOLOv8开集检测能力，构建新一代YOLO新标杆

上手测试

官方YOLO-World是基于mmyolo, mmdetection实现的，但U1S1，mm系列对于入门确实不错，但对于新开源算法上手测试真心难用，毒瘤啊[mmcv的ops这个鬼东西啊]~

好消息来了！ultralytics支持YOLO-World了，可以直接通过ultralytics库来玩YOLO-world了

使用方式简单到了极致，几行命令即可，还不需要安装一大堆的mm包，不需要编译各种无关op，牛逼克拉斯~

from ultralytics import YOLOWorld# Initialize a YOLO-World model
model = YOLOWorld('yolov8s-world.pt')  # Execute inference with the YOLOv8s-world on the specified image
results = model.predict('bus.jpg')# Show results
results[0].show()

就是这么的简单好用，三行代码完成测试！

那么，YOLO-World的Prompts功能该如何测试呢？同样非常简单，新增一行代码即可，代码如下：

from ultralytics import YOLOWorld# Initialize a YOLO-World model
model = YOLOWorld('yolov8s-world.pt')  # Define custom classes
model.set_classes(["person"])# Execute inference with the YOLOv8s-world on the specified image
results = model.predict('bus.jpg')# Show results
results[0].show()

就这么一行代码改动，YOLO-World就变成了行人检测器，