目录
01 什么是DreamBench++？
02 与人类对齐的自动化评估
03 更全面的个性化数据集
04 实验结果
面对层出不穷的个性化图像生成技术，一个新问题摆在眼前：缺乏统一标准来衡量这些生成的图片是否符合人们的喜好。
对此，来自清华大学、西安交通大学、伊利诺伊大学厄巴纳-香槟分校、中科院和旷视的研究人员共同推出了一项新基准——DreamBench++。
通过收集不同的图像和提示，团队利用GPT-4o实现了符合人类偏好的自动评估。
简单来说，通过精心设计的提示词以及引入思维链提示，团队让GPT-4o在图像评估过程中学会了像人类一样思考，并展现其思考过程。
没体验过OpenAI最新版GPT-4o？快戳最详细升级教程，几分钟搞定：
升级ChatGPT-4o Turbo步骤
https://www.zhihu.com/pin/1768399982598909952
为了测试效果，团队以7名专业人类标注员的打分为基准，对7种不同的图像生成方法进行了评估。结果显示，DreamBench++与人类评价高度一致。
01 什么是DreamBench++？
DreamBench++是一个全新的评估工具，在个性化图像评估领域实现了两项关键技术突破：
- 引入支持多模态的GPT-4o，实现与人类偏好的深度对齐和自动化评估。
- 推出了一个更为全面和多元化的数据集。
02 与人类对齐的自动化评估
尽管GPT-4o支持多模态输入，但在评估图像中的细微差异时面临挑战。研究人员选择直接打分而非对比，以避免不同方法生成的图像顺序影响结果，并减少标注时间。
为了确保评估的准确性和一致性，研究人员设计了包含以下要素的提示词：
- 任务描述：明确评估的目标和要求。
- 评分标准解释：详细说明评估的依据。
- 评分范围定义：设定评分的量化标准。
- 格式规范：确保评分的统一性和可比性。
评分规则涵盖了形状、颜色、纹理以及面部细节（特别针对人和动物），以全面评估图像的个性化效果。
为了收集无偏的人类偏好数据，研究团队招募了7名经过专业培训的标注员。他们的标注结果被用作人类打分的基准，以确保评估结果的客观性和可靠性。
03 更全面的个性化数据集
为了确保评估过程的公正性和无歧视性，DreamBench++的研究人员构建了一个新的个性化数据集。构建过程包括以下步骤：
- 获取主题关键词：团队挑选并生成了一系列可用于个性化生成的主体名称，如猫、钟表、男人等，共200个关键词，分为物体、活物和风格化图片三种类型。
- 图片收集：收集来源包括Unsplash、Rawpixel和Google Image Search。挑选背景干净、主体占比大的图片，以确保图像的清晰度和识别度。
- 提示词(prompt)生成：引导GPT-4o生成不同复杂程度的提示词。这些提示词的复杂性与生成任务的难度相对应。
04 实验结果
在DreamBench++平台上，研究团队对7种不同的图像生成方法进行了评估。这些方法涵盖了基于训练的、无需训练的，以及基于多模态大语言模型（MLLM）的多种方案。
评估结果显示：
- 在图像相似性方面，DINO-I和CLIP-I（现有的图像自动评估指标）的评分往往高于人类的评价。
- 在文本遵循方面，CLIP-T的评分则相对较低。
- GPT-4o在这两方面的评分均更接近人类的打分。
团队推测上述结果背后的原因是，GPT-4o和人类评价者都会综合考虑多个视觉元素，如形状、轮廓、纹理，以及人或动物的面部细节等，最终给出一个综合性的评分。
这种评价方式更符合人类的直觉和偏好，因为它不仅关注单一方面，而是全面地评估图像的各个方面。
此外，团队还对不同图像生成方法在DreamBench++上的生成结果进行了可视化展示。
在评估图像生成结果的保持主体情况时，DreamBench++与人类评估者达到了79.64%的一致性。
在遵循文本指令生成图像的能力方面，DreamBench++的一致性高达93.18%。
从数据来看，DreamBench++的人类一致性比DINO score高出54.1%，比CLIP score高出50.7%。这也侧面说明，通过设计提示词，能够让GPT-4o较为准确地捕捉和反映人类的审美和偏好。
另外，DreamBench++的数据集多样性更高，与DreamBench相比，finetune-based方法在DreamBench++上的表现会下降。
团队推测这可能是因为他们在DreamBench上调整了参数，而DreamBench的种类并不全面。同时，Emu2在非自然或复杂图像上的表现也会下降。
这些都说明DreamBench++更全面的数据集暴露了已有的个性化方法中的新问题。
如何使用WildCard正确方式打开GPT-4o，目前 WildCard 支持的服务非常齐全，可以说是应有尽有！
官网有更详细介绍：WildCard
推荐阅读：
DeepSeek-Coder-v2击败GPT-4 Turbo，成为竞技场最强开源编码模型！
超越GPT-4o！新王Claude 3.5 Sonnet来啦！
