随着 OpenAI 在多模态方面的最新进展，想象一下将这种能力与视觉理解相结合。

现在，您可以在 Streamlit 应用程序中使用 GPT-4 和 Vision，以：

1. 从草图和静态图像构建 Streamlit 应用程序。
2. 帮助你优化应用的用户体验，包括调试和文档。
3. 克服LLM的局限性和幻觉hallucinations。

在本文中，我将带您了解 8 个实际用例，这些用例举例说明了将 GPT-4 与 Vision 结合使用的新可能性！

1. 人工智能中的多模态简史

在我们深入研究各种用例之前，重要的是要为多模态奠定一些概念基础，讨论开创性模型，并探索当前可用的多模态模型。

多模态(Multi-modal LLMs) LLMs 是一种基于多种类型的数据（如文本、图像和音频）进行训练的 AI 系统，而不是专注于单一模态的传统模型。

近年来，多模态的旅程取得了长足的进步，各种模式都铺平了道路：

• CLIP 是 OpenAI 于 2021 年推出的 OG 模型，它是一种开创性的模型，能够以零样本和少样本学习的方式泛化到多个图像分类任务。
• 2022 年发布的 Flamingo 以其在多模态领域生成开放式响应方面的强劲表现而著称。
• Salesforce 的 BLIP 模型是一个统一视觉语言理解和生成的框架，可提高一系列视觉语言任务的性能。

GPT-4 with Vision 建立在开创性模型的基础上，以推进视觉和文本模式的整合。然而，它并不是当今唯一争夺注意力的多模态模型;Microsoft 和 Google 也越来越受欢迎：

• Microsoft 的 LLaVA 使用预先训练的 CLIP 视觉编码器，尽管数据集较小，但仍提供与 GPT-4 相似的性能。
• Gemini 是 Google 的多模式模型，它之所以脱颖而出，是因为它从根本上设计为多模式。

参考

https://blog.streamlit.io/7-ways-gpt-4-vision-can-uplevel-your-streamlit-apps/