前言
如果单纯的将大模型用来聊天，那就是low了。
而多模态赋予了大模型更多的现实价值，大模型则助力多模态变得更强大。
多模态
我们所处的是一个物理世界，不同事物之间模态多种多样，即便是简单的文本，按照语言，格式都可以分很多个模态。
在实际使用中，多模态的场景往往需要模型微调，才可能满足需求。
我们这里还是主要看一下当前比较常用的基础多模态和支持的模型。
| 模态 | 场景 | 模型 | 备注 |
|---|---|---|---|
| 文本 | nlp：自然语言处理 | ||
| nlu:自然语言理解 | |||
| nlg:自然语言生成 | gpt-3.5-turbo | ||
gpt-4 | |||
| 语音 | asr：语音转文本 | ||
| tts：文本转语音 | 国外：微软，google平台都很好用 | ||
| 国内：讯飞，Paddle等也很好 | 语音一般都是转成文本然后给到大模型 | ||
| 图片 | 文生图 | ||
| 图生文 | |||
| 图编辑 | |||
| 图检索 | midjourney:最好的图片生成工具，没有之一 | ||
DALL·E:openai的模型，2和3都很好，功能强大 | |||
gpt-4-vision-preview:图片理解的模型 | |||
VisualBERT和ImageBERT：图片向量化 | 图片和大模型可以玩的很花，下面详说 | ||
| 视频 | 文生视频，视频理解 | 待sora问世 | 视频相关的结合较少，基建缺缺 |
| 代码 | 代码生成和纠错 | `Codex` 已集成到gpt的模型中 | 现在的基础大模型几乎都具备编程能力，并且被广泛集成到github copilot，VS Code这类工具中 |
| embedding | RAG:检索增强 | 开源的bert | |
openai的text-embedding-xxx系列 | |||
中文的m3e | 严格讲这不算一个模态，但RAG往往被单拎出来用 | ||
| 审计 | 内容审计相关的场景，用于检测不安全内容 | openai的text-moderation-xx系列 | 还记得我之前说的大模型安全问题吗，使用审计模型也是一种方向 |
典型场景
1. 漫画
我们可以利用大模型自动根据我们的剧情画漫画，它的实现流程大致如下：
- 单智能体版本
- 创建一个漫画家
agent - 给这个漫画家添加一个
文生图的tool - 给它一段段剧情，自动生成漫画
- 多智能体版本
- 创建一个漫画家
agent，创建一个作家agent - 给这个漫画家添加一个
文生图的tool，给作家一个ttstool。 - 给作家一段概要，作家自动生成一段段剧情，并生成对应的语音
- 漫画家根据剧情画出漫画
2. 健身|减肥
在减肥的时候，是不是有这样的烦恼，不知道自己吃的这顿饭有多少卡路里？
我们可以在吃饭前，把食物拍下来，然后用图生文的能力解读出，当前食物所含有的卡路里。
3. 医疗
我生病时，最头疼的事情就是描述不出自己是什么病，也不知道用什么药。
亲身经历：有次早晨醒来，发现后槽牙龈肿了，吃不了饭，当时不知道是智齿冠周炎，去医院挂号排队，搞了一下午，开了一堆药。后来再出现这样的情况，我就直接网购阿莫西林胶囊和甲硝唑口含片，基本一两天就能好。省略一大笔冤枉钱和大把的时间。
现在想想，如果有大模型支持的医疗agent，借助图搜图的能力，我只需要对着口腔拍个照片，就能直接看病，抓药。
4. 法律助手
这是一个典型的embedding功能，在langchain框架上有现成的功能。实际应用中是非常普遍和广泛的。
比如当你在做某个事情，而不知道法律是如何规定的时候，用embedding功能对所有的法律条目进行召回，并用大模型进行总结和回复。
5. siri
这是一个较为复杂的场景，它集成苹果手机的基础功能，此时他的模态更加宽泛，是一个典型的大模型和多模态的应用场景。
尾语
多模态是大模型应用中不可缺少的部分。是更贴近应用的部分。
不同的应用场景需要不同的策略，可能是新旧技术的结合，也可能是完全新的领域，比如sora。多模态正在发力的路上，还需要我们更多的探索。
如何学习大模型
现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。
作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。
一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。
二、AI大模型视频教程
三、AI大模型各大学习书籍
四、AI大模型各大场景实战案例
五、结束语
学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。
再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。
因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。
![[深度学习] Transformer](https://img-blog.csdnimg.cn/direct/6fd25764fa9843e4a6fd1c9ca3b4a851.png)
