[LLM]从GPT-4o原理到下一代人机交互技术

一定义

背景：在推出GPT-4o之前，使用语音模式与ChatGPT交流的延迟较长，无法直接观察语调、多个说话者或背景噪音，且无法输出笑声、歌唱或表达情感。

GPT-4o作为OpenAI推出的一款多模态大型语言模型，代表了这一交互技术的重要发展方向。
GPT-4o是OpenAI推出的最新旗舰级人工智能模型，它是GPT系列的一个重要升级，其中的"o"代表"Omni"，中文意思是“全能”，凸显了其多功能特性。该模型被设计为能够实时对音频、视觉和文本进行推理，是迈向更自然人机交互的重要一步。

强调这是一个全能或多模态的模型。GPT-4o的一大特点是其能够处理多种类型的数据输入和输出，包括文本、音频和图像，实现了跨模态的理解和生成能力。这意味着它不仅能理解和生成文本，还能理解音频内容（如语音）和图像信息，并能将这些不同模态的信息综合处理和输出，极大地扩展了AI的应用场景和交互方式。

解决方案：通过训练一个全新的端到端模型，GPT-4o可以跨越文本、视觉和音频的多模态，将所有输入和输出都由同一个神经网络处理(图像音频两个模态对齐于语言大模型)，从而提高了对多模态数据的理解和处理能力。

核心特点：GPT-4o接受任何文本、音频和图像的组合作为输入，并生成任何文本、音频和图像的组合输出。它在语音输入方面的响应速度为232毫秒，平均为320毫秒，与人类对话的响应时间相似。

优势：GPT-4o在文本、推理和编码智能方面表现出与GPT-4 Turbo相当的性能水平，同时在多语言、音频和视觉能力方面创下新的高水平。

安全性和限制：GPT-4o在设计上跨越多种模态，并通过过滤训练数据和后期训练调整模型行为等技术来确保安全性。对于新添加的模态，如音频，GPT-4o认识到存在各种新的风险，并采取了相应的安全干预措施。

总体而言，GPT-4o代表了深度学习在实际可用性方面的最新进展，提供了更加灵活、高效和安全的多模态智能解决方案。

二关键特点

GPT-4o基于Transformer架构，这是一种深度学习模型，特别适合处理序列数据，如文本、音频波形和图像像素序列。它利用了大规模的预训练方法，在互联网上抓取的海量多模态数据集上进行训练，学习到语言、声音和视觉世界的复杂模式。通过自注意力机制，模型能够理解输入数据中的长程依赖关系，并在生成输出时考虑上下文的全面信息。

与之前的单模态模型相比，GPT-4o通过联合训练实现了跨模态的表示学习，使得模型能够理解不同模态之间的联系，实现更自然、更综合的人机交互。此外，它还优化了推理速度和成本效率，使其更加实用和广泛适用。

以下是GPT-4o的一些关键特点和原理，它们揭示了下一代人机交互技术的可能面貌：

多模态交互：GPT-4o支持文本、图像、音频和视频等多种输入模态，能够理解和生成跨模态的内容。这意味着用户可以通过语音、文字、图片或视频与系统交互，而系统也能够以相应的形式提供反馈。
实时处理：GPT-4o能够实时处理语音、视觉和文本信息，响应速度接近人类自然对话的速度4。这为即时交互提供了可能，使得人机对话更加流畅和自然。
端到端训练：GPT-4o实现了多模态端到端训练，所有的输入和输出都由同一个神经网络处理。这种设计减少了信息在不同处理阶段之间的丢失，提高了交互的准确性和效率。
性能和效率：GPT-4o在性能上取得了显著提升，运行速度是前代模型的两倍，同时成本减半。这使得它能够被更广泛地应用于各种场景，包括客户服务、教育、娱乐等领域。
情绪识别与响应：GPT-4o能够检测和响应用户的情绪状态，调整其语气和响应方式，使得交互更加自然和有同理心。
安全性：GPT-4o在设计时考虑了安全性，虽然语音模态带来了新的安全挑战，但OpenAI表示已将风险控制在中等水平以下。
可扩展性：GPT-4o的API定价比前代产品便宜，速度更快，调用频率上限更高，这使得开发者和企业能够更容易地将GPT-4o集成到他们的应用程序中。
特殊任务的token：GPT-4o可能采用了特殊的token来标记不同的任务，以便模型能够生成对应的内容，这有助于提高模型在特定任务上的表现。

通过这些特点和原理，我们可以看到下一代人机交互技术正朝着更加智能、直观和个性化的方向发展。GPT-4o作为这一趋势的代表，展示了未来人机交互的潜力和可能性。

下一代人机交互技术的核心在于实现更自然、更直观的交互方式，让机器能够更好地理解和响应人类的指令和需求。

三基本原理

根据Open-AI公开的信息，他们训练了一个跨越了音频、视觉、文本模态的端到端模型，这表明所有的输入与输出都经过同一个神经网络。这个技术路线与现有的一些开源模型（比如LLAVA、Qwen等多模态模型）不同。Google在23年底公布的Gemini多模态模型，就采用的是这种端到端的方案，并且在当时取得了非常好的效果，不过关于模型的内部以及训练过程，并没有透露相关细节。

从相关技术报告中推测，或许他们针对不同的输入，除了类似于文本token化等输入之前的操作外，针对音频、视觉、文本都有一个专业的token标记开头以及结尾，然后按照顺序组合成输入来避免了采用模态融合方法带来的某些信息丢失的缺陷。也许GPT-4o模型在结构上大概率与Gemini相似，但为了有更好的效果以及更快的速度，表明其最终的方案与Gemini又有很大不同。

1. Data Engineering（输入）

语音输入：通过语音识别系统将用户的语音转换成文本, 参考 Whisper v3 与 Text 结合作为 Multitask training format 再编码
图像输入：使用图像识别技术来解析和理解输入的图像内容,借鉴 Sora 的 Spacetime Patches 极致编码压缩
文本输入：LLM 仍然是主战场，投入人力超1/2，将用户的文本输入新的 Tokenizer直接送入模型。

对于文本、视觉、音频信息，若按照LLM的处理思想，也即预测下一个token的路线，那么，需要对各个模态数据tokenizer，这是一种很普遍的思路。若回顾Gemini多模态模型，会发现Google选用了Flagmni作为视觉Tokenizer，USM作为音频tokenizer，然后针对文本也有对应的Tokenizer，最终或许按照大语言模型的训练思路，来训练多模态模型。鉴于Open-AI的技术积累以及资源，他们肯定有针对各个模态的Tokenizer，只不过很大概率他们的模型比现有开源模型效果更强。

2. Super Aligning(模态融合)

将不同模态的信息转换为统一的内部表示，将语音识别后的文本、图像识别的特征向量等融合。 https://openai.com/index/introducing-superalignment/?utm_source=tldrai

端到端 E2E 的 MLM 大模型，对齐不同模态的输入，统一作为 Transformer 结构的长序列输入；
让能力弱的大模型监督能力强的大模型（LLM supervise MLM）

3. Transformer Decoder(模型)

纯 Transformer Decoder 架构，更加方便训练进行千卡、万卡规模的并行；
推理使用大融合算子（Flash Attention）进行极致加速；
符合 OpenAI 一贯 Everything Scaling Law 的方式；

4. Output

输出可配置、可选择 text/audio/images，因此是 Conducting 的case，统一 Transformers Tokens 输入可实现；
Images 依然借鉴 SORA 使用 DiT 作为生成，但此处生成的为 Images not Videos；
Audio 与 Text 应该会有对齐，保持同声传译；

多模态数据工程：
1.LLM tokens 减少，让大模型的输入序列 Tokens 结合多模态统一为 Signal 长序列；
2.词表增大 Token 减少，分词从 100K 到 200K，LLM 编码率进一步增强；
3.Video 借鉴 SORA 对 spacetime patch 对时序极高编码率；

模型训练：
1.弱监督/自监督为主，否则多模态对齐进行统一模式训练非常难；

模型结构与训练：
1.通过 Super Aligning 对 Text、Audio、Video 三种模态进行对齐；
2.仍然以 LLM（GPT4）能力为主，加入多模态维度 Tokens 形成一个大模型；

三下一代对话式人机交互

什么是对话式人机交互(对话式人工智能)？

对话式智能人机交互是一套技术，允许计算机通过自动表达信息与人类用户进行类人互动。对话式智能人机交互可帮助机器人引导人类用户实现特定目标，并允许机器与人类进行大规模的类人对话。

从本质上讲，对话式人机交互可以定义为负责机器人交流背后逻辑的元素,它是聊天机器人的大脑和灵魂，也是一系列应用的灵魂。

对话式人工智能用于改善人类用户与计算机之间的自然语言处理能力

对话式人工智能由自然语言处理（NLP）提供支持。NLP 专注于解释人类语言，而开发人员则开发对话如何展开的基本框架。简单地说，对话式人工智能与人类合作，通过对话平台实时创建虚拟对话体验。这是人工智能的进化，它已经学会了说话和倾听。

对话式人工智能是如何工作的？

对话式人工智能的工作原理是，应用程序接收人类输入的数据，这些数据可以是书面或口语形式。如果是口语信息，则使用自动语音识别（ASR）将口语转录为文本。

1. 由人类用户生成输入

人类用户向对话式人工智能提供语音或文字输入，通常是通过虚拟助手或chatbots 。

2. 对话式人工智能的输入分析

会话式人工智能在分析文本输入时使用 NLU，在处理语音信息时使用 ASR，通过对所提供数据的深入分析来确定用户信息背后的意图。这需要高级语言分析，只有会话式人工智能才能做到。

3. 由虚拟助理进行对话管理以创建回复

一旦聊天机器人或虚拟助手分析了用户的信息并确定了互动背后的意图，就会根据自然语言生成（NLG）或从工作流/问答中选择做出回应。

4. 不断提高对话式人工智能的能力

对话式人工智能每次与客户或消费者互动，都会增加用于训练的数据集的规模，从而提高其理解和响应用户输入的精确度。因此，对话式人工智能将不断提高性能，为用户提供更好的服务和客户体验。

5. 对话式人工智能依赖于 NLP、NLU、NLG 和强化学习

应用程序使用作为 NLP 一部分的自然语言理解（NLU）来确定文本的含义及其背后的意图。一旦理解了对话内容，系统就会使用对话管理，以便根据对文本含义的理解做出回应。它还可以使用自然语言生成（NLG），即 NLP 的另一个要素，以便将其回复转换为人类可以理解的格式。完成这一步骤后，应用程序会将其回复发送给用户（通过文本或语音合成）。

最后，机器学习可以让应用程序不断学习并改进其性能。深度学习让机器在每次交互中变得更加智能，从而不断改进与人类的交互。

对话式人工智能使用了哪些技术？

对话式人工智能使用以下技术来理解、反应和学习互动

自动语音识别 (ASR)

自动语音识别（ASR）技术的核心是将口语转录为书面文本。其实现过程通常包括以下几个关键步骤：

信号处理：将语音信号转换为可以被处理的数字形式。这包括采样、量化、预处理（如去除噪声、归一化等）。
特征提取：从语音信号中提取特征参数，如梅尔频率倒谱系数（MFCC）、线性预测编码（LPC）等，这些特征用于表示语音信号的短时能量、频率和时域信息。
声学模型：利用深度神经网络（如卷积神经网络、循环神经网络）或传统的隐马尔可夫模型（HMM），将特征参数映射到音素概率分布上。
语言模型：利用n-gram模型或基于深度学习的语言模型（如LSTM、Transformer），结合上下文信息，提高识别精度。语言模型可以预测给定上下文下最可能的词序列。
解码：将声学模型和语言模型的输出结合起来，使用维特比算法或束搜索算法生成最有可能的文本序列。
后处理：对识别结果进行处理，包括拼写检查、语法修正等，以提高识别文本的可读性。

实例：Whisper v3 是一个先进的开源ASR模型，通过结合 Transformer 架构和大量预训练语音数据，实现了高精度的语音转录。

图像识别系统

图像识别系统通过解析图像数据，从中提取有用的信息，如物体、场景、人物等。其实现过程通常包括以下几个关键步骤:

图像预处理：包括图像缩放、裁剪、归一化、去噪等步骤，以保证输入图像的一致性和质量。
特征提取：使用卷积神经网络（CNN）提取图像的空间特征。这些网络通常由多个卷积层、池化层和全连接层组成，用于捕捉图像的层次结构特征。
对象检测与分类：通过进一步处理提取的特征，可以进行对象检测（如使用R-CNN、YOLO、SSD等算法）和图像分类（如ResNet、Inception等架构），从而识别图像中的特定对象或场景。
后处理：对检测或分类结果进行优化，如非极大值抑制（NMS）以去除冗余检测框、结果过滤等。

实例：Sora 是一个图像解析和特征提取系统，可以识别图像中的多种物体并进行分类。