1. Gemma-3 简介

2025年 3月12日，谷歌推出最新多模态大模型 Gemma-3。这是一组轻量级、最先进的开源模型，是迄今为止最先进、便携且负责任开发的开源模型，可以直接在手机、PC、工作站上快速运行。

Gemma 3 的核心改进在于：

• 图像理解：Gemma 3 新增了对图像的处理能力，使其能够支持多模态任务（如文本与图像的结合）。
• 长上下文支持：通过优化架构和训练策略，Gemma 3 能够处理更长的上下文，适用于需要大量上下文信息的任务。
• 多语言性：Gemma 3 在多语言支持方面进行了改进，能够更好地处理多种语言的文本。
• STEM 能力：在科学、技术、工程和数学（STEM）相关任务上，Gemma 3 的性能得到了显著提升。

Google Bolg： https://blog.google/technology/developers/gemma-3/
Hugging Face： https://huggingface.co/blog/gemma3
Kaggle： https://www.kaggle.com/models/google/gemma-3
论文下载： https://storage.googleapis.com/deepmind-media/gemma/Gemma3Report.pdf

Gemma 系列大模型是谷歌开源的一系列轻量级的大模型。Gemma 系列大模型与谷歌 Gemini 系列模型技术同源，但是以免费商用授权的方式开源。2024年2月，谷歌开源 Gemma 2B、7B 模型，参数规模分别为 20亿、70亿，上下文长度 8K。2024年5月，谷歌开源了 Gemma2 系列 2B、9B 和 27B 模型。

1.1 Gemma-3 的新功能

开发者可以使用 Gemma 3 的新功能：

• **构建世界最佳的单加速器模型： **
  Gemma 3 在其尺寸上提供了最先进的性能，在 LMArena 排行榜的初步人类偏好评估中优于 Llama3-405B、DeepSeek-V3 和 o3-mini。这帮助您创建适合单个 GPU 或 TPU 主机的引人入胜的用户体验。

• 支持 140 种语言的全球化应用：
  构建能够说客户语言的应用程序。Gemma 3 提供了超过 35 种语言的开箱即用支持，并对超过 140 种语言进行了预训练支持。

• 创建具有高级文本和视觉推理能力的 AI：
  轻松构建能够分析图像、文本和短视频的应用程序，为交互式和智能应用程序开辟新的可能性。

• 通过扩展的上下文窗口处理复杂任务：
  Gemma 3 提供了 128k 令牌的上下文窗口，让您的应用程序能够处理和理解大量信息。

• 使用函数调用创建 AI 驱动的工作流程：
  Gemma 3 支持函数调用和结构化输出，帮助您自动化任务并构建代理体验。

• 通过量化模型更快地提供高性能：
  Gemma 3 引入了官方量化版本，减少了模型大小和计算需求，同时保持高精度。

1.2 与现有工作流的集成

谷歌还推出了基于 Gemma3 的图像安全分类器 ShieldGemma2，可用于过滤图像输入和输出，以查找归类为色情、危险或暴力的内容。

Gemma 3 和 ShieldGemma 2 可以无缝集成到您现有的工作流程中：

• 使用您喜欢的工具进行开发：
  支持 Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、Google AI Edge、UnSloth、vLLM 和 Gemma.cpp，您可以灵活选择最适合项目的工具。

• 几秒钟内开始实验：
  立即访问 Gemma 3 并开始构建。在 Google AI Studio 中探索其全部潜力，或通过 Kaggle 或 Hugging Face 下载模型。

• 根据您的特定需求定制 Gemma 3：
  Gemma 3 附带了一个改进的代码库，其中包括高效微调和推理的配方。使用您喜欢的平台（如 Google Colab、Vertex AI 甚至您的游戏 GPU）训练和调整模型。

• 按您的方式部署：
  Gemma 3 提供多种部署选项，包括 Vertex AI、Cloud Run、Google GenAI API、本地环境和其他平台，让您灵活选择最适合应用和基础设施的方式。

• 在 NVIDIA GPU 上体验优化性能：
  NVIDIA 直接优化了 Gemma 3 模型，确保您在任何尺寸的 GPU 上（从 Jetson Nano 到最新的 Blackwell 芯片）都能获得最大性能。Gemma 3 现已加入 NVIDIA API Catalog，只需一个 API 调用即可快速原型设计。

• 在多种硬件平台上加速 AI 开发：
  Gemma 3 还针对 Google Cloud TPU 进行了优化，并通过开源的 ROCm™ 堆栈与 AMD GPU 集成。对于 CPU 执行，Gemma.cpp 提供了直接解决方案。

1.3 开始使用 Gemma-3

1. 即时探索：

• 1.1 直接在浏览器中以全精度试用 Gemma 3，无需进行设置，就可以使用 Google AI Studio。
  注意： Google 和 Gemma3 目前在部分国家和地区尚未提供相关服务。

• 1.2 直接从 Google AI Studio 获取 API 密钥，并使用 Google GenAI SDK 使用 Gemma 3。

2. 定制和构建：

• 2.1 从 Hugging Face、Ollama 或 Kaggle 下载 Gemma 3 模型。

• 2.2 使用 Hugging Face 的 Transformers 库或您喜欢的开发环境轻松微调和调整模型以满足您的独特需求。

3. 部署和扩展：

• 3.1 使用 Vertex AI 将您的自定义 Gemma 3 创作大规模推向市场。

• 3.2 使用 Ollama 在 Cloud Run 上运行推理。

• 3.3 在 NVIDIA API Catalog 中开始使用 NVIDIA NIMs。

API 调用例程如下：

import requests, base64invoke_url = "https://integrate.api.nvidia.com/v1/chat/completions"
stream = Truewith open("image.png", "rb") as f:image_b64 = base64.b64encode(f.read()).decode()assert len(image_b64) < 180_000, \"To upload larger images, use the assets API (see docs)"headers = {"Authorization": "Bearer $API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC","Accept": "text/event-stream" if stream else "application/json"
}payload = {"model": 'google/gemma-3-27b-it',"messages": [{"role": "user","content": f'What is in this image? <img src="data:image/png;base64,{image_b64}" />'}],"max_tokens": 512,"temperature": 0.20,"top_p": 0.70,"stream": stream
}response = requests.post(invoke_url, headers=headers, json=payload)if stream:for line in response.iter_lines():if line:print(line.decode("utf-8"))
else:print(response.json())

要深入了解这些功能背后的技术细节，以及我们负责任开发方法的全面概述，请参阅 Gemma 3 技术报告。

Gemma-3 技术报告：摘要

我们推出 Gemma 3，作为 Gemma 系列轻量级开源模型的多模态扩展版本，其参数量范围从 1 亿到 270 亿不等。
该版本引入了视觉理解能力、更广泛的语言覆盖范围以及更长的上下文处理能力——至少支持 128K tokens。
我们还调整了模型的架构，以减少在长上下文场景下容易爆炸的 KV-cache 内存占用。这是通过增加局部注意力层与全局注意力层的比例，并保持局部注意力的跨度较短来实现的。
Gemma 3 模型通过蒸馏训练，在预训练和指令微调版本中均显著优于 Gemma 2。特别是，我们新颖的后训练方法显著提升了数学、对话、指令跟随以及多语言能力，使得 Gemma3-4B-IT 在基准测试中与 Gemma2-27B-IT 竞争，而 Gemma3-27B-IT 则与 Gemini-1.5-Pro 具有可比性。
我们将所有模型向社区开放。

Gemma-3 技术报告：1. 引言

我们推出了Gemma开放语言模型的最新版本（Gemma Team, 2024a），该版本与Gemini前沿模型系列（Gemini Team, 2023）共同设计。这一新版本的模型规模与Gemma 2（Gemma Team, 2024b）相当，并新增了10亿参数模型。这些模型旨在运行于标准消费级硬件，如手机、笔记本电脑和高性能GPU。此版本为Gemma系列引入了多项新能力，包括多模态、长上下文处理和多语言支持，同时保持或超越了先前版本的性能。

**在多模态方面，大多数Gemma 3模型与定制的SigLIP视觉编码器（Zhai et al., 2023）兼容。**语言模型将图像视为由SigLIP编码的软标记序列。我们通过将视觉嵌入压缩为256个固定大小的向量来降低图像处理的推理成本。编码器以固定分辨率工作，并借鉴了LLaVA（Liu et al., 2024）的思路，采用“平移与扫描”（P&S）方法实现灵活分辨率处理。

**另一项主要架构改进是将上下文大小提升至128K tokens，且不降低性能。**长上下文处理的一个挑战是推理过程中KV缓存的内存爆炸问题。为缓解这一问题，我们在每个全局层之间交错多个局部层，并为局部层分配仅1024 tokens的较小跨度。因此，只有全局层关注长上下文，每5个局部层对应1个全局层。

**预训练优化方法与 Gemma 2类似，但在架构设计上有所调整。**我们使用了与Gemini 2.0相同的分词器，并重新审视了数据混合方式，以增强模型的多语言能力，同时引入图像理解。所有Gemma 3模型均采用知识蒸馏（Hinton et al., 2015）训练。
在后训练阶段，我们专注于提升数学、推理和对话能力，并整合Gemma 3的新功能，如长上下文和图像输入。我们采用了一种新颖的后训练方法，在数学、编程、对话、指令跟随和多语言等方面均取得了显著提升。最终的Gemma 3指令微调模型性能强大且功能多样，远超其前代模型。

在接下来的章节中，我们将简要概述模型架构及预训练和后训练方法，并提供多种定量和定性基准的详细评估。我们还将讨论安全负责的部署策略，并阐述Gemma 3的广泛影响、局限性及优势。

Gemma-3 技术报告：2. 模型架构

Gemma 3 模型遵循与先前版本相同的纯解码器 Transformer架构（Vaswani等，2017），其中大多数架构元素与前两代Gemma模型相似。我们采用了分组查询注意力机制（Grouped-Query Attention, GQA）（Ainslie等，2023），并结合后归一化（post-norm）和前归一化（pre-norm）技术，使用 RMSNorm（Zhang和Sennrich，2019）实现。受 Dehghani等（2023）、Wortsman等（2023）以及 Chameleon团队（2024）的启发，我们用 QK 归一化取代了 Gemma 2中的软上限（soft-capping）。

在本节中，我们将重点介绍与前代版本的一些关键差异。

局部层与全局层按 5:1 交错。 我们在局部滑动窗口自注意力机制（Beltagy等，2020）和全局自注意力机制（Luong等，2015）之间进行交替，采用每5个局部层对应1个全局层的模式，并以局部层作为模型的第一层。

长上下文处理。 Gemma 3 模型支持128K tokens的上下文长度，但1B模型例外，其仅支持32K。我们将全局自注意力层的RoPE基频从10k提高到1M，同时保持局部层的频率为10k。我们采用了与Chen等（2023）所提出的位置插值类似的方法，以扩展全局自注意力层的跨度。

2.1 视觉模态

视觉编码器。 我们使用SigLIP编码器（Zhai等，2023）的一个400M变体，这是一种基于视觉Transformer（Dosovitskiy，2020）的架构，采用CLIP损失（Radford等，2021）的变体进行训练。Gemma视觉编码器接收调整为896×896大小的方形图像，并在视觉助手任务的数据上进行微调。为简化起见，我们在4B、12B和27B模型之间共享视觉编码器，并在训练期间保持其冻结状态。

平移与扫描（Pan & Scan, P&S）。 Gemma视觉编码器以896×896的固定分辨率运行。这导致在处理非方形宽高比和高分辨率图像时出现伪影，例如无法识别的文本或消失的小物体。我们通过推理期间的自适应窗口算法来解决这一问题。该算法将图像分割为大小相等的非重叠区域，覆盖整个图像，并将其调整为896×896像素以传递给编码器。此窗口化操作仅在必要时应用，并控制最大区域数量。这是一种仅用于推理阶段的优化，可以禁用以实现更快的推理速度。

参数数量。 表1展示了Gemma 3模型的参数数量。我们的词汇表包含256K条目。

2.2 预训练

我们遵循与Gemma 2相似的知识蒸馏预训练方法。

训练数据。 我们预训练的模型使用了略高于Gemma 2的token预算，即Gemma 3 27B模型训练了14T tokens，12B版本训练了12T tokens，4B版本训练了4T tokens，1B版本训练了2T tokens。token数量的增加是为了适应预训练期间图像和文本的混合使用。我们还提高了多语言数据的比例，以增强语言覆盖范围。我们添加了单语和并行数据，并采用了Chung等人（2023）启发的策略来处理语言表示的不平衡问题。

分词器。 我们使用了与Gemini 2.0相同的分词器：一种基于SentencePiece的分词器，支持数字分割、保留空格和字节级编码（Kudo和Richardson，2018）。最终生成的词汇表包含262k个条目。该分词器对非英语语言更为均衡。

过滤。 我们采用了过滤技术，以减少不良或不安全语句的风险，并删除某些个人信息和其他敏感数据。我们从预训练数据中剔除评估集，并通过最小化敏感输出的传播来降低复述风险。我们还借鉴了Sachdeva等人（2024）的质量重加权步骤，以减少低质量数据的出现。

蒸馏。 我们为每个token采样256个logits，并根据教师模型的概率进行加权。学生模型通过交叉熵损失在这些样本中学习教师模型的分布。对于未采样的logits，教师模型的目标分布设为零概率，并进行重新归一化。

2.3 量化感知训练

除了原始的检查点，我们还提供了不同标准格式下的量化版本模型。这些版本是通过使用量化感知训练（QAT）（Jacob等，2018）对每个模型进行少量步数（通常为5000步）微调得到的。

我们使用非量化检查点的概率作为目标，并调整数据以匹配预训练和后训练分布。基于最流行的开源量化推理引擎（例如llama.cpp），我们专注于三种权重表示：每通道int4、每块int4和切换fp8。

在表3中，我们报告了在32k序列tokens情况下，原始和量化模型在有无KV缓存时每种权重表示所占用的内存量。

2.4 计算架构

我们使用 TPUv4、TPUv5e 和 TPUv5p 训练模型，如表 2 所述。

每个模型配置都经过优化，以最小化训练步骤时间。对于视觉编码器，我们预先计算每张图像的嵌入，并直接使用嵌入进行训练，从而不会增加语言模型的训练成本。

优化器状态使用 ZeRO-3（Ren 等，2021）的实现进行分片。对于多 pod 训练，我们通过数据中心网络执行数据副本缩减，采用 Barham 等（2022）的 Pathways 方法。我们使用 Jax（Roberts 等，2023）和 Pathways（Barham 等，2022）的“单控制器”编程范式，以及 GSPMD 分区器（Xu 等，2021）和 MegaScale XLA 编译器（XLA，2019）。

Gemma-3 技术报告：3. 指令微调

预训练模型通过一种与我们先前方法相比更为先进的后训练方法，转化为指令微调模型（见表6）。

技术：
我们的后训练方法依赖于改进版本的知识蒸馏（Agarwal等，2024；Anil等，2018；Hinton等，2015），从大规模的指令微调教师模型中提取知识，并基于改进版本的BOND（Sessa等，2024）、WARM（Ramé等，2024b）和WARP（Ramé等，2024a）进行强化学习（RL）微调阶段。

强化学习目标：
我们使用多种奖励函数来提升模型的实用性、数学能力、编程能力、推理能力、指令跟随能力以及多语言能力，同时最小化模型的潜在危害性。这包括通过人类反馈数据训练的权重平均奖励模型（Ramé等，2024b）、代码执行反馈（Gehring等，2024）以及解决数学问题的真实奖励数据（DeepSeek-AI，2025；Lambert等，2024）进行学习。

数据过滤：
我们精心优化后训练中使用的数据，以最大化模型性能。过滤掉包含某些个人信息、不安全或有毒模型输出、错误自我识别数据以及重复示例的数据。同时，包括鼓励更好上下文归属、谨慎表达和拒绝反应的数据子集，以减少幻觉现象，从而在保持其他指标性能的同时提升事实性指标的表现。

[BOS]标记：
对于预训练和指令微调模型，文本以[BOS]标记开始，由于文本 “[BOS]” 并未映射到 [BOS] 标记，因此需显式添加。例如，Flax库提供了一个选项 add_bos=True，可在分词时自动添加该标记。指令微调模型的格式化示例如表4 所示。

预训练与指令微调 格式的对比：
所有模型共享相同的分词器，但指令微调模型使用了一些专用的控制标记。一个关键区别在于，预训练模型在生成结束时输出<eos>标记，而指令微调模型则输出<end_of_turn>标记，如表4 所示。因此，微调任一模型类型时，也需添加其相应的结束标记。

Gemma-3 技术报告：4. 最终模型的评估

在本节中，我们通过一系列自动化基准测试和人类评估，以及静态基准测试（如 MMLU），对 IT 模型进行了跨多个领域的评估。

4.1 LMSYS Chatbot Arena

在本节中，我们报告了 IT 27B 模型在 LMSys Chatbot Arena（Chiang 等，2024）上的表现。

该评估通过人类评分员对其他最先进模型进行盲测对比。我们在表 5 中报告了 Elo 分数。Gemma 3 27B IT（1338）位列前十名，其分数高于其他非思维型开源模型，例如 DeepSeek-V3（1318）、LLaMA 3 405B（1257）和 Qwen2.5-70B（1257），这些模型的规模要大得多。最后，Gemma 3 的 Elo 分数显著高于 Gemma 2（1220）。需要注意的是，Elo 分数并未考虑视觉能力，而上述模型均不具备视觉能力。

4.2 标准基准测试

在表 6 中，我们展示了最终模型在各种基准测试中的表现，并与我们之前的模型迭代以及 Gemini 1.5 进行了比较。
我们没有直接与外部模型进行比较，因为这些模型通常使用自己的评估设置，而在我们的设置中运行它们无法保证公平比较。我们鼓励读者参考第三方静态排行榜，以进行更公平的模型间比较。我们在附录中提供了模型在其他基准测试上的额外评估结果。

Gemma-3 技术报告：5. 消融

在本节中，我们主要关注我们的架构变化所带来的影响，以及一些新的视觉能力对这个模型的影响。
消融实验旨在分析模型架构变化和新增功能（如视觉能力）对性能的影响，从而更好地理解模型的改进点。

5.1 预训练能力探测

我们在预训练期间使用多个标准基准测试作为探测工具，以确保模型能够捕捉通用能力。

在图 2 中，我们比较了 Gemma 2 和 Gemma 3 在这些通用能力（即科学、代码、事实性、多语言性、推理和视觉）上的预训练模型质量。这些图表中使用的不同公共基准测试的性能细节总结在附录中。

总体而言，尽管增加了视觉能力，新版本在大多数类别中都有所提升。

我们特别关注了该版本中的多语言性，这直接影响了模型的质量。然而，尽管使用了去污染技术，这些探测工具仍存在污染风险（Mirzadeh 等，2024），这使得更明确的结论难以评估。

5.2 局部:全局注意力层

我们测量了局部和全局自注意力层的变化对推理性能和内存消耗的影响。

• 局部与全局 注意力层的比例：
  在图 3 中，我们比较了不同比例的局部与全局注意力层。Gemma 2 模型使用 1:1 的比例，而 Gemma 3 使用 5:1 的比例。我们观察到改变这一比例对困惑度的影响很小。

• 滑动窗口大小：
  在图 4 中，我们比较了不同全局:局部比例配置下局部注意力层的滑动窗口大小。滑动窗口可以显著减小，而不会影响困惑度。

• 对 KV 缓存内存的影响：
  在图 5 中，我们展示了在 32k 令牌上下文推理期间，模型使用的内存与 KV 缓存之间的平衡。“仅全局”配置是大多数密集模型使用的标准配置。“1:1, sw=4096”是 Gemma 2 使用的配置。我们观察到，“仅全局”配置会导致 60% 的内存开销，而在 1:3 比例和滑动窗口为 1024（“sw=1024”）的情况下，这一开销减少到不到 15%。

在图 6 中，我们计算了 KV 缓存使用的内存与上下文长度的函数关系，比较了我们的 2B 架构（L:G=5:1, sw=1024）与“仅全局”2B 模型的表现。

5.3 支持长上下文

我们没有从头开始训练 128K 序列，而是先用 32K 序列进行预训练，然后在预训练结束时将 4B、12B 和 27B 模型扩展到 128K 令牌，同时重新缩放 RoPE（Chen 等，2023）。我们发现缩放因子为 8 在实践中效果良好。
需要注意的是，与 Gemma 2 相比，我们还将全局自注意力层的 RoPE 基础频率从 10k 增加到 1M，而局部自注意力层保持 10k。在
图 7 中，我们展示了不同上下文长度对困惑度的影响。我们的模型能够泛化到 128K，但随着进一步扩展，性能迅速下降。

5.4 小教师模型与大教师模型

一个常见的发现是，训练小模型时，从小教师模型蒸馏效果更好。我们推测这是因为这些研究通常在以下设置中进行：使用较差教师的正则化效果超过了使用更好教师的收益。
我们使用两个不同大小的教师模型（一个大教师和一个小教师）训练学生模型，并观察不同训练周期的影响。
在图 8 中，我们观察到，在短训练周期内，小教师模型效果更好，但在较长训练周期内，趋势相反。

5.5 视觉编码器

• 图像分辨率的影响：
  我们使用基于 SigLIP（Zhai 等，2023）的视觉编码器。视觉编码器被冻结，仅训练语言模型。多模态数据中的每张图像由视觉编码器生成的 256 个图像令牌表示。因此，更高分辨率的编码器使用平均池化将其输出减少到 256 个令牌。例如，896 分辨率编码器在其输出上使用 4x4 平均池化。
  如表 7 所示，更高分辨率的编码器表现优于较低分辨率的编码器。

• Pan & Scan（P&S）：
  P&S 能够以接近原始宽高比和分辨率捕捉图像。
  在表 8 中，我们比较了使用和不使用 P&S 的 27B IT 模型。正如预期的那样，能够以接近原始分辨率处理图像的能力极大地帮助了需要读取图像上文本的任务，这对视觉语言模型尤为重要。

Gemma-3 技术报告：6. 记忆与隐私

大型语言模型可能会生成与训练数据中某些文本近乎相同的副本（Biderman 等，2023；Carlini 等，2021，2022；Ippolito 等，2022；Nasr 等，2023）。之前的几份报告通过量化记忆率来评估这种风险（Anil 等，2023；Chowdhery 等，2022；Gemini 团队，2023，2024；Gemma 团队，2024a,b；LLaMa 团队，2024）。

这里的“记忆率”定义为模型生成与训练数据匹配的文本占所有生成文本的比例，具体测试方法如下。我们遵循 Gemma 团队（2024b）描述的方法进行测量。具体来说，我们从训练数据中均匀抽取大量样本，并使用长度为 50 的前缀和长度为 50 的后缀测试这些内容是否可被发现提取（Nasr 等，2023）。如果生成文本的所有标记与源后缀完全匹配，则将其标记为“完全记忆”；如果匹配的编辑距离在 10% 以内，则标记为“近似记忆”。
我们在此并不声明或暗示模型”包含“其训练数据，因为模型中有该数据的副本。相反，模型记忆其训练数据的属性，以便在某些情况下，当遵循规则并使用其包含的训练数据的特征信息时，它在统计上能够生成此类训练数据。

图 9 比较了 Gemma 和 Gemini 模型的记忆率；这些模型按时间倒序排列，最新的 Gemma 3 模型位于左侧。我们发现，Gemma 3 模型对长文本的记忆率远低于之前的模型（注意 y 轴为对数刻度）。我们观察到 4B、12B 和 27B 模型的记忆率差异很小，而 1B 模型的记忆率低于这些更大的模型。此外，我们发现“近似记忆”的文本比例更高，与“完全记忆”相比，“近似记忆”的比例平均增加了约 24 倍。

我们还研究了生成文本中可能包含个人信息的比例。为了识别潜在的个人信息，我们使用了 Google Cloud 敏感数据保护（SDP）服务。SDP 使用广泛的检测规则来识别可能包含个人信息的文本。SDP 的设计目标是高召回率，并且不考虑信息出现的上下文，这会导致许多误报。因此，我们可能高估了被分类为记忆的输出中包含的潜在个人信息的真实数量。SDP 还提供了广泛的严重级别：低、中、高。如果 SDP 将文本分类为任何严重级别的个人信息，我们将其标记为个人文本。我们观察到，在所有 Gemma 3 模型的记忆输出中，没有发现个人信息。这表明在分类为记忆的输出中，个人数据的比例很低，低于我们的检测阈值。

Gemma-3 技术报告：7. 责任、安全与保障

在 Gemma 模型的开发中，责任、安全和保障至关重要。为了降低 Gemma 3 用户的风险，我们继续在整个开发流程中整合增强的内部安全流程，与最近的 Google AI 模型（Gemini 团队，2024）保持一致。这包括在训练时进行安全缓解，以及对我们引入的新图像到文本功能进行稳健且透明的模型评估。

7.1 治理与评估

我们评估 Gemma 的收益和风险的方法与 Gemma 1（Gemma 团队，2024a）中概述的方法一致，同时考虑了支持模态的变化。我们仍然相信，AI 的开放性可以将这些技术的好处传播到整个社会，但必须评估其与恶意使用风险之间的平衡，这些风险可能对个人和机构造成伤害（Weidinger 等，2021）。自 Gemma 首次发布以来，我们已经看到这些模型推动了多项社会有益的应用，例如我们自己的 ShieldGemma 2，这是一个基于 Gemma 3 构建的 4B 图像安全分类器，为图像安全提供了现成的解决方案，输出危险内容、色情内容和暴力类别的安全标签。

发布 Gemma 3 模型需要特别关注模型能力的变化，并密切监控现有多模态 LLM 的演变风险（Lin 等，2024），同时了解模型在现实世界中的使用方式。尽管我们尚未收到任何关于 Gemma 恶意使用的报告，但我们仍然致力于调查任何此类报告，并与学术界和开发者社区合作，同时进行我们自己的监控，以标记此类情况。

尽管能力有所提升，但我们认为，鉴于目前已有许多更强大的开源模型，此次发布对整体风险格局的影响微乎其微。

7.2 安全政策与训练时缓解措施

Gemma 安全方法的一个关键支柱是将微调模型与 Google 的安全政策对齐，与 Gemini 模型（Gemini 团队，2023）保持一致。这些政策旨在帮助防止我们的模型生成有害内容，例如：
- 儿童性虐待和剥削
- 泄露可能导致伤害的个人身份信息（例如，社会安全号码）
- 仇恨言论和骚扰
- 危险或恶意内容（包括促进自残或指导有害活动）
- 色情内容
- 与科学或医学共识相悖的医疗建议

我们对预训练数据进行了大量的安全过滤，以减少预训练和微调检查点生成有害内容的可能性。对于微调模型，我们还使用监督微调（SFT）和基于人类反馈的强化学习（RLHF）来引导模型远离不良行为。

7.3 保障评估

我们还对 IT 模型进行了一系列基线保障评估，以了解模型可能造成的潜在危害。尽管我们倡导开源模型，但我们也认识到权重发布的不可逆性需要进行严格的风险评估。我们的内部安全流程据此设计，并且对于之前的 Gemma 模型，我们还进行了与极端风险相关的能力评估（Phuong 等，2024；Shevlane 等，2023）。

随着我们继续开发和分享开源模型，我们将遵循这样的启发式方法：对更强大的模型进行彻底评估通常可以为能力较弱的模型提供足够的保障。因此，我们为 Gemma 3 优先考虑了一套简化的评估，仅在特定模型可能带来潜在高风险时进行深入的危险能力评估（如下所述的 CBRN 评估）。我们在开发速度与针对性安全测试之间取得平衡，确保评估重点明确且高效，同时遵守我们在前沿安全框架中做出的承诺。

基线评估
基线保障评估使用大量合成的对抗性用户查询，并由人类评分员标记答案是否违反安全政策。总体而言，Gemma 3 在这些安全政策上的违规率显著较低。

化学、生物、放射性和核（CBRN）知识
由于在 STEM 相关任务上的性能增强，我们使用内部数据集评估了与生物、放射性和核风险相关的知识，该数据集包含封闭式、基于知识的多项选择题。对于化学知识的评估，我们采用了 Macknight 等开发的关于化学危害的封闭式知识测试方法。我们的评估表明，Gemma 3 模型在这些领域的知识水平较低。

7.4 我们对负责任开源模型的方法

设计安全、可靠和负责任的应用需要系统级的方法，努力减轻与每个特定用例和环境相关的风险。我们将继续根据模型潜在风险的比例采取评估和安全缓解措施，并仅在确信收益显著超过可预见风险时与社区分享这些模型。

Gemma-3 技术报告：8. 讨论与结论

在这项工作中，我们介绍了 Gemma 3，这是 Gemma 开源语言模型家族的最新成员，支持文本、图像和代码处理。在这个版本中，我们专注于增加图像理解和长上下文支持，同时提升多语言性和 STEM 相关能力。我们的模型规模和架构设计旨在与标准硬件兼容，并且大多数架构改进都是为了在保持性能的同时适应这些硬件。

版权声明：

youcans@xidian 作品，转载必须标注原文链接：
【技术报告】谷歌开源多模态大模型 Gemma-3
Copyright 2025 youcans, XIDIAN
Crated：2025-03