清华大学与智谱AI重磅开源 GLM-4:掀起自然语言处理新革命

在强大的预训练基础上,GLM-4-9B 的中英文综合性能相比 ChatGLM3-6B 提升了 40%。尤其是中文对齐能力 AlignBench、指令遵从能力 IFeval,以及工程代码处理能力 Natural Code Bench 方面都实现了显著提升。

自 2023 年 3 月 14 日开源 ChatGLM-6B 以来,GLM 系列模型受到了广泛的关注和认可。特别是在 ChatGLM3-6B 开源之后,开发者对智谱 AI 推出的第四代模型充满了期待。而这一期待,随着 GLM-4-9B 的发布,终于得到了满足。

GLM-4-9B 的诞生

为了赋予小模型(10B 以下)更加强大的能力,GLM 技术团队经过近半年的探索,推出了这一全新的第四代 GLM 系列开源模型:GLM-4-9B。

创新预训练技术

在预训练过程中,我们引入大语言模型进行数据筛选,最终获得了 10T 高质量多语言数据。这一数据量是 ChatGLM3-6B 模型的 3 倍以上。此外,我们采用了 FP8 技术进行高效的预训练,相较于第三代模型,训练效率提高了 3.5 倍。考虑到用户的显存需求,GLM-4-9B 的参数规模从 6B 提升到了 9B。最终,我们将预训练计算量增加了 5 倍,从而在有限的显存条件下最大化性能。

卓越性能展示

综合以上的技术升级,GLM-4-9B 具备了更强大的推理性能、更加优异的上下文处理能力、多语言支持、多模态处理以及全工具 All Tools 调用等优势。

GLM-4-9B 系列包括多个版本:

  • 基础版本:GLM-4-9B(8K)
  • 对话版本:GLM-4-9B-Chat(128K)
  • 超长上下文版本:GLM-4-9B-Chat-1M(1M)
  • 多模态版本:GLM-4V-9B-Chat(8K)

GLM-4-9B 的强大能力

基础能力

在强大的预训练基础上,GLM-4-9B 的中英文综合性能相比 ChatGLM3-6B 提升了 40%。尤其是中文对齐能力 AlignBench、指令遵从能力 IFeval,以及工程代码处理能力 Natural Code Bench 方面都实现了显著提升。即使对比训练量更多的 Llama 3 8B 模型,GLM-4-9B 也丝毫不逊色,在英文表现上略有领先,而在中文学科领域,GLM-4-9B 更是提升了高达 50% [性能评测图表]。

长文本处理能力

图片

图片

GLM-4-9B 模型的上下文长度从 128K 扩展到了 1M tokens,意味着能同时处理多达 200 万字的输入,相当于两本《红楼梦》或 125 篇学术论文的长度。GLM-4-9B-Chat-1M 模型在“大海捞针”实验中,成功展示了其出色的无损处理长文本输入的能力 [长文本实验图示]。

以下是两个展示长文本处理能力的 demo 视频案例:

  1. GLM-4-9B-Chat 模型: 输入 5 个 PDF 文件,总长度约为 128K,给出写一篇关于中国大模型发展的详细调研报告的 prompt。模型能够快速生成高质量的调研报告(视频未加速)。
  2. GLM-4-9B-Chat-1M 模型: 输入《三体》全集约 90 万字,要求模型给该小说写续集大纲的 prompt。模型合理规划并给出续写框架(视频加速 10 倍)。

多语言支持

GLM-4-9B 支持多达 26 种语言,包括汉语、英语、俄语等。我们将 tokenizer 的词表大小从 65K 扩展到 150K,编码效率提高了 30%。在多语言理解和生成任务中,GLM-4-9B-Chat 显著超越 Llama-3-8B-Instruct [多语言性能比较图]。

Function Call 能力

GLM-4-9B 的函数调用能力相较上一代提升了 40%,在 Berkeley Function-Calling Leaderboard 上,其 Function Call 能力与 GPT-4 不相上下 [函数调用性能对比图表]。

All Tools 全工具调用

“All Tools”能力即模型可以理解和使用各种外部工具(如代码执行、联网浏览、画图等)来辅助完成任务。在 1 月 16 日的 Zhipu DevDay 上,GLM-4 模型全线升级了 All Tools 能力,可以智能调用网页浏览器、代码解释器、CogView 等工具,完成复杂请求 [All Tools 任务图示]。

多模态处理

GLM-4V-9B 作为 GLM-4 基座的开源多模态模型,能够处理高分辨率输入,将视觉和文本数据直接混合进行训练,展现了显著的多模态处理效果,与 GPT-4V 性能相当。在识别和处理复杂多模态任务时,表现非常出色 [多模态应用实例图]。

图片

图片

未来展望

GLM-4-9B 展现了其在多种任务中的强大性能,是自然语言处理领域的一大突破。无论是学术研究还是工业应用,GLM-4-9B 都将成为您的不二选择。

我们诚挚邀请您加入 GLM-4 的使用者行列,共同探索这款卓越模型带来的可能性:

  • GitHub 仓库
  • Hugging Face 模型页面
  • 魔搭社区  

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/851804.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《Brave New Words 》致谢

Acknowledgments 致谢 Thank you to Umaima Marvi for being the best life partner, whose support has been instrumental in every step of this journey. 感谢 Umaima Marvi,她是最好的生活伴侣,她的支持在这段旅程中的每一步都起到了关键作用。 Imr…

ES 操作

1、删除索引的所有记录 curl -X POST "localhost:9200/<index-name>/_delete_by_query" -H Content-Type: application/json -d {"query": {"match_all": {}} }POST /content_erp_nlp_help/_delete_by_query { "query": { &quo…

Vue2/Vue3使用video播放视频--捕获截图

基本步骤 在JavaScript中&#xff0c;实现从<video>元素中截图的基本步骤如下&#xff1a; 1、创建Canvas元素&#xff1a;首先&#xff0c;需要创建一个<canvas>元素&#xff0c;因为截图操作会借助Canvas的绘图上下文来完成。 2、获取Video帧&#xff1a;从<v…

编程的m09:深入解读这一神秘指令的四大方面、五大细节、六大应用场景及七大挑战

编程的m09&#xff1a;深入解读这一神秘指令的四大方面、五大细节、六大应用场景及七大挑战 在编程的世界中&#xff0c;各种指令和代码如同魔法咒语&#xff0c;它们被赋予特定的含义和功能&#xff0c;用以操控计算机完成各种任务。然而&#xff0c;对于初学者或是不熟悉某个…

算法刷题笔记 二进制中1的个数(C++实现)

文章目录 题目描述基本思路实现代码 题目描述 给定一个长度为n的数列&#xff0c;请你求出数列中每个数的二进制表示中1的个数。 输入格式 第一行包含整数n。第二行包含n个整数&#xff0c;表示整个数列。 输出格式 共一行&#xff0c;包含n个整数&#xff0c;其中的第i个…

SQL Server几种琐

SQL Server 中的锁类型主要包括以下几种&#xff0c;它们用于控制并发访问和数据一致性&#xff1a; 1. 共享锁&#xff08;Shared Lock&#xff0c;S 锁&#xff09;&#xff1a; - 用于读取操作&#xff08;如 SELECT 语句&#xff09;。 - 允许多个事务同时读取同一资…

【云原生】Kubernetes----Metrics-Server组件与HPA资源

目录 引言 一、概述 &#xff08;一&#xff09;Metrics-Server简介 &#xff08;二&#xff09;Metrics-Server的工作原理 &#xff08;三&#xff09;HPA与Metrics-Server的作用 &#xff08;四&#xff09;HPA与Metrics-Server的关系 &#xff08;五&#xff09;HPA与…

QT属性系统,简单属性功能快速实现 QT属性的简单理解 属性学习如此简单 一文就能读懂QT属性 QT属性最简单的学习

4.4 属性系统 Qt 元对象系统最主要的功能是实现信号和槽机制&#xff0c;当然也有其他功能&#xff0c;就是支持属性系统。有些高级语言通过编译器的 __property 或者 [property] 等关键字实现属性系统&#xff0c;用于提供对成员变量的访问权限&#xff0c;Qt 则通过自己的元对…

【算法与数据结构】【数组篇】【题11-题15】

系列文章 本人系列文章-CSDN博客https://blog.csdn.net/handsomethefirst/article/details/138226266?spm1001.2014.3001.5502 1.数组基本知识点 1.1概念 数组就是一个集合。数组会用一些名为索引的数字来标识每项数据在数组中的位置&#xff0c;且在大多数编程语言中&…

14. fastLED调色板

Color Palettes Functions and class definitions for color palettes.调色板的函数和类定义。 RGB palettes map an 8-bit value (0-255) to an RGB color. You can create any color palette you wish; a couple of starters are provided: ForestColors_p, CloudColors_p…

机器学习-- 如何清洗数据集

文章目录 引言&#xff1a;数据清洗的具体步骤数据清洗的具体方法和示例1. 处理缺失值2. 去除重复数据3. 修正数据格式4. 处理异常值5. 标准化和归一化6. 处理不一致的数据7. 转换数据类型8. 数据集成 总结 引言&#xff1a; 数据清洗是数据处理和分析的关键步骤&#xff0c;旨…

2024/6/11 英语每日一段

They found that, regardless of culture, greater mental well-being is linked with feeling emotions that we believe are appropriate to our situation, rather than just having positive emotions regardless of context--“feeling right” as opposed to “feeling g…

Qt进程间通信(QSharedMemory、QLocalSocket、QWebSocket、QProcess、D-BUS、QTcpSocket)

通信方法&#xff1a; 1、QSharedMemory。 2、QLocalSocket。 3、QWebSocket。 4、QTcpSocket。 5、QProcess。 6、D-BUS 共享内存QSharedMemory 介绍&#xff1a;共享内存指 (shared memory)在多处理器的计算机系统中&#xff0c;可以被不同中央处理器&#xff08;CPU&#…

什么是电表无人抄表?

1.电表无人抄表&#xff1a;智能时代的新式计量方法 随着科技的发展的迅猛发展&#xff0c;传统电表抄表方法正被一种全新的、高效率的方式所替代——电表无人抄表。这类技术的普及&#xff0c;不仅提升了电力行业的经营效率&#xff0c;同时也为用户增添了更贴心的服务。 2.…

从零开始手把手Vue3+TypeScript+ElementPlus管理后台项目实战九(整体布局02)

使用el-menu和el-sub-menu及el-menu-item导航 src/layout目录下新增components目录&#xff0c;components目录下新增PageSidebar.vue 代码基本思想为&#xff1a;读取router中定义的routes数组&#xff0c;渲染绑定到el-menu。 el-menu和el-sub-menu及el-menu-item的区别&…

SprringCloud Gateway动态添加路由不重启

文章目录 前言&#xff1a;一、动态路由必要性二、SpringCloud Gateway路由加载过程RouteDefinitionLocator接口PropertiesRouteDefinitionLocator类DiscoveryClientRouteDefinitionLocatorInMemoryRouteDefinitionRepositoryCompositeRouteDefinitionLocator类CachingRouteDef…

【话题】程序员应该有什么职业素养

大家好&#xff0c;我是全栈小5&#xff0c;欢迎阅读小5的系列文章&#xff0c;这是《话题》系列文章 目录 背景职业素养的重要性职业素养的核心1.1 承诺与责任感1.2 沟通与团队合作1.3 学习与持续进步 态度和价值观的作用2.1 诚实和诚信2.2 责任和自我管理2.3 尊重和多样性 职…

Linux crontabs定时执行任务

文章目录 前言一、安装二、服务1. 启动crond服务2. 关闭crond服务3. 重启crond服务4. 设置crond开机启动5. 禁用crond开机启动6. 查看crond是否开机启动7. 重新载入配置8. 查看crond运行状态 三、使用1. 查看当前用户的crontab2. 编辑用户的crontab3. 删除用户的crontab的内容 …

JEPaaS 低代码平台 j_spring_security_check SQL注入漏洞复现

0x01 产品简介 JEPaaS是一款优秀的软件平台产品,可视化开发环境,低代码拖拽式配置开发,操作极其简单,可以帮助解决Java项目80%的重复工作,让开发更多关注业务逻辑,大大提高开发效率,能帮助公司大幅节省人力成本和时间成本,同时又不失灵活性。适用于搭建 OA、ERP、CRM、…

100v 高耐压ldo 高压三端稳压芯片

100v 高耐压ldo 高压三端稳压芯片