CulturalBench :一个旨在评估大型语言模型在全球不同文化背景下知识掌握情况的基准测试数据集

2024-10-04,为了提升大型语言模型在不同文化背景下的实用性,华盛顿大学、艾伦人工智能研究所等机构联合创建了CulturalBench。这个数据集包含1,227个由人类编写和验证的问题,覆盖了包括被边缘化地区在内的45个全球区域。CulturalBench的推出,目的通过一个稳健、多样化且具有挑战性的基准测试,衡量并跟踪我们在提升LLMs文化知识方面的进步。

一、研究背景:

大型语言模型在跨文化交流中扮演着越来越重要的角色。然而,现有的文化知识基准测试往往缺乏多样性和挑战性,无法全面评估LLMs在不同文化背景下的表现。

目前遇到的困难和挑战:

1、现有的文化知识基准测试覆盖范围有限,缺乏对边缘化地区的关注。

2、 LLMs在处理具有多种正确答案的复杂问题时表现不佳,往往只倾向于选择单一答案。

3、现有的基准测试可能无法准确反映模型在真实世界中的文化知识水平,因为训练数据可能包含了用于训练的网络资源。

数据集地址:CULTURALBENCH|文化知识数据集|语言模型评估数据集

二、让我们来一起看一下CulturalBench

是一个目的在评估大型语言模型(LLMs)在全球不同文化背景下知识掌握情况的基准测试数据集。

CulturalBench 的构建过程包括三个主要步骤:

1、红队测试数据收集:通过AI辅助的交互式红队测试方法,让人类参与者基于他们的日常生活观察和独特的文化知识,提出具有挑战性的问题。

2、人工质量检查:由独立评审员对每个问题进行验证,确保问题的质量。

3、筛选:通过多数票筛选出那些经过验证、能够准确反映文化特点的问题。

数据集特点:

1、问题数量:包含1,227个高质量问题,每个问题都经过五名独立评审员验证。

2、覆盖范围:覆盖45个全球区域,包括一些通常被忽视的地区,如孟加拉国、津巴布韦和秘鲁。

3、话题多样性:问题涵盖17个不同的文化话题,从食品偏好到问候礼节等。

4、两种模式:包含单模式问题(只有一个正确答案)和多模式问题(有多个正确答案),以捕捉每个地区的文化多样性

CulturalBench 提供了两种评估设置:

1、CulturalBench-Easy:以多项选择的形式提出问题。

2、CulturalBench-Hard:将多项选择问题转换为四个二元问题(真/假),增加了评估难度。

基准测试 :

测试了30个不同型号的LLMs,包括 OpenAI 的 GPT、Llama 和 Qwen 等。 测试结果显示,即使是性能最好的模型,在 CulturalBench-Hard 上的表现也远低于人类的表现,这表明该基准测试的有效性和挑战性。

CulturalBench 涵盖了 17 个不同的文化主题,分为三个总体类别。

AI 辅助红队数据收集和验证以构建 CulturalBench 的概述。

有关数据收集和验证的分步详细信息。

在 CulturalBench-Hard 上对性能进行建模,随机基线为 6.25%,人类性能为 92.6%。

三、展望CulturalBench的应用:

比如,某个城市,居民来自世界各地。市政府意识到,尽管他们努力提供平等的服务,但一些新移民并不经常使用这些服务。市政府怀疑这可能是因为宣传材料没有很好地传达给所有人。

问题发现:

通过社区走访和在线调查,市政府发现:

1、一些宣传册子使用了难以理解的术语,对新移民来说不太友好。

2、宣传材料中缺乏多种语言,导致一些非英语母语的居民难以理解。

3、宣传材料中的图片和例子没有很好地代表城市的文化多样性。

市政府通过使用CulturalBench数据集来评估和改进他们的公共服务宣传材料。

1、评估现有材料:他们用CulturalBench中的问题来测试现有的宣传材料,看看是否能够满足不同文化背景居民的需求。

2、收集反馈:市政府组织了一个由不同文化背景的居民组成的焦点小组,使用CulturalBench的问题来引导讨论,收集他们对宣传材料的反馈。

3、改进内容:基于反馈,市政府决定做以下改进:

-设计新的宣传材料:市政府聘请了一个多文化背景的设计团队,帮助他们设计新的宣传册子、海报和网站。

-试点测试:在新的宣传材料正式发布之前,市政府先在一个多元文化社区进行试点测试,看看新的内容是否容易被理解和接受。

-收集试点反馈:市政府通过问卷和访谈收集了试点测试的反馈,并根据反馈进一步调整宣传材料。

-正式发布:经过多次迭代和改进,市政府终于发布了新的宣传材料。

-持续评估:市政府承诺,他们将定期使用CulturalBench来评估宣传材料的有效性,并根据社区的变化持续进行更新。

新宣传材料发布后,市政府注意,更多的居民开始使用公共服务。通过这种方,居民对市政府的满意度提高了,社区中的不同文化群体感到更加被尊重和包含。

来吧,让我们走进 CULTURALBENCH|文化知识数据集|语言模型评估数据集

公开数据集网站

遇见数据集-让每个数据集都被发现,让每一次遇见都有价值遇见数据集,国内领先的百万级数据集搜索引擎,实时追踪全球数据集市场,助力把握数字经济时代机遇。icon-default.png?t=O83Ahttps://www.selectdataset.com/

 

遇见数据集-让每个数据集都被发现,让每一次遇见都有价值遇见数据集,国内领先的百万级数据集搜索引擎,实时追踪全球数据集市场,助力把握数字经济时代机遇。icon-default.png?t=O83Ahttps://www.selectdataset.com/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/59937.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CAD VBA 图元颜色跟随图层

效果如下: 一、所有图元颜色为bylayer Sub 图元颜色跟随图层() Dim item As AcadEntityFor Each item In ThisDrawing.ModelSpace item.color acByLayer Next ThisDrawing.Regen acActiveViewport End Sub二、与图层颜色相同(不是bylayer):…

介绍一下数组(c基础)(smart 版)

c初期,记住规则,用规则。 我只是介绍规则。(有详细版,这适合smart人看) 数组(同类型) int arr[n] {} ; int 是 元素类型。 int arr[n] {} ; arr为标识符。 {} 集合,元素有次…

【数据结构】插入排序——直接插入排序 和 希尔排序

直接插入排序 和 希尔排序 一、直接插入排序二、直接插入排序的弊端三、希尔排序(1)对插入排序的联想(2)希尔排序的思路 四、直接插入排序和希尔排序效率对比1>随机生成10000个数2>我们随机生成100000个数3>我们随机生成…

python使用turtle画图快速入门,轻松完成作业练习

turtle介绍 turtle是一个绘图库,可以通过编程进行绘图。其模拟了一个乌龟在屏幕上的运动过程。该库通常用于给青少年学习编程,当然,也可以使用其进行作图。 在一些学校中,可能在python学习的课程中,要求完成turtle绘…

K8S群集调度二

一、污点(Taint) 和 容忍(Tolerations) 1.1、污点(Taint) 设置在node上是对pod的一种作用 节点的亲和性,是Pod的一种属性(偏好或硬性要求),它使Pod被吸引到一类特定的节点 而Taint 则相反,它使节点能够排斥一类特…

分布式唯一ID生成(二): leaf

文章目录 本系列前言号段模式双buffer优化biz优化动态step源码走读 雪花算法怎么设置workerId解决时钟回拨源码走读 总结 本系列 漫谈分布式唯一ID分布式唯一ID生成(二):leaf(本文)分布式唯一ID生成(三&am…

MVDR:最小方差无失真响应技术解析

目录 什么是MVDR?MVDR的工作原理主要步骤MVDR的应用场景MVDR的优势与挑战结论 什么是MVDR? MVDR(Minimum Variance Distortionless Response,最小方差无失真响应)是一种用于信号处理中的自适应滤波技术,广…

Flink安装和Flink CDC实现数据同步

一,Flink 和Flink CDC 1, Flink Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。 中文文档 Apache Flink Documentation | Apache Flink 官方文档 :https://flink.apache.org Flink 中文社区…

【React.js】AntDesignPro左侧菜单栏栏目名称不显示的解决方案

作者:CSDN-PleaSure乐事 欢迎大家阅读我的博客 希望大家喜欢 使用环境:WebStorm 目录 问题概述 原因 解决方案 解决方法 潜在问题修改 最终效果呈现 额外内容 管理员界面路由配置 WebStorm背景更换 法一: 法二: 问题概…

MCU面试题

面试题 1、Crotex-M 处理器才用的架构是"v7" Cortex-M3处理器是基于ARMv7-M架构的处理器,支持更丰富的指令集,包括许多32位指令,这些指令可以高效的使用高位寄存器。另外,M3还支持: 查表跳转指令和条件执行&…

Mysql COUNT() 函数详解

在使用Mysql的时候,作为开发者,聚合函数是肯定会用到的,下面就来说说我们常用到的统计行数的聚合函数 COUNT()。 COUNT() 的几种用法 说到COUNT() 函数,最常用的几种方法就是 COUNT(*) 、COUNT(1)、 COUNT(column),那…

基于SSM的图书馆座位预约系统+lw示例参考

#1.项目介绍 系统角色:管理员、普通用户功能模块:管理员(用户管理、座位管理、座位分类管理、图书馆管理、预约信息管理、退座管理、系统管理等)、普通用户(信息查看、图书馆管理、个人中心、座位预约等)技…

【数字图像处理+MATLAB】计算并显示灰度图像的直方图(Histogram):使用 imhist 函数

引言 imhist 是 MATLAB 中的一个函数,用于计算并显示图像的直方图。 直方图是一种统计工具,用于显示图像中各个亮度级别的像素数量。直方图的垂直轴表示像素数量,水平轴表示亮度级别。 函数详解 基本语法: imhist(I) imhist(I…

了解云计算工作负载保护的重要性及必要性

云计算de小白 云计算技术的快速发展使数据和应用程序安全成为一种关键需求,而不仅仅是一种偏好。随着越来越多的客户公司将业务迁移到云端,保护他们的云工作负载(指所有部署的应用程序和服务)变得越来越重要。云工作负载保护&…

windows server2019下载docker拉取redis等镜像并运行项目

一、基本概念 1、windows server 指由微软公司开发的“Windows”系列中的“服务器”版本。这意味着它是基于Windows操作系统的,但专门设计用于服务器环境,而不是普通的桌面或个人用户使用。主要用途包括服务器功能、用户和资源管理、虚拟化等 2、dock…

0. 渲染游戏画面

1 用到的函数 # initialize env env gym.make() frame env.render() frame np.transpose(frame, (1, 0, 2)) # 调整图像方向 frame pygame.surfarray.make_surface(frame) screen.blit(frame, (0, 0)) pygame.display.flip()1.1 检查图像的形状 首先,我们…

【西藏】《西藏自治区本级政务信息化项目建设和运维费用预算支出标准》(藏财建〔2024〕68号)-省市费用标准解读系列08

2024年9月1日,西藏自治区财政厅和经济和信息化厅正式施行最新信息化建设和运维项目预算支出标准《西藏自治区本级政务信息化项目建设和运维费用预算支出标准》(藏财建〔2024〕68号)(以下简称“68号文”)。同时&#xf…

Autosar CP Transformer规范工作原理和应用场景导读

一、AUTOSAR规范中Transformer的主要功能和分类 (一)主要功能 数据转换与处理 从运行时环境(RTE)获取数据,进行序列化(将复杂数据结构转换为线性字节数组)或其他转换操作(如添加校…

【网络安全 | 并发问题】Nginx重试机制与幂等性问题分析

未经许可,不得转载。 文章目录 业务背景Nginx的错误重试机制proxy_next_upstream指令配置重试500状态码非幂等请求的重试问题幂等性和非幂等性请求non_idempotent选项的使用解决方案业务背景 在现代互联网应用中,高可用性(HA)是确保系统稳定性的关键要求之一。为了应对服务…