文献阅读:MathPrompter: Mathematical Reasoning using Large Language Models

  • 文献阅读:MathPrompter: Mathematical Reasoning using Large Language Models
    • 1. 内容简介
    • 2. 方法细节
    • 3. 实验内容
    • 4. 结论&思考
  • 文献链接:https://arxiv.org/abs/2303.05398

1. 内容简介

这篇文章是今年3月份的时候微软提出的一篇工作,其核心的问题是优化了GPT模型在数学问题上的回答准确性。

众所周知,生成模型在生成内容真实性方面一直存在较大的问题,虽然随着GPT模型的持续迭代,模型生成质量一直在不断地提升,不过生成内容可靠性的问题事实上还是一直存在的,无法被彻底根除。

而这个问题在数学问题上更加会被极具放大,而这篇文章的核心工作就是在这方面进行了优化。

但是具体到方法上面,事实上这里也并没有什么根本上的方法改进,事实上也就是一个专门进行数学问题的prompt工程的工作,因此多少还是有些失望。

而且更进一步地,他们的方法的有效性可能也不是纯粹的来自于他们的prompt方法,而是可能来自于系综模型的效果……

anyway,不过无论如何,这篇文章达到的效果是实打实的,因此无论如何还是有一些借鉴意义的。

2. 方法细节

本文的核心方法可以用下图中的流程图进行表述:

在这里插入图片描述

它可以抽象为以下两个大的步骤:

  1. 将具体的问题抽象为一个和具体数字无关的代数问题;
  2. 通过重复验证的方式对1中给出的代数问题进行数字化计算,具体包括:
    1. 多种不同的计算方式交叉验证;
    2. 多次计算重复验证;

下面,我们给出文中的具体步骤如下:

  1. 抽象化代数问题
  2. 分别生成1中给出的代数问题解答的代数表达式以及python解答函数;
  3. 计算2中给出的代数表达式的解答以及python函数执行得到的结果;
  4. 重复多次执行,得到的最高频次的回答就最可能是问题最后的答案。

3. 实验内容

下面,我们来看一下文中给出实验结果。

这篇文章的实验内容相对来说还是比较简单的,就是在MultiArith数据集上面做了一些实验,然后获得了比较显著的效果。

给出其具体的实验效果表格如下:

在这里插入图片描述

可以看到:

  • 使用math prompter之后,模型的效果确实有了较大幅度的提升。

最后,文中还给出了几个具体的case如下图所示:

在这里插入图片描述

可以看到:

  • 使用math prompter之后模型的效果较之baseline确实有了一定的提升,不过依然无法完全规避掉事实性错误,还是会有错误的存在。

4. 结论&思考

综上,我们可以看到:

  • math prompter这篇文章确实是有效的,有效地提升了数学问题上的回答准确性。

不过对于文中使用的方法,我个人多少有点存疑。

首先,文中给出的实例中的数学题本质上都不难,也就是小学应用题的水平,而且都是简单计算题,对于稍微复杂一些的问题,比如说不等式问题或者求最大最小值的问题,似乎上述方法都不具有可扩展性。

另一方面,文中这种交叉验证以及多次生成验证的方式,事实上就是一个ensemble方法,而ensemble的方式获得的效果高于单一模型的效果应该是一个比较公认的结果了。因此文中给出的方法带来的提升有多少来自于他们的mathprompter,有多少来自于ensemble方式事实上也有一些存疑。

综上,这篇文章的价值总让我有一些怀疑……

不过尽管如此,这篇文章关于代数拆分的方式还是很有启发价值的,因为原先的问题如果要一步求解的话,那无疑需要同时完成题意的理解以及数字的计算,尤其后者由于模式太多,因此对大模型的统计概率生成来说尤其显得不友好。

而分钟通过拆分任务的方式让模型先理解问题,然后进行数字求解,本质上就是一个COT方式,无疑大幅简化了任务,增大了单一任务当中模型执行的结果可靠性。

这个思路还是很有启发意义的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/2315.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HTML+CSS复习第一天

浏览器内核标签: 单行省略号 white-space:nowrap text-overflow:ellipsis overflow:hidden多行省略号:使用到浏览器内核:-webkit- 谷歌浏览器 overflow:hidden text-overflow:ellipsis -webkit-box-orient: vertical; -webkit-line-clamp: 3; display…

uniapp请求接口封装

uniapp请求接口封装 在uniapp发送请求跟web的不同,而且通过uni.request这个方法进行调用。 示例: uni.request({url: https://www.example.com/request, //仅为示例,并非真实接口地址。data: {text: uni.request},header: {custom-header:…

【云原生】k8s安全机制

前言 Kubernetes 作为一个分布式集群的管理工具,保证集群的安全性是其一个重要的任务。API Server 是集群内部各个组件通信的中介, 也是外部控制的入口。所以 Kubernetes 的安全机制基本就是围绕保护 API Server 来设计的。 比如 kubectl 如果想向 API…

机器学习/深度学习常见算法实现(秋招版)

包括BN层、卷积层、池化层、交叉熵、随机梯度下降法、非极大抑制、k均值聚类等秋招常见的代码实现。 1. BN层 import numpy as npdef batch_norm(outputs, gamma, beta, epsilon1e-6, momentum0.9, running_mean0, running_var1)::param outputs: [B, L]:param gamma: mean:p…

工欲善其事,必先利其器之—react-native-debugger调试react native应用

调试react应用通常利用chrome的inspector的功能和两个最常用的扩展 1、React Developer Tools (主要用于debug组件结构) 2、Redux DevTools (主要用于debug redux store的数据) 对于react native应用,我们一般就使用react-nativ…

Vue动态多级表头+行列合计+可编辑表格

新建组件&#xff1a;Table.vue <template><el-table-column :label"coloumnHeader.label" :prop"coloumnHeader.label"><template v-for"item in coloumnHeader.children"><tableColumnv-if"item.children &&am…

Java项目查询统计表中各状态数量

框架&#xff1a;SpringBoot&#xff0c;Mybatis&#xff1b;数据库&#xff1a;MySQL 表中设计2个状态字段&#xff0c;每个字段有3种状态&#xff0c;统计这6个状态各自的数量 sql查询语句及结果如图 SQL&#xff1a; SELECT SUM(CASE WHEN A0 THEN 1 ELSE 0 END) AS A0…

数据分析的iloc和loc功能

大家好&#xff0c;在处理大型数据集时&#xff0c;使用有效的数据操作和提取技术是必要的。Pandas数据分析库提供了强大的工具&#xff0c;用于处理结构化数据&#xff0c;包括使用iloc和loc函数访问和修改DataFrame元素的能力。在本文中&#xff0c;我们将探讨iloc和loc之间的…

Java 【dubbo rpc改feign调用】解决调用服务提供方无法传递完整参数问题

dubbo rpc改feign调用&#xff0c;feign调用接口异常统一处理 服务调用方服务提供方 【框架改造问题点记录&#xff0c;dubbo改为spring cloud alibaba】 【第二篇】feign接口异常解决 【描述】多参数情况下&#xff0c;调用服务提供方无法传递完整参数、改SpringQueryMap原因是…

论文笔记--OpenPrompt: An Open-source Framework for Prompt-learning

论文笔记--OpenPrompt: An Open-source Framework for Prompt-learning 1. 文章简介2. 文章概括3 文章重点技术4. 文章亮点5. 原文传送门 1. 文章简介 标题&#xff1a;OpenPrompt: An Open-source Framework for Prompt-learning作者&#xff1a;Ning Ding, Shengding Hu, We…

短视频seo矩阵系统源码开发部署

目录 短视频矩阵源码部署步骤简单易懂&#xff0c;开发者只需按照以下几个步骤进行操作&#xff1a; 代码展示---seo关键词分析 开发要点&#xff1a; 代码展示如下&#xff1a; 开发部署注意事项&#xff1a; 说明&#xff1a;本开发文档适用于短视频seo矩阵系统源码开发…

django中批量添加对象SupplierNature.objects.bulk_create(SupplierNature对象)

insert_list [] for i in range(10000):namef"{i} "insert_list.append(MyModel(namename)) MyModel.objects.bulk_create(insert_list)注明&#xff1a;创建的是对象

PostgreSQL考试难不难 ?

当涉及到PostgreSQL考试的详细难度&#xff0c;以下是一些可能涉及的主题和考点&#xff0c;这些主题在不同的考试中可能有所不同&#xff1a; 1.数据库基础知识&#xff1a;数据库的基本概念、关系型数据库模型、表、字段、主键、外键等。 2.SQL语言&#xff1a;对SQL语言的掌…

ACME申请SSL证书

1.开放443端口 firewall-cmd --permanent --add-port443/tcp # 开放443端口 firewall-cmd --reload # 重启防火墙(修改配置后要重启防火墙)2.安装ACME # 安装acme curl https://get.acme.sh | sh -s email你的邮箱地址 # 别名 alias acme.sh~/.acme.sh/acme.sh3.使用ACME申请…

攻防世界-web-easytornado

题目描述&#xff1a;Tornado 框架。打开链接是一个简单的界面 1. 思路分析 看到有个/flag.txt&#xff0c;我们点击进去看下 发现传入了两个参数&#xff0c;一个是filename&#xff0c;还有一个是filehash 看到里面的内容&#xff0c;提示我们真正的flag在 /flllllllllllla…

Django auto_now=True 不更新

create_time models.DateTimeField(db_column"CreateTime", auto_now_addTrue) update_time models.DateTimeField(db_column"UpdateTime", auto_nowTrue) 现象&#xff1a; update_time 的auto_now设置为True&#xff0c;更新了表格里的某个属性的值&…

【LeetCode 算法】Walking Robot Simulation 模拟行走机器人 - 二分

文章目录 Walking Robot Simulation 模拟行走机器人问题描述&#xff1a;分析代码二分 Tag Walking Robot Simulation 模拟行走机器人 问题描述&#xff1a; 机器人在一个无限大小的 XY 网格平面上行走&#xff0c;从点 (0, 0) 处开始出发&#xff0c;面向北方。该机器人可以…

【自监督预训练 2023】MCL

【自监督预训练 2023】MCL 论文题目&#xff1a;Multi-Level Contrastive Learning for Dense Prediction Task 中文题目&#xff1a;稠密预测任务的多级对比学习 论文链接&#xff1a;https://arxiv.org/abs/2304.02010 论文代码&#xff1a;https://github.com/GuoQiushan/MC…

Unity视角拉近时物体缺失的问题处理

在Unity的开发过程中&#xff0c;我们可能会遇到以下情况&#xff1a; 就是在场景的不断编辑中&#xff0c;突然又一次打开场景&#xff0c;再拉近或拉远场景视角时&#xff0c;会出现场景中的对象会显示不全的问题。 出现了这样的情况会让场景的预览很不友好。 出现这个问题的…

rust

文章目录 rustCargoCreating a rust project How to Debug Rust Programs using VSCodebasic debuggingHow to pass arguments in Rust debugging with VS Code. References rust Cargo Cargo is a package management tool used for downloading, compiling, updating, and …