大神出新品,吴恩达开源机器翻译智能体项目

节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学。

针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

合集:

《大模型面试宝典》(2024版) 正式发布!
持续火爆!《AIGC 面试宝典》已圈粉无数!


前段时间,随着 GPT-4o、Sora 的陆续问世,多模态模型在生成式方面取得的成绩无可否认,而人工智能的下一个革命性突破将从何处涌现,引起了大量学者和相关人士的关注。

人工智能著名学者、斯坦福大学教授吴恩达一直非常推崇智能体。此前他曾在个人博客着重指出「AI 智能体工作流将会在今年推动人工智能取得长足进步」,AI 智能体的未来潜力愈加被看好,吸睛无数。

近日,吴恩达延续他之前的脚步,开源了一个 AI 智能体机器翻译项目。

图片

项目链接:https://github.com/andrewyng/translation-agent

他分享了关于 AI 智能体机器翻译对改进传统神经机器翻译方面的看法:「具有巨大潜力,尚未被完全发掘」,并发布了一个他一直在周末玩的翻译智能体演示。该翻译智能体以 MIT 许可证形式发布。用户可以自由使用、修改和分发该代码,无论是商业用途还是非商业用途。

在研究团队有限的测试中,吴恩达团队开源的翻译智能体有时能够与领先的商业提供商进行同等水平的竞争,有时则不如它们。但它仍提供了一个高度可控的翻译系统,只需简单更改 prompt,使用者就可以指定语气(正式 / 非正式)、地区变体(例如:使用者想要在西班牙本地说的西班牙语,还是在拉丁美洲说的),并确保术语的翻译一致性(通过提供词汇表)。这个应用程序虽然目前仍稍显稚嫩,但鉴于反思工作流已经展现出不错的成果,吴恩达认为智能体翻译仍有很大的提升空间。

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗技术与面试交流群, 想要大模型技术交流、了解最新面试动态的、需要源码&资料、提升技术的同学,可以直接加微信号:mlc2040。加的时候备注一下:研究方向 +学校/公司+CSDN,即可。然后就可以拉你进群了。

想加入星球也可以如下方式:

方式①、微信搜索公众号:机器学习社区,后台回复:交流
方式②、添加微信号:mlc2040,备注:交流

在吴恩达分享的开源项目中,具体介绍了 AI 智能体翻译项目的工作流。

翻译智能体:使用反思工作流进行智能体翻译

这是一个使用 Python 演示的反思智能体工作流的机器翻译示例。主要步骤如下:

1. 输入 prompt,使大型语言模型(LLM)将文本从 source_language 翻译成 target_language;

2. 让 LLM 反思翻译结果,并提出建设性的改进建议;

3. 利用这些建议改进翻译。

自定义能力

通过使用 LLM 作为翻译引擎的核心,该系统具有高度可控性。

例如:通过更改 prompt,这种工作流比传统的机器翻译(MT)系统更容易实现以下功能:

  • 修改输出的风格,如正式 / 非正式。

  • 指定如何处理习语和特殊术语,如名字、技术术语和缩写。例如,在 prompt 中包含术语表,可以确保特定术语(如开源、H100 或 GPU)翻译的一致性。

  • 指定特定区域的语言使用或特定方言,以服务目标受众。例如,拉丁美洲的西班牙语与西班牙的西班牙语不同;加拿大的法语与法国的法语不同。

通过 BLEU(Bilingual Evaluation Understudy)分数进行翻译质量的评估作为有别于传统机器翻译的后起之秀,同样也是衡量 AI 智能体翻译的必由之路。

根据使用传统翻译数据集的 BLEU 分数进行评估的结果:这种工作流有时能与领先的商业产品竞争,但有时表现也不如它们。不过,它偶尔也能够得到非常好的结果,甚至优于商业产品。

他们认为这只是智能体翻译的起点,这一方向在翻译方面很有前景,并且有很大的改进空间。因此,作者团队发布这一演示,以鼓励更多的讨论、实验、研究和开源贡献。

如果相比于更快且更便宜的传统架构(例如输入文本并直接输出翻译的端到端 Transformer 架构),智能体翻译能够有更好的结果,那么它就 neng 提供一种自动生成训练数据(平行文本语料库)的方法,可以用于进一步训练和改进传统算法。

启动

为使 translation-agent 启动,需要遵循以下步骤。

安装:

安装需要 Poetry 管理器。根据安装环境,安装 Poetry 可能需要执行以下步骤:

pip install poetry
git clone https://github.com/andrewyng/translation-agent.gitcd translation-agent
poetry install
poetry shell # activates virtual environment

运行工作流需要一个包含 OPENAI_API_KEY 的 .env 文件,使用者可以参考 .env.sample 文件作为示例。

Usage:

import translation_agent as ta
source_lang, target_lang, country = "English", "Spanish", "Mexico"
translation = ta.translate(source_lang, target_lang, source_text, country)

使用:

import translation_agent as ta
source_lang, target_lang, country = "English", "Spanish", "Mexico"
translation = ta.translate(source_lang, target_lang, source_text, country)

查看 examples/example_script.py 获取一个示例脚本并进行尝试。

翻译智能体的进一步发展

吴恩达在最后还分享了几点希望开源社区能够尝试的想法,希望凭借众家之力将翻译智能体的巨大潜力归为实处。

  • 尝试其他语言生成模型。此项目主要使用 gpt-4-turbo 进行原型开发。其他人可以尝试其他 LLM,以及其他超参数选择,并查看是否有些大模型可以对特定语言更好地翻译。

  • 术语表的创建。使用 LLM 也许可以更高效地建立术语表。例如,许多企业使用的是互联网上不常用的专业术语,而 LLM 可能不知道这些术语。此外,还有许多术语可能有多种翻译方式。例如,「open source」在西班牙语中可以是「Código abierto」或「Fuente abierta」;两者都可以,但最好选择一个并在单个文档中坚持长期使用。

  • 术语表的使用和实施。将术语表包含在 prompt 中最好的方式是什么?

  • 在不同语言上进行评估。翻译智能体在不同语言中的表现会发生怎样的变化?有没有通过一些变动,使其在特定源语言或目标语言上表现更好的方法?(请注意,对于 MT 系统正在接近的较高性能水平,BLEU 是否是一个很好的度量标准仍是不确定的。)此外,对于资源较少的语言,它的性能表现仍需要进一步研究。

  • 错误分析。吴恩达团队发现此应用程序对于一些指定语言和国家 / 地区(例如,「在墨西哥作为普通话的西班牙语」)来说效果很好。除此之外,当前方法在哪些方面仍存有不足?翻译智能体在专业主题(如法律、医学)或特殊文本类型(如电影字幕)上的性能表现如何?存在怎样的限制?

  • 更好的评估指标。吴恩达认为对 AI 智能体翻译进行更好的评估是一个巨大且重要的研究课题。与其他生成自由文本的 LLM 应用程序一样,当前的评估指标似乎并不足够评估翻译智能体的表现。例如,他们发现:即使在主动型工作流程在捕捉上下文和术语方面表现更好的文档上,仍会导致人类评分者更喜欢当前的商业产品,但是在句子级别进行评估(使用 FLORES 数据集)时,主动型系统的 BLEU 得分则较低。在设计出更好的度量标准(也许使用 LLM 评估翻译?)以在文档水平上更好地实现与人类偏好相关的翻译质量仍需更多的努力。

值得注意的是,一些学术研究小组也开始关注基于 LLM 和主动型翻译的研究。

对于 AI 翻译智能体的前景,吴恩达认为这个领域还处于起步阶段,并分享了一些相关的学术论文供大家参考。

图片

  • 论文标题:ChatGPT MT: Competitive for High- (but not Low-) Resource Languages

  • 论文地址:https://arxiv.org/pdf/2309.07423

图片

  • 论文标题:How to Design Translation Prompts for ChatGPT: An Empirical Study

  • 论文地址:https://arxiv.org/pdf/2304.02182v2

图片

  • 论文标题:Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts

  • 论文地址:https://arxiv.org/pdf/2405.11804

吴恩达此次开源的翻译智能体仍处于初级阶段,但已在机器翻译数据集上有了较好的表现,为 AI 智能体的下一步发展注入了又一剂强心针。

参考链接:https://github.com/andrewyng/translation-agent

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/28793.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

走近科学之《netty 的秘密》

Approaching science《the secret of netty》 IO 相关概念、五种 IO 模型、BIO NIO AIO 特点及区别、NIO 设计原理及核心组件、netty 简介及应用场景、netty 线程模型(Reactor 线程模型)、netty 设计原理及核心组件、netty 常用技巧实现(心跳…

Django REST framework序列化器详解:普通序列化器与模型序列化器的选择与运用

系列文章目录 Django入门全攻略:从零搭建你的第一个Web项目Django ORM入门指南:从概念到实践,掌握模型创建、迁移与视图操作Django ORM实战:模型字段与元选项配置,以及链式过滤与QF查询详解Django ORM深度游&#xff…

【unity笔记】二、海洋系统Crest Ocean System基础

1. 创建海平面 首先确定项目中导入了HDRP插件。这里使用Crest Ocean System HDRP插件。 在场景下创建空对象,这里命名为Ocean。将 OceanRenderer 组件分配给Ocean。该组件将生成海洋几何图形并执行所有必需的初始化。其中Global Wind Speed 属性可以调节风浪大小。…

Web渗透信息收集进阶

网站敏感目录与文件 网站敏感目录表示网站目录中容易被恶意人员利用的一些目录。通常恶意人员都是通过工具扫描,来扫出网站的敏感目录,敏感目录是能够得到其他网页的信息,从而找到后台管理页面,尝试进入后台等,扫描网…

淘宝评论电商API接口,揭示用户真实评价

随着互联网的快速发展,电子商务已经成为了人们生活中不可或缺的一部分。淘宝作为中国最大的在线购物平台,拥有数以亿计的消费者和商家。而用户评价作为消费者了解商品和服务的重要途径,对于商家的信誉和销售有着至关重要的影响。因此&#xf…

PMP证书有何用?

PMP证书有何用? PMP项目管理专业人士资格认证证书对从事或希望从事项目管理工作的人员有重要意义,具体体现在以下几个方面: 1. 提供职业机会: PMP是项目管理领域的国际认可标准,拥有该证书的人在求职时具备了更强的…

JAVA小知识20:万字详解List与ArrayList

一、集合简介 1.1、什么是集合? 可同时存储多个元素的数据结构就是集合。 1.2、为什么要有集合? 我们可以使用数组同时存储多个元素,但是数组有个弊端。数组创建之后长度就会固定,如需扩容则需要手动扩容,我们需要…

图像的对比度和亮度

目标 访问像素值用0来初始化矩阵cv::saturate_cast像素转换提高一张图像的亮度 原理 图像处理 图像变换可以被视作两个步骤: 点操纵(像素转换)相邻区域转换(以面积为基础) 像素转换 在这种图像处理的转换过程中…

oracle发送邮件附件的步骤?怎么配置发信?

oracle发送邮件附件的操作指南?Oracle邮件服务如何? 在Oracle数据库中,发送电子邮件附件是一项常见的任务,特别是在需要自动化通知或报表分发的情况下。AokSend将介绍如何使用Oracle数据库发送带有附件的电子邮件。以下是详细的步…

RTSP/Onvif安防监控平台EasyNVR抓包命令tcpdump使用不了,该如何解决?

安防视频监控汇聚EasyNVR智能安防视频监控平台,是基于RTSP/Onvif协议的安防视频平台,可支持将接入的视频流进行全平台、全终端分发,分发的视频流包括RTSP、RTMP、HTTP-FLV、WS-FLV、HLS、WebRTC等格式。平台可提供的视频能力包括:…

LVS负载均衡集群企业级应用实战-LVS-DR(四)

目录 LVS-DR 一. 环境准备 二. 对虚拟主机操作 三. 对真实服务器操作 四. 打开网页测试 LVS-DR 一. 环境准备 三台虚拟机,都要在同一网段内,统一关闭防火墙和selinux,时间同步,配置好YUM源。系统用centos和roucky都行。 主…

2024最新版Node.js下载安装及环境配置教程(非常详细)

一、进入官网地址下载安装包 官网:Node.js — Run JavaScript Everywhere 其他版本下载:Node.js — Download Node.js (nodejs.org) 选择对应你系统的Node.js版本 二、安装程序 (1)下载完成后,双击安装包&#xf…

软考【网络管理员】100道高频考题(含知识点解析),轻松45+

2024上软考已经圆满结束了,距离下半年的考试也只剩下半年不到的时间。需要备考下半年软考网络管理员的小伙伴们可以抓紧开始准备了。 今天给大家整理了——软考网管100道高频考题 ,都是核心重点,有PDF,看完一遍教材后打印出来直接…

【电子实验4】TDA2030功率放大电路

🚩 WRITE IN FRONT 🚩 🔎 介绍:"謓泽"正在路上朝着"攻城狮"方向"前进四" 🔎🏅 荣誉:2021|2022年度博客之星物联网与嵌入式开发TOP5|TOP4、2021|2222年获评…

GPRS抄表技术是什么?

1.GPRS抄表技术概述 GPRS(GeneralPacketRadioService)抄表是一种基于移动通信网络的远程抄表技术,它利用GPRS网络进行数据传输,实现了对水、电、气等公用事业表计的实时、远程读取。这项技术的出现,极大地提升了公用事业管理的效率和准确性&…

编写一个简单的Mybatis插件

1.编写一个类,实现Intercepter这个接口 2.完成这个类的方法,并通过注解Intercepts来告诉Mybatis这个插件拦截哪个类和哪个方法 3.在Mybatis的全局配置文件里注册这个插件,让插件生效 4.玩一个实际功能的插件

【leetcode刷题】面试经典150题 88.合并两个有序数组

leetcode刷题 面试经典150 88. 合并两个有序数组 难度:简单 文章目录 一、题目内容二、自己实现代码2.1 实现思路2.2 实现代码2.3 结果分析 三、 官方解法3.1 直接合并后排序3.1.1 算法实现3.1.2 代码实现3.1.3 代码分析 3.2 双指针3.2.1 算法实现3.2.2 代码实现3.2…

【安装笔记-20240616-Windows-Gpg4win 证书管理器】

安装笔记-系列文章目录 安装笔记-20240616-Windows-Gpg4win 证书管理器 文章目录 安装笔记-系列文章目录安装笔记-20240616-Windows-Gpg4win 证书管理器 前言一、软件介绍名称:Gpg4win主页官方介绍 二、安装步骤测试版本:Gpg4win 4.3.1下载链接安装界面…

网站的文章起到什么作用

1.便于用户了解产品服务 如果想要获得更多的用户访问或者转化率,那么网站就得需要高质量、高原创的文章,通过文章可以让用户更好的了解公司的产品和服务,用户会根据自己的需求去选择服务类型,从而可以给公司产生业务订单&am…

攻防演练之-网络安全工作机会大巡礼

书接上文,《网络安全攻防演练风云》专栏之攻防演练之-成功的钓鱼邮件溯源,这里。 午餐的时间到了,每天Nick团队的小伙伴都会到园区外的一家工作餐饭店就餐。这家餐厅是按照称重模式进行菜品选取的,因此种类是相对丰富的&#xff…