Facebook开源 PyTorch版 fairseq，准确性最高、速度比循环神经网络快9倍

今年5月，Facebook AI研究院（FAIR）发表了他们的研究成果fairseq，在fairseq中，他们使用了一种新型的卷积神经网络来做语言翻译，比循环神经网络的速度快了9倍，而且准确性也是现有模型中最高的。此外，他们在GitHub公布了fair序列建模工具包的源代码和训练好的系统，其他的研究者可以在此基础上建立自己的关于翻译、文本总结和其他任务的模型。

详情可参见快9倍！Facebook开源机器学习翻译项目fairseq一文。

日前，Facebook AI研究团队又在GitHub上开源了fairseq PyTorch版本。

相关介绍

fairseq是Facebook AI研究院发布的一个序列到序列的学习工具，它的原作者（排名不分先后）是Sergey Edunov、Myle Ott和Sam Gross。该工具包能实现 Convolutional Sequence to Sequence Learning（地址：https://arxiv.org/abs/1705.03122）中描述的全卷积模型，并能在一台机器上进行多GPU训练，也能在CPU和GPU上快速产生束搜索(beam search)。在开源的数据中，他们提供了英译法和英译德的预训练模型。

Facebook开源 PyTorch版 fairseq，准确性最高、速度比循环神经网络快9倍

引用

如果你的论文中用了FAIR的相关代码，可以这样引用：

@inproceedings{gehring2017convs2s,
 author    = {Gehring, Jonas, and Auli, Michael and Grangier, David and Yarats, Denis and Dauphin, Yann N},
 title     = "{Convolutional Sequence to Sequence Learning}",
 booktitle = {Proc. of ICML},
 year      = 2017,
}

工具和安装

  • macOS或是Linux系统的电脑

  • 要是想训练新的模型，需要用到NVIDIA GPU和NCCL（https://github.com/NVIDIA/nccl）

  • Python 3.6

  • 安装PyTorch（http://pytorch.org/）

目前的fairseq-py需要从GitHub库中获得PyTorch，有多种方式安装它。我们建议利用Miniconda3，执行如下的步骤。

1、安装Miniconda3（https://conda.io/miniconda.html）；激活 Python 3环境

2、安装PyTorch

conda install gcc numpy cudnn nccl
conda install magma-cuda80 -c soumith
pip install cmake
pip install cffi

git clone https://github.com/pytorch/pytorch.git
cd pytorch
git reset --hard a03e5cb40938b6b3f3e6dbddf9cff8afdff72d1b
git submodule update --init
pip install -r requirements.txt

NO_DISTRIBUTED=1 python setup.py install

3、在GitHub中复制和执行如下代码来安装fairseq-py

pip install -r requirements.txt
python setup.py build
python setup.py develop

快速开始

你将需要使用到如下的命令：

  • python preprocess.py: 数据预处理: 构造词汇和二进制训练数据

  • python train.py: 在一个或多个GPU上训练新的模型

  • python generate.py: 用训练好的模型翻译预处理之后的数据

  • python generate.py -i:用训练好的模型翻译新的文本

  • python score.py: 通过与参考译文对比，给出生成译文的BLEU分数

评估预训练模型：

首先，下载预训练好的模型和词汇：

$ curl https://s3.amazonaws.com/fairseq-py/models/wmt14.en-fr.fconv-py.tar.bz2 | tar xvjf -

模型中用的是BPE词汇（https://arxiv.org/abs/1508.07909），用户必须在翻译之前将编码应用到源文本。可以用apply_bpe.py 脚本中的wmt14.en-fr.fconv-cuda/bpecodes文件。@@是延续标记，原始文本可以通过sed s/@@ //g来恢复，此外把 --remove-bpe 标记传递到generate.py也有同样的作用。在生成BPE词汇之前。输入文本需要用mosesdecoder中的tokenizer.perl来标记。

下面是利用python generate.py -i产生翻译的例子， beam size为5：

$ MODEL_DIR=wmt14.en-fr.fconv-py
$ python generate.py -i \
--path $MODEL_DIR/model.pt $MODEL_DIR \
--beam 5
| [en] dictionary: 44206 types
| [fr] dictionary: 44463 types
| model fconv_wmt_en_fr
| loaded checkpoint /private/home/edunov/wmt14.en-fr.fconv-py/model.pt (epoch 37)
> Why is it rare to discover new marine mam@@ mal species ?
S       Why is it rare to discover new marine mam@@ mal species ?
O       Why is it rare to discover new marine mam@@ mal species ?
H       -0.08662842959165573    Pourquoi est-il rare de découvrir de nouvelles espèces de mammifères marins ?
A       0 1 3 3 5 6 6 10 8 8 8 11 12

训练新模型

数据预处理

fairseq-py工具包中包含用于IWSLT 2014德转英语料库的一个预处理脚本样例。先将数据进行预处理和二进制编码：

$ cd data/
$ bash prepare-iwslt14.sh
$ cd ..
$ TEXT=data/iwslt14.tokenized.de-en
$ python preprocess.py --source-lang de --target-lang en \
 --trainpref $TEXT/train --validpref $TEXT/valid --testpref $TEXT/test \
 --thresholdtgt 3 --thresholdsrc 3 --destdir data-bin/iwslt14.tokenized.de-en

这将会得到能够用于训练模型的二进制数据。

训练

用python train.py来训练新的模型，下面是能很好的适于 IWSLT 2014数据集中的一些样例设置。

$ mkdir -p checkpoints/fconv
$ CUDA_VISIBLE_DEVICES=0 python train.py data-bin/iwslt14.tokenized.de-en \
 --lr 0.25 --clip-norm 0.1 --dropout 0.2 --max-tokens 4000 \
 --arch fconv_iwslt_de_en --save-dir checkpoints/fconv

默认情况下，python train.py会占用电脑中所有可用的GPU，可以用CUDA_VISIBLE_DEVICES环境来选择特定的GPU，或者改变使用的GPU数目。

有一点需要注意，batch大小是基于每个batch的最大token数来设置的，你需要基于系统中可用的GPU内存，选取一个稍小的值。

生成翻译

模型训练好之后就能利用python generate.py（用于二进制数据）或python generate.py -i（用于未处理文本）生成翻译了。

$ python generate.py data-bin/iwslt14.tokenized.de-en \
 --path checkpoints/fconv/checkpoint_best.pt \
 --batch-size 128 --beam 5
 | [de] dictionary: 35475 types
 | [en] dictionary: 24739 types
 | data-bin/iwslt14.tokenized.de-en test 6750 examples
 | model fconv
 | loaded checkpoint trainings/fconv/checkpoint_best.pt
 S-721   danke .
 T-721   thank you .
 ...

如果只想用一个CPU，加入--cpu标记。可以通过--remove-bpe移除掉BPE标记。

训练好的模型

目前开源的全卷积序列到序列模型如下：

  • wmt14.en-fr.fconv-py.tar.bz2（https://s3.amazonaws.com/fairseq-py/models/wmt14.en-fr.fconv-py.tar.bz2）: 用于WMT14英译法的模型，包含词汇

  • wmt14.en-de.fconv-py.tar.bz2（https://s3.amazonaws.com/fairseq-py/models/wmt14.en-de.fconv-py.tar.bz2）: 用于WMT14英译德的模型，包含词汇

针对以上模型，已经预处理和编码过的测试集如下：

  • wmt14.en-fr.newstest2014.tar.bz2（https://s3.amazonaws.com/fairseq-py/data/wmt14.en-fr.newstest2014.tar.bz2）: 用于WMT14英译法的newstest2014测试集

  • wmt14.en-fr.ntst1213.tar.bz2（https://s3.amazonaws.com/fairseq-py/data/wmt14.en-fr.ntst1213.tar.bz2）: 用于WMT14英译法的newstest2012和newstest2013测试集

  • wmt14.en-de.newstest2014.tar.bz2（https://s3.amazonaws.com/fairseq-py/data/wmt14.en-de.newstest2014.tar.bz2）: 用于WMT14英译德的newstest2014测试集

下面是在一块GTX-1080ti上利用测试集产生结果的样例（英译德），运行在batch模式下：

$ curl https://s3.amazonaws.com/fairseq-py/models/wmt14.en-fr.fconv-py.tar.bz2 | tar xvjf - -C data-bin
$ curl https://s3.amazonaws.com/fairseq-py/data/wmt14.en-fr.newstest2014.tar.bz2 | tar xvjf - -C data-bin
$ python generate.py data-bin/wmt14.en-fr.newstest2014  \
 --path data-bin/wmt14.en-fr.fconv-py/model.pt \
 --beam 5 --batch-size 128 --remove-bpe | tee /tmp/gen.out
...
| Translated 3003 sentences (95451 tokens) in 81.3s (1174.33 tokens/s)
| Generate test with beam=5: BLEU4 = 40.23, 67.5/46.4/33.8/25.0 (BP=0.997, ratio=1.003, syslen=80963, reflen=81194)

# Scoring with score.py:
$ grep ^H /tmp/gen.out | cut -f3- > /tmp/gen.out.sys
$ grep ^T /tmp/gen.out | cut -f2- > /tmp/gen.out.ref
$ python score.py --sys /tmp/gen.out.sys --ref /tmp/gen.out.ref
BLEU4 = 40.23, 67.5/46.4/33.8/25.0 (BP=0.997, ratio=1.003, syslen=80963, reflen=81194)



本文作者：Non
本文转自雷锋网禁止二次转载，原文链接

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/280055.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

推荐一个开源的现代化的 PDF 生成组件

推荐一个开源的现代化的 PDF 生成组件

你好，这里是 Dotnet 工具箱，定期分享 Dotnet 有趣，实用的工具和组件，希望对您有用！前言QuestPDF 是一个开源免费的 .NET 组件库，可以用来生成 PDF 文档。在 Github 上有4千多的 Star。项目充分考虑了 PDF 文…
阅读更多...
小程序调用阿里云身份证识别OCR（附带七牛云上传图片）

小程序调用阿里云身份证识别OCR（附带七牛云上传图片）

写在前面&#xff1a;实现的逻辑是拍照上传调用后端封装好的身份证接口&#xff0c;然后同时调用七牛云接口把照片传过去以便后台管理系统审核看1:首选需要这么一张页面接下来就写我是怎么做的首先是布局&#xff08;以下是wxml&#xff09; <view><view classidcard&…
阅读更多...
windows 安装yaml支持和pytest支持等

windows 安装yaml支持和pytest支持等

打开cmd 输入pip install pyyaml #yaml文件支持 输入pip install pytest #pytest框架支持 输入pip install requests #requests接口测试支持 输入pip install pyopenssl #openssl支持 前提是电脑上的python已经配置好了转载于:https://www.cnblogs.com/mghhzAnne/p/92…
阅读更多...
史上最好记的神经网络结构速记表（上）

史上最好记的神经网络结构速记表（上）

本文讲的是史上最好记的神经网络结构速记表&#xff08;上&#xff09;&#xff0c;新的神经网络结构不断涌现&#xff0c;我们很难一一掌握。哪怕一开始只是记住所有的简称&#xff08; DCIGN&#xff0c;BiLSTM&#xff0c;DCGAN &#xff09;&#xff0c;也会让同学们吃不消…
阅读更多...
厚积薄发，微软OFFICE云时代宏脚本来临，Excel Srcipt已经推进到桌面端可用

厚积薄发，微软OFFICE云时代宏脚本来临，Excel Srcipt已经推进到桌面端可用

前一阵子&#xff0c;已经发现微软在Excel上发布了Office Script For Excel&#xff0c;当时只能在网页端的Excel上使用&#xff0c;今天打开桌面端的Excel&#xff0c;发现多了一个【自动执行】选项卡。再一次看了下&#xff0c;比起以前的Office Addin&#xff0c;要先进得多…
阅读更多...
如何使用Amazon Echo控制您的Eero Wi-Fi网络

如何使用Amazon Echo控制您的Eero Wi-Fi网络

Thanks to the power of Alexa and its open API, you’re able to control a vast number of devices using just your voice. If you have an Eero Wi-Fi system, you can even control your home network with the Amazon Echo. 得益于Alexa的强大功能及其开放的API&#xf…
阅读更多...
H5在WebView上开发小结

H5在WebView上开发小结

背景 来自我司业务方要求&#xff0c;需开发一款APP。但由于时间限制&#xff0c;只能采取套壳app方式&#xff0c;即原生app内嵌webview展示前端页面。本文主要记述JavaScript与原生app间通信&#xff0c;以及内嵌webview开发时&#xff0c;前端方面可能踩的一些坑。 技术架构…
阅读更多...
C#的？和？？

C#的？和？？

1.&#xff1f;&#xff1f; 为了实现Nullable数据类型转换成non-Nullable类型数据&#xff0c;才有的一个操作符&#xff1b; 意义&#xff1a;一变量取值&#xff0c;取符号左边的值&#xff0c;若左边为null&#xff0c;那么取赋值&#xff1f;&#xff1f;右边的&#xff1…
阅读更多...
odoo 自定义视图_如何使用Windows的五个模板自定义文件夹视图

odoo 自定义视图_如何使用Windows的五个模板自定义文件夹视图

odoo 自定义视图If you’re particular about how Windows displays the contents of your folders, you can cut your customization time down considerably by taking advantage of File Explorer’s five built-in folder templates. 如果您特别想知道Windows如何显示文件夹…
阅读更多...
C#之ILC和C++的CLR前者更快？

C#之ILC和C++的CLR前者更快？

楔子ILC是C#写的&#xff0c;CLR是C。.Net 7中&#xff0c;为何微软执意用一个托管的模型去尝试取代非托管框架呢&#xff1f;至少native code方面它是这么做的这个问题一直萦绕脑海。非托管和托管十年前出版的那本久负盛名的《CLR via C#》至今都是不可或缺的存在&#xff0c;…
阅读更多...
历史

历史

python的历史 kfsaldkfsdf fdskfdsa fdsjkafsjda fdshkfjsdja View Codefjdskaffdsjkaffdsjakflsad;fjdsklaf 转载于:https://www.cnblogs.com/jin-xin/articles/10448286.html
阅读更多...
typescript+react+antd基础环境搭建

typescript+react+antd基础环境搭建

typescriptreactantd基础环境搭建&#xff08;包含样式定制&#xff09; tsconfig.json 配置 // 具体配置可以看上面的链接 这里module moduleResolution的配置都会影响到antd的显示 // allowSyntheticDefaultImports 是antd官网给的配置 必须加上 {"compilerOptions&quo…
阅读更多...
最小生成树Prim算法和Kruskal算法

最小生成树Prim算法和Kruskal算法

https://www.cnblogs.com/JoshuaMK/p/prim_kruskal.html 转载于:https://www.cnblogs.com/DixinFan/p/9225105.html
阅读更多...
如何重新打开Windows防火墙提示？

如何重新打开Windows防火墙提示？

If you are setting up a new program that needs network access, but are not paying close enough attention, you might end up accidentally causing Windows firewall to block the program. How do you fix such a mistake? Today’s SuperUser Q&A post helps a f…
阅读更多...
判断字符串出现次数最多的字符 及 次数

判断字符串出现次数最多的字符 及 次数

分析 题目的意思大致就是找出每个字符出现的次数&#xff0c;然后比较大小。那么每个字符都应该对应它出现的次数。既然是一一对应的&#xff0c;那我们就想到用对象的key和value来储存字符和其出现的次数。具体做法 新建一个空对象obj 遍历给定的字符串接下来就是最重要的 把字…
阅读更多...
AI x 量化：华尔街老司机解密智能投资正确姿势

AI x 量化：华尔街老司机解密智能投资正确姿势

随着中国经济的腾飞&#xff0c;中产阶级的崛起&#xff0c;投资管理逐渐步入寻常百姓家。 值得注意的是&#xff0c;在十年前“无财可理”问题解决后&#xff0c;另一个矛盾愈发凸显——层次不齐的投资素质。据wind数据统计&#xff0c;2004年至2015年12年间&#xff0c;只有3…
阅读更多...
如何远程调试 MAUI blazor / Blazor Hybrid

如何远程调试 MAUI blazor / Blazor Hybrid

我们知道浏览器模式下 Blazor 可以使用 F12 打开开发工具,调试js查看页面元素,那当 Maui Blazor 提示烦人的 an unhandled error has occurred 该怎么进行调试呢?1. VS 运行工程于 Debug 模式下,只要 BlazorWebview 控件处于焦点,直接按F12就可以打开开发工具了. 没有焦点就鼠…
阅读更多...
笔记本触摸键盘驱动自动禁用_如何为iPad的蓝牙键盘禁用自动更正

笔记本触摸键盘驱动自动禁用_如何为iPad的蓝牙键盘禁用自动更正

笔记本触摸键盘驱动自动禁用The take-for-granted features we enjoy when using an on-screen keyboard—like auto-corrections and auto-capitalization–quickly become a hindrance if you’re using a physical keyboard with your iOS device. Let’s look at how to qu…
阅读更多...
发票的作用

发票的作用

目录 发票上的两个章&#xff1a;税种&#xff1a;发票的作用&#xff1a;征税方式&#xff1a;发票限额&#xff1a;参考链接发票上的两个章&#xff1a; 税务局的发票监制章商家的发票专用章税种&#xff1a; 增值税&#xff1a;商家在卖东西时为获利&#xff0c;而提高价格的…
阅读更多...
opencv-原图基础上添加指定颜色

opencv-原图基础上添加指定颜色

前言 项目中需要将某些区域使用不同的颜色表示出来&#xff0c;同时能够看到原图作为底色。 代码 #include "opencv2/highgui/highgui.hpp" #include <opencv2/imgproc.hpp> #include <iostream> using namespace cv;int main() {Mat image imread( &q…
阅读更多...
最新文章

Copyright @ 2022~2023