概念
机器翻译就是用计算机把一种语言翻译成另外一种语言的技术
机器翻译的产生与发展
17 世纪，笛卡尔与莱布尼茨试图用统一的数字代码来编写词典
1930 机器脑
1933 苏联发明家特洛阳斯基用机械方法将一种语言翻译为另一种语言
1946 ENIAC 诞生
1949 机器翻译问题被正式提出
1954 第一个 MT 系统出现
1964 遇到障碍，进入低迷期
1970-1976 开始复苏
1976-1990 繁荣时期
1990-1999 除了双语平行预料，没有其他的发展
1999-now 爆发期
2014 以后出现基于深度学习/神经网络的 MT
机器翻译的要点
正确的机器翻译必须要解决语法与语义歧义
不同类型语言的语言形态不一致
有的词语在不同语言中不能够互通
词汇层的翻译
（1）形态分析：对于原始的句子进行形态分析，对于时态等特殊要素进行标记
（2）词汇翻译
（3）词汇重排序
（4）形态变换
语法层的翻译
语法层的翻译就是将一种语言的语法树映射到另一语言的语法树
e.g.英语 ->日语
V P → V N P c h a n g e t o V P → N P V VP \to VNP changeto VP \to NP V VP→VNPchangetoVP→NPV
P P → P N P c h a n g e t o N P → N P P PP \to PNP changeto NP \to NP P PP→PNPchangetoNP→NPP
三个阶段：句法分析，转换句法树，用目标语法树生成句子
语义层的翻译
基本翻译方法
直接转换法
基于规则的翻译方法
基于中间语言的翻译方法
基于语料库的翻译方法
直接转换法
从源语言的表层出发，直接只换成目标语言译文，必要时进行简单词序调整
基于规则的翻译方法
把翻译这一过程与语法分开，用规则描述语法
翻译过程：
（1）对源语言句子进行词法分析
（2）对源语言句子进行句法/语义分析
（3）结构转换
（4）译文句法结构生成
（5）源语言词汇到译文词汇的转换
（6）译文词法选择与生成
独立分析-独立生成-相关转换
优缺点：可以较好地保持原文的结构，但是规则一般由人工编写，工作量大，对非规范语言无法处理
基于中间语言的翻译方法
源语言解析-比较准确的中间语言-目标语言生成器
基于语料库的翻译方法
基于事例的翻译方法
统计机器翻译
获取大量各国语言翻译成英语的文本，然后进行句子对齐
翻译目标：准确度（faithfulness），结构正确/可读性强（fluency）
T = arg max T ∈ T a r g e t f a i t h f u l n e s s ( T , S ) × f l u e n c y ( T ) T = \arg \max\limits_{T \in Target} faithfulness(T,S) \times fluency(T) T=argT∈Targetmaxfaithfulness(T,S)×fluency(T)
噪声信道模型
依然与之前语言模型中的贝叶斯类似
将源语言句子 f = f 1 f 2 . . . f=f_1f_2... f=f1f2...翻译到目标语言 e = e 1 e 2 e=e_1e_2 e=e1e2，使 P（e｜f）最大化
e ^ = arg max e ∈ E n g l i s h P ( e ∣ f ) = arg max e ∈ E n g l i s h P ( f ∣ e ) P ( e ) \hat e = \arg \max\limits_{e \in English}P(e|f) = \arg \max\limits_{e \in English}P(f|e)P(e) e^=arge∈EnglishmaxP(e∣f)=arge∈EnglishmaxP(f∣e)P(e)
此外还需要 decoder 来进行解码
语言模型 p（e）
可以采用 n-gram 或者 PCFG 计算
翻译模型 p（f｜e）
对于 IBM Model 1:
（1）选择长度为 m 的句子 f,英文句子长度为 l
（2）选择一到多的对齐方式：A = a1a2…an
（3）对于 f 中的单词 fj，由 e 中相应的对齐词 e a j e_{aj} eaj生成
red：对齐：一种对齐定义了每个外文词可以由哪个（些）英文词翻译过来
目标式可以表示为： p ( f ∣ e , m ) = ∑ a ∈ A p ( f , a ∣ e , m ) p(f|e,m)=\sum\limits_{a \in A}p(f,a|e,m) p(f∣e,m)=a∈A∑p(f,a∣e,m)
由链式法则可得： p ( f , a ∣ e , m ) = p ( a ∣ e , m ) p ( f ∣ a , e , m ) p(f,a|e,m) = p(a|e,m)p(f |a,e,m) p(f,a∣e,m)=p(a∣e,m)p(f∣a,e,m)
对于 p（a｜e，m），IBM Model 1 假设所有的对齐方式具有相同的概率： p ( a ∣ e , m ) = 1 ( l + 1 ) m p(a|e,m) = \frac{1}{(l+1)^m} p(a∣e,m)=(l+1)m1
对于 p（f｜a，e，m）， p ( f ∣ a , e , m ) = ∏ j = 1 m t ( f j ∣ e a j ) p(f|a,e,m) = \prod\limits_{j=1}^mt(f_j|e_{aj}) p(f∣a,e,m)=j=1∏mt(fj∣eaj)
t(f|e)表示英文词 eaj 翻译成外文词 fj 的概率
故： p ( f ∣ e , m ) = ∑ p ( f , a ∣ e , m ) = ∑ a ∈ A 1 ( l + 1 ) m ∏ j = 1 m t ( f j ∣ e a j ) p(f|e,m) = \sum p(f,a|e,m) = \sum\limits_{a \in A} \frac{1}{(l+1)^m}\prod\limits_{j=1}^mt(f_j|e_{aj}) p(f∣e,m)=∑p(f,a∣e,m)=a∈A∑(l+1)m1j=1∏mt(fj∣eaj)
根据以上计算式，也可以计算某种对齐方式的概率：
a ∗ arg max a p ( a ∣ f , e , m ) = arg max a p ( f , a ∣ e , m ) p ( f ∣ e , m ) a^* \arg \max_ap(a|f,e,m) = \arg \max_a \frac{p(f,a|e,m)}{p(f|e,m)} a∗argmaxap(a∣f,e,m)=argmaxap(f∣e,m)p(f,a∣e,m)
IBM Model 2:
对于 model 2，引入了对齐时的扭曲系数
q（i｜j，l，m）给定 e 和 f 对齐的时候，第 j 个目标语言词汇和第 i 个英文单词对齐的概率
p ( a ∣ e , m ) = ∏ j = 1 m q ( a j ∣ j , l , m ) p(a|e,m) = \prod\limits_{j=1}^mq(a_j|j,l,m) p(a∣e,m)=j=1∏mq(aj∣j,l,m)
则 p ( f , a ∣ e , m ) = ∏ j = 1 m q ( a j ∣ j , l , m ) t ( f j ∣ e a j ) p(f,a|e,m) = \prod\limits_{j=1}^mq(a_j|j,l,m)t(f_j|e_{aj}) p(f,a∣e,m)=j=1∏mq(aj∣j,l,m)t(fj∣eaj)
IBM model 2 最优对齐：
t 与 q 的计算
已有数据：双语（句子）对齐资料（包含/不包含词对齐信息）
e ( k ) , f ( k ) , a ( k ) e^{(k)},f^{(k)},a^{(k)} e(k),f(k),a(k)
采用极大似然估计法：
t M L ( f ∣ e ) = C o u n t ( e , f ) C o u n t ( e ) , t M L ( j ∣ i , l , m ) = C o u n t ( j ∣ i , l , m ) C o u n t ( i , l , m ) t_{ML}(f|e) =\frac{Count(e,f)}{Count(e)},t_{ML}(j|i,l,m) = \frac{Count(j|i,l,m)}{Count(i,l,m)} tML(f∣e)=Count(e)Count(e,f),tML(j∣i,l,m)=Count(i,l,m)Count(j∣i,l,m)
如果不包含词对齐信息：
基于短语的翻译
有时候会出现多个词对应一个词的情况，有时候也需要更长的上下文来消除词的歧义，于是推出了基于短语的翻译
基本过程
构建短语对齐词典
基于短语的翻译模型：
（1）词组合成短语
（2）短语翻译
（3）重排序
解码问题
短语对齐词典
输入：句子对齐语料
输出：短语对齐语料
e.g.他将访问中国He will visit China
（他将，He will）（访问中国，visit China）
每个互译的短语对（f，e）都有一个表示可能性的分值 g（f，e）
g ( f , e ) = log c o u n t ( f , e ) c o u n t ( e ) g(f,e) = \log \frac{count(f,e)}{count(e)} g(f,e)=logcount(e)count(f,e)
同时使用噪声信道模型依然可以用来表示最优英语翻译：
e b e s t = arg max e p ( f ∣ e ) p L M ( e ) e_{best}=\arg \max_e p(f|e)p_{LM}(e) ebest=argmaxep(f∣e)pLM(e)
语言模型
一般采用 3-gram：q（w｜u，v）
排序模型
可以简化为基于距离的排序： η × ∣ s t a r t i − e n d i − 1 − 1 ∣ \eta \times|start_i-end_{i-1}-1| η×∣starti−endi−1−1∣
其中 η \eta η为扭曲参数，通常为负值
几个概念
p（s，t，e）：源句子中 xs 到 xt 的词串可以被翻译为目标语言的词串 e
P：所有短语 p 的集合
y：类似 P，导出，表示一个由有限个短语构成的短语串
e（y）：表示由导出 y 确定的翻译
解码问题
求解最优翻译是一个 NP-complete 问题
可能的方案：基于启发式搜索解码算法
状态 q：五元组（e1，e2，b，r，alpha）
e1，e2 表示待翻译短语对应翻译中最后两个英文词
b 为二进制串 ，1 为已经翻译，0 为未翻译
r 表示当前待翻译短语的最后一个词在句子中的位置
alpha 表示该状态的得分
起始 q 0 = ( / , / , 0 n , 0 , 0 ) q_0 = (/,/,0^n,0,0) q0=(/,/,0n,0,0)
next(q,p) 表示 q 经过短语 p 触发，转移到下一个状态
eq（q，q‘）用来验证两个状态是否相等，只比较前四项值
beam(Q)
