课程主页：https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/

视频地址：https://www.bilibili.com/video/av46216519?from=search&seid=13229282510647565239

这里回顾CS224N Lecture 19 and Lecture 20的课程内容，第19讲介绍了深度学习中的偏见，第20讲介绍了NLP和深度学习的未来，由于第19讲内容没有涉及太多理论，这里从略。

备注：图片均来自课程课件。

机器翻译

预训练

将编码器和解码器分别作为语言模型来训练：

自我训练
  • 预训练的问题：预训练期间两种语言之间没有“交互”
  • 自我训练：标记未标记的数据以获得嘈杂的训练示例
回译(Back-Translation)
  • 有两个相反方向的机器翻译模型$(\text{en->fr})$和$(\text{fr->en})$
  • 模型永远不会看到“错误”的翻译，只有错误的输入
无监督词翻译
  • 跨语言单词嵌入
    • 两种语言共享的嵌入空间
    • 保持单词嵌入的正常美观
    • 但也要让单词接近其翻译
  • 想向单语语料学习

假设不同语言的词嵌入空间相同，即

我们希望通过仿射变换使得两者接近：