课程主页:https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/

视频地址:https://www.bilibili.com/video/av46216519?from=search&seid=13229282510647565239

这里回顾CS224N Lecture 19 and Lecture 20的课程内容,第19讲介绍了深度学习中的偏见,第20讲介绍了NLP和深度学习的未来,由于第19讲内容没有涉及太多理论,这里从略。

备注:图片均来自课程课件。

机器翻译

预训练

将编码器和解码器分别作为语言模型来训练:

自我训练
  • 预训练的问题:预训练期间两种语言之间没有“交互”
  • 自我训练:标记未标记的数据以获得嘈杂的训练示例
回译(Back-Translation)
  • 有两个相反方向的机器翻译模型$(\text{en->fr})$和$(\text{fr->en})$
  • 模型永远不会看到“错误”的翻译,只有错误的输入
无监督词翻译
  • 跨语言单词嵌入
    • 两种语言共享的嵌入空间
    • 保持单词嵌入的正常美观
    • 但也要让单词接近其翻译
  • 想向单语语料学习

假设不同语言的词嵌入空间相同,即

我们希望通过仿射变换使得两者接近: