Use fairseq to train a Chinese-English translation model from scratch

前言 由于毕设是做神经机器翻译相关,所以先尝试一下神经机器翻译的整个流程是非常有必要的。故将在news-commentary-v15语料上训练有监督中英NMT模型的整个流程,包括工具和数据的准备、数据的预处理、训练及解码等过程,以及过程中遇到的问题和解决方案记录在此,以供后期回顾,也希望能够给予别人一些帮助。 [Read More]
Tags: 机器翻译

Linux & Shell Usage Record

前言 最近需要在linux系统上写一些脚本(bash文件),方便批处理。自己目前的笔记本系统是windows10,现在使用的一套配置是Xshell6(使用服务器) + Xftp7(文件传输) + Notepad++(文件编辑)。用这篇博客记录使用过程中的一些问题及解决方案。 [Read More]

A index - From word2vec, Transformer to NLP SOTA

前言 之前看论文总想留下点什么痕迹(比如写个笔记),但是发现有时候这也算是一种造轮子的行为,因为每个划时代的研究早就有无数人(包括大牛)写过总结,且已经总结的很好了。所以我反思了一下,这篇博客便诞生了,主旨是不为每篇经典单独造一个轮子,而是做一个索引,指向那些漂亮优秀的轮子(包括源码、总结等)。而我自己,只附上我对每一个模型的一段话总结(我希望每段话都是经过深思熟虑,总结到位的)。 [Read More]

Backward Propogation Through Time (BPTT) in RNN

前言 RNN及其变种是一代经典,有必要认真学习。在推导了RNN的反向传播算法(BPTT)后,我发现一切反向传播算法都有普遍的规律:误差项都是有从后到前的递推关系的。RNN按时间步递推,其实与DNN中按层递推非常相似。在这里将推导过程记录下来,方便回忆,也希望能给别人一点启发。 [Read More]
Tags: 深度学习

Google Colab Usage Record

前言 实验室服务器不让外网连了,发现没了算力啥都做不了。于是对比多个国内外算力平台,最终选择很良心的免费算力平台:Google Colab,记录一些使用技巧,以便今后科研之用。 [Read More]