神经机器翻译中的模型集成:经验之谈

背景 集成学习是一种联合多个学习器进行协同决策的机器学习方法,通过整合多个学习器的决策结果可以有效减小预测结果的方差与偏置,显著提升模型的泛化能力,达到比单学习器更好的效果。对于神经机器翻译中的集成学习,实验室李北师兄的论文《On Ensemble Learning of Neural Machine Translation》针对NMT中的模型集成进行了大量的实验对比。本人也在不同规模的数据集上进行了尝试,将经验总结如下。 [Read More]
Tags: 机器翻译

Notes of TorchText - a nlp tool

前言 毕业设计中偷懒用了一些轮子,TorchText就是其中一个:)主要用了它来加载数据、构建词表、得到训练、测试及验证集的生成器等等。本篇博客主要记录一下我用过的,觉得非常有用、有趣的功能,方便回顾。 [Read More]

Some Pytorch practices of LSTM

前言 本篇博客记录了我对LSTM的理论学习、PyTorch上LSTM和LSTMCell的学习,以及用LSTM对Seq2Seq框架+注意力机制的实现。还包括了很多有趣的细节,包括RNNs对批量序列数据Padding的处理,以及多层RNNs中Dropout的使用等等。 [Read More]
Tags: 深度学习

Python Strengthening

前言 最近在读源码的过程中,发现有很多陌生的python知识,包括装饰器、上下文管理器等,还有很多非常有用但我没见过的自带模块。于是采用“步步高点读机”式学习方法,哪里不会搜哪里(狗头,并将进一步学习的过程记录在此。 [Read More]
Tags: 基础知识