关于Softmax和CrossEntropyLoss
前言
本文对NLP中常用的Softmax+CrossEntropyLoss组合的符号梯度进行推导，证明其巧妙之处。
[Read More]
Full Matrix Method of mini-batch Back Propagation in DNN
前言
在DNN的反向传播算法中，几乎所有教材都只使用单个样本(一个特征向量)进行相关公式的推导，而多个样本(也就是mini-batch，即多个特征向量组成的矩阵)反向传播的全矩阵方法对于理解“多样本”这一概念是非常重要的。所以花了一点时间推导了一下并记录在此，便于记忆，同时希望能对别人有所帮助。
[Read More]
Some tips of PyTorch
前言
在大三的时候已经使用PyTorch写过简单的DNN、CNN、预训练模型等，但当时只是被学分课(机器学习、计算机视觉)逼着写的，所以写完作业就基本不碰PyTorch了，也没有认真研究很多细节。现重新学习PyTorch，记录其很多重要但容易被忽略的细节，争取早日开始复现代码~
[Read More]
Conda 使用记录
前言
这篇博客记录了一些conda使用方法，以及一些常用深度学习库安装、配置的踩坑过程
[Read More]
Machine Translation Notebook
前言
nlp实验室肖桐老师、朱靖波老师主编的《机器翻译-统计建模与深度学习方法(第二版)》前些天已经略读了一遍(自然是跳过了统计机器翻译那两章#手动狗头)，再回头看时发现有很多知识又已经忘了，现打算再次精读此书，将遇到的所有重要的、需要推导或记忆的知识记录在本篇blog里，防止遗忘！
[Read More]