Machine Translation Notebook

前言 nlp实验室肖桐老师、朱靖波老师主编的《机器翻译-统计建模与深度学习方法》前些天已经略读了一遍(自然是跳过了统计机器翻译那两章#手动狗头),再回头看时发现有很多知识又已经忘了,现打算再次精读此书,将遇到的所有重要的、需要推导或记忆的知识记录在本篇blog里,防止遗忘! [Read More]

Back Propagation and Gradient Calculation in Deep Learning

前言 这篇博客的初心 : 最近读的论文又用到LSTM了,发现对这些深度学习模型我还是只了解皮毛(前向传播),不了解其底层原理(如参数的更新),而我从接触深度学习开始就对反向传播充满了好奇,感觉这是个很难理解的事情。所以建立这篇博客慢慢从矩阵求导开始,慢慢推导所有深度学习模型的底层原理,从而加深自己的理解。 这篇博客内容 : 包括部分深度学习所需数学知识,以及各种深度学习模型(DNN,RNN等)的原理推导。 [Read More]

Mathematics strengthening

前言 为什么写这个博客? 大四上学期空余时间颇多,又因自身高数知识较薄弱,所以蹭了学院开的高数强化(学分课)。授课内容包括考研数学(高数,现代,概率论)重点题型及做题技巧。虽然课程以做题技巧为导向,但依旧可以收获颇多重要数学知识,例如多元函数的极限、连续、可微,以及使用泰勒展开求极限等。 最近换了个更易于使用的博客平台,改变之前“各种折腾美化,却忽视更新博客内容”的策略。决定将更多的心思用在博客内容的创作上。其中,对于磕盐人员来说,数学公式的使用(Latex)的重要性不必多言,我也使自己的博客支持了数学公式(MathJax)。关于数学的博客必然少不了数学公式的输入(Lolimay),所以通过更新这篇博客,既可以提高我的数学基础,也可以提高我对LaTeX语法的熟练程度~ 这个博客是什么样的形式? 大概只有两种形式,题目&解答 和 部分重要定理总结 [Read More]
Tags: 基础知识