Google Colab使用记录 Posted on December 12, 2020 前言 本文介绍一个较良心的算力平台:Google Colab,记录一些使用技巧和感受,防止后来人踩坑。 [Read More] Tags: 系统与环境
关于Softmax和CrossEntropyLoss Posted on December 3, 2020 前言 本文对NLP中常用的Softmax+CrossEntropyLoss组合的符号梯度进行推导,证明其巧妙之处。 [Read More] Tags: 深度学习
Full Matrix Method of mini-batch Back Propagation in DNN Posted on November 30, 2020 前言 在DNN的反向传播算法中,几乎所有教材都只使用单个样本(一个特征向量)进行相关公式的推导,而多个样本(也就是mini-batch,即多个特征向量组成的矩阵)反向传播的全矩阵方法对于理解“多样本”这一概念是非常重要的。所以花了一点时间推导了一下并记录在此,便于记忆,同时希望能对别人有所帮助。 [Read More] Tags: 深度学习
Some tips of PyTorch Posted on November 28, 2020 前言 在大三的时候已经使用PyTorch写过简单的DNN、CNN、预训练模型等,但当时只是被学分课(机器学习、计算机视觉)逼着写的,所以写完作业就基本不碰PyTorch了,也没有认真研究很多细节。现重新学习PyTorch,记录其很多重要但容易被忽略的细节,争取早日开始复现代码~ [Read More] Tags: 深度学习
Conda 使用记录 Posted on November 26, 2020 前言 这篇博客记录了一些conda使用方法,以及一些常用深度学习库安装、配置的踩坑过程 [Read More] Tags: 系统与环境