博海文思

SkyHigh

sigmoid和softmax，cross-entropy和log-likelihood

最近在回顾BP的时候，发现了这个有趣的结论：当最后一层使用sigmoid作为激活函数输出并且cost function为cross entropy，或者最后一层使用softmax层并且cost function为negative log likelihood的时候，那么两者传到最后一层的$\d...

Posted by SkyHigh on April 7, 2017

Tensorflow学习笔记（六） Tensorboard

Previous 1.Tensorflow学习笔记（一） 基础 2.Tensorflow学习笔记（二） Toy Demo 3.Tensorflow学习笔记（三） 使用Skip-Gram和CBOW训练Word Embedding 4.Tensorflow学习笔记（四） 命名实体识别模型（NER...

Posted by SkyHigh on April 6, 2017

并查集的简单介绍

并查集的简单介绍 为什么说是简单介绍？嗯，因为没有深入研究，只是最近做题目的时候遇到了，所以写个简洁的介绍，下次需要用的时候，可以直接拿来参考。额……因为很少用到，所以也不知道下一次看这个会是什么时候，哈哈。 并查集（Union Find）中比较经典的问题就是家族问题。假设A和B是亲戚，B...

Posted by SkyHigh on April 2, 2017

ICA算法之算法实现

ICA算法之算法实现 看了一天的源码+别人写的资料+原始论文（但是还没怎么看……），感觉ICA算法的基本思路比较简单，但是推广到fastICA的时候又遇到各种不明所以的运算步骤，再到算法实现的时候参考sklearn.decomposition下的fastica源码，又有一些不明所以的处理方式...

Posted by SkyHigh on April 1, 2017

ICA算法之数学原理

ICA算法之数学原理 ICA的数学推导 ICA算法的思路比较简单，但是推导过程比较复杂（可以参考matrix手册推导一下），本文只是梳理了推理路线，忽视了具体的推导过程，如果不详之处，还望见谅。 假设我们有n个混合信号源$X\subset{R^{n}}$和n个独立信号$S\subset{...

Posted by SkyHigh on April 1, 2017

样本方差（协方差）的估计和矫正

样本方差（协方差）的估计和矫正 最近又用到python里面的numpy的cov，它考虑了对于方差/协方差的无偏估计的矫正。而之前自己经常会忘记随机变量的方差和协方差、样本的方差和协方差之间的关系。由于随机变量的方差是根据随机变量的分布计算得到（协方差则是多个随机变量的分布）。而样本空间没有给...

Posted by SkyHigh on April 1, 2017

Keras使用问题汇总

Keras使用问题汇总 1. Keras指定使用GPU CUDA_VISIBLE_DEVICES="0,1" python train.py表示使用GPU0和GPU1。 2. Keras设定GPU使用内存大小(Tensorflow backend) 通过设定tensorflow的bac...

Posted by SkyHigh on March 27, 2017

自然语言处理——浅层句法分析和依存句法分析

Previous 自然语言处理——语言模型 自然语言处理——词法分析与词性标注 自然语言处理——语法分析 自然语言处理——句法分析 自然语言处理——浅层句法分析和依存句法分析 浅层句法分析 概念：识别句子中的一些相对简单的独立成分（语块） 任务：（1）语块的识别与分析；（2）...

Posted by SkyHigh on March 21, 2017