博海文思

SkyHigh

阿里天池-蚂蚁金服 店铺定位 Rank2解决方案

阿里天池-蚂蚁金服 店铺定位 Rank2解决方案 不瞎搞了，专心科研。PPT在References中。 References 答辩ppt

Posted by SkyHigh on December 14, 2017

CCF-360 机器写作与人类写作 Rank2解决方案

CCF-360 机器写作与人类写作 Rank2解决方案 不瞎搞了，专心科研。PPT在References中。 References 答辩ppt

Posted by SkyHigh on December 14, 2017

Note for Memory Networks

Note for Memory Networks MEMORY NETWORKS Overall 这篇论文借助神经图灵机的思路，把NTM的读写机制转成具体的四个步骤，这四个步骤在文中的表述如下： I步骤将输入的信息转化为隐层的表示（feature representatio...

Posted by SkyHigh on December 14, 2017

Note for Neural Text Generation-A Practical Guide

Note for “Neural Text Generation: A Practical Guide” Introduction 主要讲NTG的training和decoding部分，并给出一些实践的经验。 Background 常用模型 CNN + Attention ...

Posted by SkyHigh on December 13, 2017

HMM and CRF, classical dependency graph

HMM and CRF, classical dependency graph First part 最近刚好需要做个关于HMM与CRF的presentation，顺便复习了一下这两个经典的模型。现在简单概括了一下HMM与CRF的内容，具体可以参考链接的资料以及presentation P...

Posted by SkyHigh on August 16, 2017

有趣的transformer

有趣的transformer 主要针对google发的两篇文章来讲，一篇是《Attention Is All You Need》，另一篇是《One Model To Learn Them All》。后一篇与今天的主角transformer不太相关，但是使用了transformer来做mult...

Posted by SkyHigh on July 21, 2017

加速网络收敛——BN、LN、WN与selu

自Batch Norm出现之后，Layer Norm和Weight Norm作为Batch Norm的变体相继出现。最近又出来一个很”简单”的激活函数Selu，能够实现automatic rescale and shift。这些结构都是为了保证网络能够堆叠的更深的基本条件之一。除了这四种，还有...

Posted by SkyHigh on July 21, 2017

文档摘要综述

文档摘要综述（到2017年6月） 仅作为参考。 评价指标 ROUGE（类似BLEU） BE 摘要方法 抽取式：从文档中抽取句子、压缩句子 生成式：生成新的句子 抽取式摘要关...

Posted by SkyHigh on July 20, 2017