博海文思

SkyHigh

如何轻松搭建神经机器翻译模型

如何轻松搭建神经机器翻译模型 任务定义 给定一句英文，我们如何将它翻译成中文呢？在传统的统计方法中，我们需要对两种语言量身定制很多规则和模板。如果有一个模型，能够端到端的完成这个任务，那肯定能省不少劲的。而神经机器翻译模型恰好能够实现端到端的翻译任务，并且这个任务“天然”的符合seq2se...

Posted by SkyHigh on April 18, 2018

Group Normalization简介

Group Normalization简介 之前我已经在normalization上单独做了一章，分别概述了Batch Norm、Layer Norm、Weight Norm以及selu在加速网络收敛上的效果。不过，最先提出这个思路的是BN，之后的则是在其基础上进行改进（或者照瓢画葫芦再来一...

Posted by SkyHigh on April 7, 2018

Capsule Networks给我的思考

Capsule Networks 什么是capsule CNN的问题 传统的CNN网络在提取特征的时候是先考虑局部特征再整合，并没有考虑整体特征的联动。CNN每一层的每个神经元输出是一个scalar，它表示对某个特征的似然（这个特征是否出现的概率），这对于模型来说，有时候会把问题考虑的太...

Posted by SkyHigh on April 6, 2018

VAE模型

VAE模型 什么是VAE 当我们谈论GAN的时候，往往会把VAE也一并拿出来说。在生成模型方面，这两个算是目前的大热门（尤其是GAN）。那么VAE究竟是什么呢？作为一个生成模型，它首先需要具备生成样本的能力（从$P(X)$分布中采样得到）。 Variational Autoencoder（...

Posted by SkyHigh on April 5, 2018

对Focal Loss的认识

对Focal Loss的认识 相信大家在做数据建模的时候经常会遇见样本不均衡的问题，之前的常规做法有： 调整损失函数权重，让样本少的在loss中的权重比例高，反之降低 过采样、欠采样 OHEM：只保留loss高的样本，忽略简单样本 而虽然上述方法可以让模型关注到样本不平衡...

Posted by SkyHigh on April 4, 2018

算法常用模板（不断更新）

常用算法模板（不断更新） 写这篇blog的目的是，在做算法题的时候经常会有一些常用的模板，所以索性收录自己遇到的常用模板，以便日后直接拿来用，避免重复写代码。 数位dp typedef long long ll; int a[20]; ll dp[20][state];//不同题目状态不...

Posted by SkyHigh on January 27, 2018

Survey on Event Extraction

Survey on Event Extraction Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks 数据集 这篇文章的使用了ACE2005的数据集。 问题建模 将任务分为trigger...

Posted by SkyHigh on January 1, 2018

radioml-docker环境搭建

radioml-docker环境搭建 最近花了一段时间配置gnuraio，但是没有在单机上成功，因为gnuradio包的依赖包太多了，而且每个依赖包又有依赖，如此反复，感觉永远装不完。而且像ubuntu直接安装gnuraio，有些额外的工具包也不好安装。 正巧最近radioml的官网（现在改...

Posted by SkyHigh on December 19, 2017