博海文思


SkyHigh

社区问答之QA匹配问题探索

社区问答之QA匹配问题探索 问题描述 在网络社区中或一些检索任务中,给出一个问题q,如何找到与这个问题q最接近的答案a。在检索任务中,learning to ranking的方式一般可以分为如下三种: pointwise:对每个$(Q,d_i)$对,输出得分。在只有两种状态的情况下...

如何轻松搭建神经机器翻译模型

如何轻松搭建神经机器翻译模型 任务定义 给定一句英文,我们如何将它翻译成中文呢?在传统的统计方法中,我们需要对两种语言量身定制很多规则和模板。如果有一个模型,能够端到端的完成这个任务,那肯定能省不少劲的。而神经机器翻译模型恰好能够实现端到端的翻译任务,并且这个任务“天然”的符合seq2se...

Group Normalization简介

Group Normalization简介 之前我已经在normalization上单独做了一章,分别概述了Batch Norm、Layer Norm、Weight Norm以及selu在加速网络收敛上的效果。不过,最先提出这个思路的是BN,之后的则是在其基础上进行改进(或者照瓢画葫芦再来一...

Capsule Networks给我的思考

Capsule Networks 什么是capsule CNN的问题 传统的CNN网络在提取特征的时候是先考虑局部特征再整合,并没有考虑整体特征的联动。CNN每一层的每个神经元输出是一个scalar,它表示对某个特征的似然(这个特征是否出现的概率),这对于模型来说,有时候会把问题考虑的太...

VAE模型

VAE模型 什么是VAE 当我们谈论GAN的时候,往往会把VAE也一并拿出来说。在生成模型方面,这两个算是目前的大热门(尤其是GAN)。那么VAE究竟是什么呢?作为一个生成模型,它首先需要具备生成样本的能力(从$P(X)$分布中采样得到)。 Variational Autoencoder(...

对Focal Loss的认识

对Focal Loss的认识 相信大家在做数据建模的时候经常会遇见样本不均衡的问题,之前的常规做法有: 调整损失函数权重,让样本少的在loss中的权重比例高,反之降低 过采样、欠采样 OHEM:只保留loss高的样本,忽略简单样本 而虽然上述方法可以让模型关注到样本不平衡...

算法常用模板(不断更新)

常用算法模板(不断更新) 写这篇blog的目的是,在做算法题的时候经常会有一些常用的模板,所以索性收录自己遇到的常用模板,以便日后直接拿来用,避免重复写代码。 数位dp typedef long long ll; int a[20]; ll dp[20][state];//不同题目状态不...

Survey on Event Extraction

Survey on Event Extraction Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks 数据集 这篇文章的使用了ACE2005的数据集。 问题建模 将任务分为trigger...