博海文思


SkyHigh

拍拍贷-第三届魔镜杯比赛Rank1解决方案

拍拍贷-第三届魔镜杯比赛Rank1解决方案 附上答辩ppt。 References 答辩PPT

蚂蚁金服-金融智能NLP服务Rank2解决方案

蚂蚁金服-金融智能NLP服务Rank2解决方案 问题分析 给定两个短文本,通过算法计算两个问题的相似度,进而判定两个问题是否在语义上一致。数据集的大小如下。一般在检索中,我们更多的是去做词匹配(word match)相关的工作,而在这个任务中,我们的目的则是去做语义匹配(paraphras...

社区问答之QA匹配问题探索

社区问答之QA匹配问题探索 问题描述 在网络社区中或一些检索任务中,给出一个问题q,如何找到与这个问题q最接近的答案a。在检索任务中,learning to ranking的方式一般可以分为如下三种: pointwise:对每个$(Q,d_i)$对,输出得分。在只有两种状态的情况下...

如何轻松搭建神经机器翻译模型

如何轻松搭建神经机器翻译模型 任务定义 给定一句英文,我们如何将它翻译成中文呢?在传统的统计方法中,我们需要对两种语言量身定制很多规则和模板。如果有一个模型,能够端到端的完成这个任务,那肯定能省不少劲的。而神经机器翻译模型恰好能够实现端到端的翻译任务,并且这个任务“天然”的符合seq2se...

Group Normalization简介

Group Normalization简介 之前我已经在normalization上单独做了一章,分别概述了Batch Norm、Layer Norm、Weight Norm以及selu在加速网络收敛上的效果。不过,最先提出这个思路的是BN,之后的则是在其基础上进行改进(或者照瓢画葫芦再来一...

Capsule Networks给我的思考

Capsule Networks 什么是capsule CNN的问题 传统的CNN网络在提取特征的时候是先考虑局部特征再整合,并没有考虑整体特征的联动。CNN每一层的每个神经元输出是一个scalar,它表示对某个特征的似然(这个特征是否出现的概率),这对于模型来说,有时候会把问题考虑的太...

VAE模型

VAE模型 什么是VAE 当我们谈论GAN的时候,往往会把VAE也一并拿出来说。在生成模型方面,这两个算是目前的大热门(尤其是GAN)。那么VAE究竟是什么呢?作为一个生成模型,它首先需要具备生成样本的能力(从$P(X)$分布中采样得到)。 Variational Autoencoder(...

对Focal Loss的认识

对Focal Loss的认识 相信大家在做数据建模的时候经常会遇见样本不均衡的问题,之前的常规做法有: 调整损失函数权重,让样本少的在loss中的权重比例高,反之降低 过采样、欠采样 OHEM:只保留loss高的样本,忽略简单样本 而虽然上述方法可以让模型关注到样本不平衡...