找软件用软件,到华军软件园!
当前位置:华军软件园 > 华军新闻网 > 资讯中心 > 科技资讯>Facebook团队新成果Modout:通过随机正则化方法进行多模型架构学习

Facebook团队新成果Modout:通过随机正则化方法进行多模型架构学习

2017-04-05 09:33:01  [  华军资讯   ]   作者:
宇智波佐助
导读:Modout是一种基于随机正则化的模型选择方法,它在多模型设定中特别有用。

近日华军软件园了解到,Facebook团队与圭尔夫大学及里昂国立应用科学学院推出了新作,Fan Li 与Natalia Neverova, Christian Wolf, Graham Taylor等一起提出了一种创新的方法,提高了多模型下深度学习的效果。

Facebook原文链接:https://research.fb.com/publications/modout-learning-multi-modal-architectures-by-stochastic-regularization/

论文链接:http://www.uoguelph.ca/~gwtaylor/publications/modout.pdf

论文阐述了通过随机正则化方法进行多模型架构学习新方法Modout,并介绍了已有的基于随机正则化的模型选择方法,通过论证和实验数据,表现了Modout的优越性。

华军软件园了解到,基于随机正则化的模型选择方法因其简单性和有效性已经广泛应用于深度学习中。其中非常有名的drop-out,以相同的方式处理每个单元,包括可见的、隐藏的,有一定几率的让一半的特征检测器停过工作,提高网络的泛化能力,也因此,忽略了与网络分组和结构相关的任何先验信息。这种结构存在于多模式学习的应用中,比如情感分析和手势识别。在这些应用中,每一个子数据集都可能需要对应一个单独的学习模式。

团队向大家介绍一种新的方法,Modout。Modout是一种基于随机正则化的模型选择方法,它在多模型设定中特别有用。它与其他随机正则化方式不同的地方在于,在同一层网络中,它可以有效的通过学习判断是否要或什么时候将两种模式进行融合。而在一般情况下,这种机制通常都是深度学习的研究者们和实践者们预先设置好的架构层面的高级参数。

Facebook团队新成果Modout:通过随机正则化方法进行多模型架构学习

在Li的论文中,Modout在两种实际的多模型数据组中得到实现,而其实验的结果可以看到Modout相对于其他随机正则化方法的优越性。除此之外,Modout在Montalbano数据中表现出了与学者设计的最先进的深度学习架构比肩的实验效果。

AI科技评论招聘季全新启动!

很多读者在思考,“我和AI科技评论的距离在哪里?”,答案就是:一封求职信。

AI科技评论自创立以来,围绕学界和业界鳌头,一直为读者提供专业的AI学界,业界,开发者内容报道。我们与学术界一流专家保持密切联系,获得第一手学术进展;我们深入巨头公司AI实验室,洞悉最新产业变化;我们覆盖A类国际学术会议,发现和推动学术界和产业界的不断融合。

而你只要加入我们,就有机会和我们一起记录这个风起云涌的人工智能时代!

如果你有下面任何两项,请投简历给我们:

*英语好,看论文毫无压力

*计算机科学或者数学相关专业毕业,好钻研

*新闻媒体相关专业,好社交

*态度好,学习能力强

简历投递:

北京:lizongren@leiphone.com

深圳:guoyixin@leiphone.com

Facebook团队新成果Modout:通过随机正则化方法进行多模型架构学习
标签:正则,学习,方法
点个赞()
上一篇:

清华大学国家金融研究院院长朱民 :中国还不是人工智能大国 | 2017 IT领袖峰会


下一篇:

能够学习的人工神经突触 人造大脑已在地平线?


网友评论(查看全部条评论)

用户名: 密码:
验证码:
匿名发表
有话不说,憋着多难受啊。
'); })();