Google推出最新ML模型压缩技术Learn2Compress

TechWeb.com.cn 2018-05-17 10:17:58 压缩

【TechWeb报道】5月16日消息,随着深度学习技术的爆炸性发展,很多企业、开发者都发表了自己的研究论文,展示最新取得的不俗成绩。但是在实际使用时,很可能遇到模型大小方面的问题。Google近日公开了自家全新ML模型压缩技术Learn2Compress。

该技术能为开发的深度学习模型变得更为轻量化,并在移动设备上去执行。Learn2Compress将NN模型压缩为输入一个大型的TF模型,自动生成随时可用的设备模型。

对于Learn2Compress技术的本质,谷歌提了如下三点:

·通过除无意义的权重和激活来减少模型的大小;

·通过减少模型中使用的位数来提高推理速度;

·联合和精馏方法策略,老师网络是一个给定的模型,学生网络是被压缩的,这些模型很窄,有于我们显著减轻计算负担,此外还能够同时训练不同规模的学生网络。

结果就是Learn2Compress效果非常好,可以更快更小地生成模型,有时甚至超过了给定的模型。

本文相关软件

WinRAR5.60 破解版

WinRAR是一款功能强大的压缩包管理器,它是档案工具RAR在 Windows环境下的图形界面。Win...

更多


'); })();