WAP手机版 RSS订阅 加入收藏  设为首页
澳门威尼斯人线上娱乐网站

澳门威尼斯人线上娱乐网站:在相同准确率下,实际参数量的压缩,相对之前方法最大可以提高超120倍

时间:2020/1/19 14:26:33   作者:   来源:   阅读:0   评论:0
内容摘要:这是Didi Intern提出的自动结构化分支约简压缩算法框架(称为AutoCompress)带来的性能改进。核心是自动在深度模型修剪中找到超参数,并删除模型中不同层的参数冗余。在CIFAR和ImageNet数据集上进行的大量测试表明,AutoCompress优于各种神经网络压缩...
这是Didi Intern提出的自动结构化分支约简压缩算法框架(称为AutoCompress)带来的性能改进。
核心是自动在深度模型修剪中找到超参数,并删除模型中不同层的参数冗余。
在CIFAR和ImageNet数据集上进行的大量测试表明,AutoCompress优于各种神经网络压缩方法和框架。
该研究也被AAAI2020接受。

研究人员说,这项研究可以替代手动设计过程,并实现超高压缩率,从而满足在嵌入式端运行的深度模型的实时性能要求。
他们是如何实现这一目标的?让我们一一阅读。
在深度模型修剪中自动设置超级参数
近年来,随着深度神经网络模型性能的不断更新,该模型的骨干网络参数越来越大,存储和计算成本也在不断增加,这使得难以在具有以下特征的嵌入式平台上进行部署:有限的资源。
深度神经网络模型压缩技术已经成为解决这一问题的必不可少的关键,也是近年来研究的热点之一。
还有很多方法,其中一种是结构化修剪,可以解决平台级硬件执行效率低,内存访问效率差和计算并行度低的问题,因此引起了学术界和业界的关注。
但是,它也有“硬伤”,并且在算法实现过程中涉及大量的超参数设置。例如,如何确定模型的压缩尺寸,或如何确定模型中各层的压缩率等。
这一切都需要专家设计并以“脱发”的方式进行逐步指导,并且手动设计这些超级参数的过程既漫长又复杂。

相关评论

本类更新

本类推荐

本类排行

本站所有站内信息仅供娱乐参考,不作任何商业用途,不以营利为目的,专注分享快乐,欢迎收藏本站!
所有信息均来自:百度一下 (金沙网址手机版)