您好、欢迎来到现金彩票网!
当前位置:大象彩票app下载 > 感觉器感知器 >

训练深度神经网络的感觉就像买彩票“打了折”的深度学习

发布时间:2019-06-06 17:35 来源:未知 编辑:admin

  MIT CSAIL近期发表文章《彩票假设:寻找稀疏可训练的神经网络》认为神经网络就像中彩票并不是每一张都有用,但应设法找到最能中奖的那个,因此可通过消除神经网络结构件不必要的连接(也称修剪)适应低功率设备,在一系列条件下不断重复该过程,神经网络可缩小10%到20%,但并不影响准确率,甚至比原始网络跟快。

  根据齐鲁晚报报道,最近威海一彩民获得了1219万大奖,可以说是非常幸运了,看的一众神经网络“炼丹师”们羡慕不已。

  HackerNews网友opwieurposiu就吐槽,做DNN其实根本和买彩票没什么区别:先是收集训练数据,然后写一个python脚本,支付大约1美元的GPU时间,跑一下。所不同的是,你盯着的不是轮盘的转针,而是损失函数图。

  95%的时间都是废的,但是每隔一段时间你就会得到很大的回报。中奖的时候,你可能觉得自己真是个天才!但复盘的时候又发现,你根本不知道为什么A方式有效而B就不行。这种感觉,跟压彩票非常相似。

  1美元的神经网络很小了。为了更好地学习,神经网络就必须非常大,需要海量数据集,整个训练过程可能要持续好多天。投入100美元、1000美元、10000美元的时候,你可能感受到的不仅仅是经费在燃烧了。

  MIT CSAIL的两位研究人员Jonathan Frankle和Michael Carbin发表过一篇论文《彩票假设:寻找稀疏的、可训练的神经网络》刚刚被评为ICLR最佳论文。

  论文指出,神经网络剪枝技术可以在不影响精度的前提下,将训练网络的参数数量减少90%以上,降低存储需求并提高推理的计算性能。然而,当前的经验是,剪枝产生的稀疏架构从一开始就很难训,然而同时也能提高了效率。

  Frankle和Carbin发现,一个标准的修剪技巧可以自然的显露出一个子网络,初始化该网络就能提高训练效率。因此他们提出了 “彩票假设”(lottery ticket hypothesis):任何密集、随机初始化的前馈网络,都包含一个子网络,以便在隔离训练时可以在最多相同数量的训练迭代中,匹配原始网络的准确性。

  然而,在成功的找到这个子网络之前,必须经过多次训练和“修剪”整个网络。这就好像你去买了一大包彩票,然后从里面找出中奖的那个。神经网络的好处是,所有的彩票都在你的手中,你总能找出来中奖的那个。

  如果能确切的定位到原始网络中哪个子网络跟最终预测相关,那么也就用不着多次训练和“修建”,直接砍掉无关的部分即可。这样又进一步的降低了工作量,提高了效率。这就意味着,要通过一种技巧,使得每次买彩票必中!

  彩票假设也可能迁移学习产生影响,在这种情况下,为图像识别等任务训练的网络可以帮助完成不同的任务。

  感谢大家对神经网络的过度热捧,使得越来越多的人感叹于神经网络的神奇效果,但很少有人理解训练一个神经网络有多难。一来成本高昂,二来耗时漫长。所以研究人员必须做出许多让步,在模型的大小、训练耗时和最终表现等多个方面进行权衡。

  包括今天两位主角提出的“彩票假设”的验证过程。他们首先采用一种通用的方法,用最低的“权重”“修剪”连接来消除受过训练的网络的不必要连接,使其适用于智能手机等低功耗设备。

  “彩票假设”的关键创新,是发现经过网络训练之后,修剪连接可能根本就没有必要。为了测试这个假设,他们尝试再次训练完全相同的网络,但没有修剪连接。

  重要的是,他们将每个连接“重置”到训练开始时分配的权重。这些初始权重对于帮助中奖来说至关重要,没有它们,被修剪的网络将无法学习。通过修剪越来越多的连接,最终确定了哪些是可以删掉而不影响模型预测能力。

  为了验证这一假设,他们在各种条件下在许多不同的网络上重复了这个过程数万次。实验结果显示MNIST和CIFAR10的“中奖彩票”的规模,始终要小于几个全连接架构和卷积前馈架构的10%-20%。这样的话,不仅深度网络在体积上打了折扣,成本、耗时都大打折扣。

  下一步,该团队计划探索为什么某些子网特别擅长学习,以及有效找出这些子网的方法。

  Google已经用Python实现了彩票假设算法,并在Github上开源:

http://dpi-berlin.net/ganjueqiganzhiqi/491.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有