残差函数(什么叫做残差

联合汇编:高菲布雷克

2016年8月31日,谷歌团队宣布已经为TensorFlow开放了最新的TF-slim数据库。它是一个轻量级的软件包,可以定义、训练和评估模型,还可以为图像分类领域的几个主要竞争网络测试和定义模型。

为了进一步推动这一领域的进展,今天谷歌团队宣布发布了Incident-Resnet-V2(一种卷积神经网络——CNN),在ILSVRC图像分类的基准测试中取得了最好的成绩。Incident-ResNet-v2是早期incident v3模型的变体,它从微软的残余网络(ResNet)论文中获得了一些启发。相关论文可以在我们的论文《Incident-v4、Incident-resnet和剩余连接对学习的影响》(Incident-v4、Incident-resnet和剩余连接对学习的影响)中找到:

残差连接允许模型中存在捷径,这可以使研究人员成功地训练更深层次的神经网络(以获得更好的性能),从而可以明显简化事件块。比较两种模型架构,如下图所示:

在第二个事件-resnet-v2图片的顶部,可以看到整个网络的扩展。请注意,该网络被认为比以前的事件v3更深。在图中,大部分重复的残留块都被压缩了,所以整个网络看起来更直观。此外,需要注意的是,图中的事故区块被简化,并且包含比之前的事故v3更少的平行塔。

如下图所示,Incident-Resnet-V2架构的准确性高于之前的优化模型。图表显示了基于单个图像的ILSVRC 2012图像分类标准排名第一和第五的有效准确度。此外,新模型只需要两倍于Incident v3的容量和计算能力。

例如,尽管Incident v3和Incident-resnet-v2都擅长识别每只狗所属的类别,但这种新模型的性能更加显著。例如,旧模型可能会错误地将右侧的图片识别为阿拉斯加雪橇犬,而新模型Incident-Resnet-V2可以准确地识别两张图片中的狗类别。

阿拉斯加雪橇犬(左)和西伯利亚雪橇犬(右)。图片:维基百科。

为了让人们明白如何开始实验,我们还将发布一个新型的事件——resnet-v2预训练示例,作为TF-Slim图像模型库的一个组件。

我们非常兴奋地看到这种改进模型在这一研究领域的进展,人们开始采用这种新模型,并比较其在各种任务中的性能。您也想开始使用这种新模式吗?让我们看一下随附的操作说明,了解如何训练、评估或微调网络。

切口-雷斯网-V2的具体代码实现过程见:

https://github.com/tensor flow/models/blob/master/slim/nets/inception _ resnet _ v2 . py

PS :本文由雷锋独家编辑。com并拒绝未经允许转载!

通过谷歌研究博客

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注