你的损失函数都能搜索了！港中文&商汤等提出AutoLoss-Zero：通用损失函数搜索

AI/CV重磅干货，第一时间送达

-Zero: 通用的损失函数搜索框架

只需和data，从零开始拿到损失函数！

尽管近来自动机器学习（）的发展十分迅速，在深度学习的多个领域取得了显著进展，但是在损失函数的搜索方面，现有的方法往往仅仅关注于某个任务（如语义分割）或某个评价指标（mAP），且包含大量先验性的设计。鉴于此，来自商汤科技、香港中文大学和清华大学的研究人员们提出了一个通用于各种任务和指标的搜索框架-Zero，从基本数学运算构造损失函数，让损失函数搜索真正的自动起来。

-Zero有以下特点：

• 通用性：无需先验知识，无需手工设计，也不需要损失函数作为搜索起点，从基本数学运算开始组合出多种计算机视觉任务（语义分割、目标检测、实例分割、姿态估计等）所需的损失函数；

• 高效性：只需四张V100 GPU， -Zero可以在48小时内从随机初始化开始搜索出达到或超过现存手工/自动设计水平的损失函数。

-Zero: Loss from for Tasks

论文链接：

搜索空间

-Zero使用计算图来表示损失函数，并使用上图中的基础数学运算构造损失函数。在初始化阶段，损失函数的计算图来自随机生成，不需要任何先验的搜索起点。

搜索算法

-Zero采用进化算法对损失函数进行搜索（如上图所示）。为了解决搜索空间的稀疏性问题，作者们提出了通用的损失函数拒绝机制（Loss- ）和梯度等价性检测（–Check ）两项技术，极大的提高了搜索速度。

如下表所示，-Zero采用的几项加速技术使得搜索相对于原始进化算法有了5000倍的效率提升，在48小时内使用4张V100 GPU可以探索超过

个候选损失函数。

搜索效果

作者们在语义分割、目标检测、实例分割和姿态估计四项计算机视觉任务上，使用 VOC和COCO等数据集进行了实验。

实验表明，-Zero搜索到的损失函数均达到或超过了现有手工设计或自动搜索出来的结果，且可以泛化到不同的数据集和网络结构上。此外，作者对搜索算法进行了消融实验，进一步证明了搜索算法的有效性，如下图所示。

语义分割实验结果：

目标检测实验结果：

实例分割和姿态估计实验结果：

-Zero 的代码将会开源。详细介绍请参见论文：