清华张长水等人30页少样本学习综述论文，涵盖400+参考文献

本文长度为2000字，建议阅读5分钟

这篇综述文章回顾了少样本学习（FSL）的演进历史和当前进展，对 FSL 方法进行了层次分类，并总结了近期多个 FSL 扩展性主题及其最新进展，介绍了 FSL 在计算机视觉、自然语言处理等领域中的应用。

少样本学习（FSL）是机器学习领域中重要且有难度的课题。基于少量样本进行学习和泛化的能力是区分人工智能和人类智能的重要分界线，因为人类往往能够基于一个或少量样本建立对新事物的认知，而机器学习算法通常需要数百或数千个监督样本才能实现泛化。

少样本学习的研究可以追溯到 21 世纪初，近年来随着深度学习技术的发展它也受到广泛的关注，但是目前关于 FSL 的综述文章较少。清华大学教授、IEEE 张长水等人广泛阅读和总结了自 21 世纪初到 2019 年的 300 余篇论文，写了一篇关于 FSL 的综述文章。

论文链接：

这篇综述文章回顾了 FSL 的演进历史和当前进展，将 FSL 方法分为基于生成模型和基于判别模型两大类，并重点介绍了基于元学习的 FSL 方法。

此外，本文还总结了近期出现的多个 FSL 扩展性主题及其最新进展，并介绍了 FSL 在计算机视觉、自然语言处理、音频、强化学习和机器人学、数据分析等热点研究领域中的应用。

最后，本文讨论了 FSL 的未来趋势，希望能为后续研究提供指引。

该综述文章的新颖之处和主要贡献包括：

文章结构

下图 1 展示了该综述文章的主要内容，包括 FSL 的发展过程、方法分类、扩展性主题和应用。

这篇综述文章篇幅较长，共有 30 页内容，参考文献多达 414 篇。我们仅选取部分概括性的图表进行展示，详情参见原论文。

基于生成模型的 FSL 方法

下表 1 总结了第一类 FSL 方法——基于生成模型的 FSL 方法：

基于判别模型的 FSL 方法

本文将基于判别模型的 FSL 方法分为四类：增强、度量学习、元学习和其他方法，并重点介绍了元学习方法。

下图 2 概括了基于增强的 FSL 方法的通用框架：

下表 2 则总结了监督式和无监督式增强方法：

下图 8 展示了基于度量学习的 FSL 方法的通用框架：

下表 3 则总结了基于度量学习的 FSL 方法的主要特征：

元学习

下图 12 展示了基于元学习的 FSL 方法的通用框架：

此外，这部分还介绍了基于元学习的 FSL 方法的五个子类别：Learn-to- (L2M)、Learn-to- (L2F)、Learn-to- (L2P)、Learn-to- (L2A) 和 Learn-to- (L2R)。

下图 13 展示了不同 L2M 方法之间的发展关系：

许多近期提出的 Learn-to- 方法属于 MAML 变体，下图 16 展示了 MAML 与其变体之间的关系：

下表 4 总结了 – 方法：

下表 5 总结了 Learn-to- 方法：

下图 22 展示了 Learn-to- 方法的通用框架：

FSL 方法的应用领域

下表 9 总结了 FSL 方法在计算机视觉、自然语言处理、音频、强化学习和机器人学、数据分析等领域的应用：