ChatGPT鲁棒性如何？微软等WSDM2023《领域泛化》教程，阐述域泛化(DG)最新进展以及ChatGPT等大模型分布外性能

论文：

域泛化(DG)，即分布外泛化，近年来引起了越来越多的关注。领域泛化处理一个具有挑战性的设置，其中给出了一个或几个不同但相关的领域，目标是学习一个可以泛化到看不见的测试领域的模型。

近年来，取得了很大的进展。本文首次综述了领域泛化的最新进展。

首先，我们给出了领域泛化的形式化定义，并讨论了几个相关的领域。

接下来，我们对领域泛化的相关理论进行了全面的回顾，并对泛化背后的理论进行了仔细的分析。然后，我们将最近出现的算法分为三类，分别是数据操作、表示学习和学习策略，每一类都包含了一些流行的算法。

第三，介绍了常用的数据集及其应用。最后，对已有文献进行了总结，并提出了未来的研究方向。

是最近发布的一个聊天机器人服务，在过去的几个月里受到越来越多的关注。虽然对的各个方面进行了评估，但其鲁棒性，即对意外输入的性能，仍不清楚。鲁棒性在负责任的人工智能中尤其值得关注，特别是在安全关键应用中。本文从对抗和分布外(OOD)的角度对的鲁棒性进行了全面的评估。采用和ANLI基准来评估对抗性鲁棒性，并采用评论和医疗诊断数据集进行OOD评估。我们选择了几个流行的基础模型作为基线。结果表明，在大多数对抗性和OOD分类和翻译任务中表现出一致的优势。然而，其绝对性能远非完美，这表明对抗性和OOD的鲁棒性仍然是基础模型的一个重大威胁。在理解对话相关文本方面表现出惊人的性能，它倾向于为医疗任务提供非正式的建议，而不是确定的答案。最后，对未来可能的研究方向进行了深入探讨。

专知便捷查看