技术专栏| 基于参数共享的多任务学习（下）4

– 前言 –

基于参数共享的多任务学习（Multi-Task , MTL）是MTL中最经典、应用最广泛的方法，其核心思想是让多个任务共享模型的部分参数，从而利用任务间的相关性提升泛化性能。根据共享方式的不同，可分为 **硬参数共享（Hard ）**和 **软参数共享（Soft ）**两大类。

01

参数共享的优化策略

01

分层共享（Layer-wise ）

方法：不同层采用不同的共享策略（如底层硬共享，高层软共享）。

例子： NLP中，BERT的底层共享，顶层任务适配器（）微调。

02

渐进式共享（ ）

方法：训练初期独立学习任务，后期逐步增加共享（避免早期负迁移）。

模型: ：逐步扩展网络分支，保留旧任务参数。

03

对抗共享（ ）

方法：通过对抗训练分离共享特征和任务特定特征。

模型：MTAN（Multi-Task ）：生成器共享，判别器任务特定。

04

应用场景

领域       硬共享案例               软共享案例

NLP    BERT多任务微调（MT-DNN）    MMoE用于多标签文本分类

CV    共享卷积层    Cross-多目标检测

推荐系统    共享用户    MMoE用于CTR和CVR预测

医疗    共享医学影像特征提取层    多任务自编码器诊断不同疾病

05

参数共享 vs.其他MTL方法

领域       硬共享案例               软共享案例

NLP    BERT多任务微调（MT-DNN）    MMoE用于多标签文本分类

CV    共享卷积层    Cross-多目标检测

推荐系统    共享用户    MMoE用于CTR和CVR预测

医疗    共享医学影像特征提取层    多任务自编码器诊断不同疾病

06

总结

硬参数共享：简单高效，适合高相关性任务（如BERT多任务微调）。

软参数共享：灵活性强，适合任务差异大的场景（如MMoE推荐系统）。

关键设计点： -共享层深度（底层共享 vs.分层共享）。 -共享强度控制（硬共享 vs.门控机制）。 -避免负迁移（渐进式训练、对抗学习）。实际应用中，通常需要结合任务相关性、数据规模和计算资源选择合适的共享策略。