跨任务/域迁移特征学习

Learning Good Features to Transfer Across Tasks and Domains

P Z Ramirez, A Cardace, L D Luigi, A Tonioni, S Salti, L D Stefano

[University of Bologna & Google]

https://arxiv.org/abs/2301.11310

Extended version of the paper "Learning Across Tasks and Domains" presented at ICCV 2019. Accepted at TPAMI

要点：通过学习深度特征间的显式映射函数，在不同任务间迁移知识的框架；用一种新的 norm discrepancy 对齐损失来约束跨域的深度特征，并改善映射函数学习；通过部署辅助任务来改进映射函数。

一句话总结：提出了一个通过学习深度特征间显式映射函数在任务间迁移知识的框架，使用深度特征空间的约束策略和提高性能的辅助任务，在单目深度估计和语义分割任务的合成到实际适应场景中产生了最先进的结果。

摘要：标记数据的可用性是在新领域部署用于计算机视觉任务的深度学习算法的主要障碍。许多用于解决不同任务的框架共享相同的架构，这一事实表明，应该有一种方法来重用在特定环境中学习的知识，以在有限或没有额外监督的情况下解决新任务。在这项工作中，我们首先展示了通过学习给定领域中特定于任务的深层特征之间的映射，这些知识可以在任务之间共享。然后，我们证明了这个由神经网络实现的映射函数能够推广到新的未知领域。此外，我们提出了一组策略来约束学习的特征空间，以简化学习并提高映射网络的泛化能力，从而显著提高了框架的最终性能。我们的建议通过在单目深度估计和语义分割任务之间传递知识，在挑战合成到真实的适应场景中获得了令人信服的结果。