迁移学习是机器学习的前沿研究方向之一,其目标是将某个领域或任务上学习到的知识或模式应用到不同的但相关的领域或问题中[1]。
与半监督学习、主动学习等标注数据稀缺解决风范的本质不同在于,迁移学习放宽了训练数据和测试数据服从独立同分布这一假设,从而使得参与学习的领域或任务可以服从不同的边缘概率分布或条件概率分布。迁移学习的主要思想是,从相关的辅助领域中迁移标注数据或知识结构、完成或改进目标领域或任务的学习效果,其工作原理如下所示:
动机
解决标注数据稀缺性
标注数据稀缺性会导致经典监督学习出现严重的过拟合问题,虽然传统半监督学习、协同训练、主动学习等也可以解决数据稀缺性,但它们都要求目标领域中存在相当程度的标注数据;当标注数据十分稀缺且获取代价太大时,仍然需要从辅助领域迁移知识来提高目标领域学习效果。
非平稳泛化误差分析
具备理论保证是统计机器学习得以成功的关键因素之一。然而在非平稳环境中,不同数据领域不再服从独立同分布假设,使得经典学习理论不再成立,这给异构数据分析挖掘带来了理论上的风险。广义上看,迁移学习是经典学习在非平稳环境下的推广;换句话说,但凡经典学习不能取得很好学习效果时均可能是因为训练数据和测试数据之间存在概率分布漂移。
定义
迁移学习涉及领域(Domain)和任务(Task)两个重要概念:
域 定义为由 维特征空间 和边缘概率分布 组成,即
给定域 ,任务 定义为由类别空间 和预测模型 组成,即
按统计观点预测模型 解释为条件概率分布。
★定义 (迁移学习) 给定源域 及其对应的源任务 和目标域 及其对应的目标任务 ,迁移学习的目标是在 或 条件下,降低目标域预测模型 的泛化误差。
”
根据特征空间、类别空间、边缘概率分布、条件概率分布的异同,迁移学习可以进一步分为多个子类。
分类
基于标注的迁移学习分类
如下图所示,根据域标注数据有无,迁移学习可以分成三类:推导迁移学习(inductive transfer learning),转导迁移学习(tranductive transfer learning)和无监督迁移学习(unsupervised transfer learning)。
An Overview of Different Settings of Transfer[2]
★描述推导迁移学习 在 时,推导迁移学习使用源领域 和 中的知识提升或优化目标领域 中目标预测函数 的学习效果。
”
在推导迁移学习中,源任务 与目标任务 一定不同,目标域 与源域 可以相同,也可以不同。在这种情况下,目标域需要一部分带标记的数据用于建立目标领域的预测函数 。
当源域中有很多标记样本时,推导迁移学习与多任务学习(multitask learning)类似。
推导迁移学习 vs 多任务学习通过从源域迁移知识,推导迁移学习只注重提升目标领域的效果;但多任务学习注重同时提升源领域和目标领域的效果。
当源域没有标记样本时,推导迁移学习与自学习(self-taught learning)类似。
★描述转导迁移学习 在 且 时,转导迁移学习使用源领域 和 中的知识提升或优化目标领域 中目标预测函数 的学习效果。
”
在转导迁移学习中,源任务 与目标任务 相同,但域 和 不同。这种情况下,源域有大量标记样本,但目标领域没有标记样本。根据 和 的不同,可以把转到学习分为两个类:
源域和目标域特征空间不同,即 不等于 ,对应 domain adaption
特征空间相同,但边缘概率不同,即 不等于 ,对应 covariate shift
★描述无监督移学习 在 且标签空间 和 不可观测时,无监督迁移学习使用源领域 和 中的知识提升或优化目标领域 中目标预测函数 的学习效果。
”
在无监督迁移学习中,目标任务与源任务不同但却相关。此时,无监督迁移学习主要解决目标领域中的无监督学习问题,类似于传统的聚类、降维和密度估计等机器学习问题。
基于特征空间的迁移学习分类
按特征空间、类别空间、边缘分布、条件分布等问题因素在领域间的异同,迁移学习可大致地划分为两大类。
同构迁移学习:特征维度相同分布不同
根据边缘概率分布和条件概率分布异同,同构迁移学习可进一步分为数据集偏移、领域适配、多任务学习三种子类型。
异构迁移学习:特征维度不同或特征本身就不同
根据领域间特征空间和类别空间的异同,异构迁移学习包括异构特征空间和异构类别空间两种子类型。
应用
基于上述理论方面的原因,迁移学习已经被广泛应用于很多重要实际问题中如自然语言处理、计算机视觉、医疗健康和生物信息学等。
参考资料
龙明盛. 迁移学习问题与方法研究[D]. 清华大学, 2014: http://ise.thss.tsinghua.edu.cn/~mlong/doc/phd-thesis-mingsheng-long.pdf
[2]Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010: https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf