脑机接口中的流形嵌入知识迁移学习

近年来,脑机接口技术在辅助医疗、智能感知、人机交互等领域得到了广泛的应用。和图像、视频、文本数据不同,脑机接口中采集的脑电数据往往来自不同个体,个体之间的差异导致数据分布存在较大差异,传统机器学习算法较难进行跨用户学习;此外,单独为某个用户收集大量带标注数据不仅耗时,而且会影响用户体验。迁移学习是解决这些难题的一个可行思路。

不同人对于同样的任务或者外在刺激存在不同的反应,但相对同一任务和特征提取过程,迁移学习可以利用已有带标注数据辅助新用户学习,主要原理为对齐个体之间的分布差异,使得源用户中的模式或者知识能够迁移到新用户上,从而实现在新用户不打标,或者标注少量数据的情况下实现较好的任务学习。

为实现上述目标,我们提出了一种应用于脑机接口的流形嵌入知识迁移方法 (MEKT),以解决针对脑机接口中迁移学习的三个重要问题:

  1. 如何对数据预处理,使得不同用户的数据可以联合训练?
  2. 如何借鉴图像领域的迁移学习思想,解决个体差异问题?
  3. 如何选择和新用户相关的源域,以减小运算代价?

流形嵌入知识迁移方法的主要原理图如下:

  1. 首先提出了一种中心对齐的方法,在黎曼流形上进行数据的预对齐。我们详细证明了该对齐方法的两个性质:减小分布差异和数据白化。
  2. 然后将数据投影到切空间上。切空间上特征维度较高,可以通过特征变换进行分布的进一步对齐,因此在我们在切空间上提出了一种新的基于联合概率分布对齐和数据结构保持的知识迁移方法。
  3. 最后针对多个源用户的情况,我们提出了一种域的可迁移性的估计方法,以实现对多源域迁移情况下的迁移性估计和多源域选择。

MEKT_overview

我们提出的方法成功被应用到运动想象、事件相关电位等多种范式在内的脑机接口系统,并与早期的欧式空间对齐 (EA)和公开的黎曼对齐(RA-MDM),以及为了验证切空间知识迁移而引入的图像迁移领域主流的 SOTA 模型 JDA, JGSA 等方法,实验结果表明我们的算法显著优于上述基线,且具有较低的时间复杂度;此外,我们提出的源域选择方法可以实现在性能降低尽量小的前提下提高运行速度近两倍。

我们未来的工作将会专注于脑机接口中的在线迁移学习方法,因为多数的脑机接口任务对实时性要求较高,数据是在线得到的,因此设计轻量且高效的分类迁移以及回归迁移学习算法具有更强应用价值。

本工作由华中科技大学人工智能与自动化学院博士生张稳和伍冬睿教授共同完成。目前在 IEEE Transactions on Neural Systems and Rehabilitation Engineering 审稿中。

W. Zhang and D. Wu, “Manifold Embedded Knowledge Transfer for Brain-Computer Interfaces,” IEEE Trans. on Neural Systems and Rehabilitation Engineering, 2019, submitted.

arXiv: https://arxiv.org/abs/1910.05878
code: https://github.com/chamwen/MEKT