专利 | 基于图卷积神经网络融合多种人脑图谱的受试者分类方法
Hello,
大家好，这里是壹脑云，我是Ting Zhang~
今天和大家一起学习的是“基于图卷积神经网络融合多种人脑图谱的受试者分类方法”这个专利。它是由华南理工大学的张鑫和梁成波发明的专利。
这个发明公开了一种基于图卷积神经网络融合多种人脑图谱的受试者分类方法，人脑图谱是一种数据结构，表示人脑中不同脑区之间的互动信息，通过对受试者的五种人脑图谱进行识别从而对该受试者进行分类预测，属于脑科学研究以及深度学习研究领域。
该分类方法步骤如下：获取人脑功能磁共振时序信号并进行预处理；根据不同的功能连接强度计算方法对每个样本构建五种类型的人脑图谱从而得到五个数据集；构建五个图卷积神经网络分类器；分别在对应的人脑图谱数据集上进行训练，从而获得对特定人脑图谱的二分类能力；综合五个图卷积神经网络分类器的预测结果，对受试者进行分类预测，即预测受试者属于哪一类人。
我们将从背景技术、发明内容、优点及效果三个方面来解读，一起来学习吧~
背景技术
功能磁共振成像是一种快速成像技术，当大脑内某一部位进行活动，血流量增加，导致功能磁共振信号增强，因此功能磁共振成像(fMRI)技术被广泛应用于检测大脑内的血氧活动，进而检验大脑相关区域的功能活动变化。大量实验结果表明一些个体特征如年龄等与该个体的功能连接网络存在关系，所以人脑功能连接网络与生理特性息息相关，对fMRI中提取的脑功能连通性进行分析已成为对个体特征进行分类的流行方法。
图片来自：图虫创意
很多计算相关性的指标被用于测量脑区之间的功能连接强度，例如相关系数、稀疏表示、聚类系数、统计特性、因果特性等，其中因相关系数法具有简便性和有效性，广泛应用于功能连接强度的测量中，从而构建人脑图谱对人脑功能网络进行建模。
目前，基于功能连接网络对多动症识别的研究中，主要为使用单一的功能连接方法进行研究，因为各种连接测量指标有其优点及缺点，对于某些样本数据，仅使用单一的功能连接强度测量方法容易陷入该测量方法的内在缺点而导致识别困难。例如相关系数法容易受信噪比的影响，统计特征缺乏时间维度上的联系，因果关系的参数具有敏感性，容易对因果关系的计算结果造成较大的影响。
最近，在各个领域中机器学习方法表现出对复杂数据具有优秀的拟合能力，因此很多脑科学影像的研究中引入机器学习方法进行识别，并取得了出色的效果。目前大多数基于fMRI的研究采用传统机器学习算法进行分类，但因其难以处理高维的医学成像数据，因此在输入模型之前，先对样本进行特征筛选，这也导致了模型的分类性能过度依赖于特征筛选的问题，因此传统机器学习的方法在脑科学研究中的泛化性能有限。
已有一些研究使用图卷积神经网络对人脑图谱进行分类，但该研究仍在探索过程中，提取节点特征的过程缺乏不同层次之间的联系。
图片来自：图虫创意
由此可见，现有技术的缺点和不足有以下三点：
1、目前已有的基于人脑功能网络的分类研究中多数仅使用单一的功能连接强度指标，容易受其内在缺点的影响，限制了分类模型的分类性能。
2、已有的人脑功能网络分类方法大多需要特征筛选过程，在生理机制未清楚的情况下，模型的分类准确性与泛化性能容易受特征筛选过程的限制。
3、图卷积神经网络分类模型中，缺乏对不同层次的节点之间关系的考虑。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于图卷积神经网络融合多种人脑图谱的受试者分类方法，该分类方法使用五个图卷积神经网络分类器分别对受试者的五种人脑图谱进行分类，并将全部预测结果进行投票判决，从而获得最终预测结果，即预测该受试者属于哪一类人。
本发明中的图卷积神经网络分类器可用于对人脑图谱进行成年人与儿童的分类，男性与女性的分类等，但不限于以上的分类任务。
本发明所述的基于图卷积神经网络融合多种人脑图谱的受试者分类方法包括下列步骤：
基于图卷积神经网络融合多种人脑图谱的受试者分类方法流程图
STRP1 获取人脑功能磁共振时序信号的数据集，数据集中每个样本为一个受试者大脑内各个脑区的功能磁共振时序信号的集合，将其表示为x，该样本中的第i个脑区的时间序列表示为xi，描述该脑区在一定时间范围内的活动状态，对该数据集进行预处理，其中，预处理为制作样本标签以及平衡类间样本数量；
STRP2 对数据集中每个样本构建五种人脑图谱，分别为低阶人脑功能网络图谱LON、高阶人脑功能网络图谱HON、混合高阶人脑功能网络图谱HHON、基于KS检验的人脑功能网络图谱KSN、基于格兰杰因果检验的人脑功能网络图谱GN，以上五种人脑图谱分别反映人脑中五种不同类型的功能连接信息，从而获得用于训练图卷积神经网络分类器的五个数据集，分别表示为DLON、DHON、DHHON、DKSN、DGN，
其中，LON用于描述脑区之间的时间相关性，HON用于描述低阶子网络之间的结构相关性，HHON用于描述低阶子网络与高阶子网络之间的结构相关性，KSN根据脑区时间序列的统计分布特性从而衡量不同脑区之间的是否建立连接，GN根据不同脑区的时间序列之间的因果关系从而衡量不同脑区是否建立连接；
STRP3 构建五个图卷积神经网络分类器对五种人脑图谱进行二分类，将特定的人脑图谱的功能连接矩阵输入至图卷积神经网络分类器，从而获得对该人脑图谱预测为正样本以及负样本的概率，
其中，五个图卷积神经网络分类器分别表示为LON分类器、HON分类器、HHON分类器、KSN分类器、GN分类器，每个图卷积神经络分类器均由5层多尺度消息传递层MS_MP、3层跨层节点特征提取层CLN、2层全局节点特征提取层GNR、1层图特征提取层GFR以及1层全连接层FC构成，其中多尺度消息传递层MS_MP对输入的人脑功能连接矩阵进行处理，根据连接边两端节点的多尺度拓扑结构信息对该连接边权值进行更新，经过多层迭代使连接边获得更加抽象的功能信息；
跨层节点特征提取层CLN将相邻两层多尺度消息传递层MS_MP输出的连接矩阵作为输入，并从中聚合出节点的特征向量作为输出，使用跨层的特征提取策略增加了节点特征信息的多样性，该向量称为跨层节点特征向量；
全局节点特征提取层GNR将多个跨层节点特征进行聚合，经过两层迭代，生成各个节点的全局特征向量，称为全局节点特征向量；
图特征提取层GFR对全局节点特征向量进行聚合，生成图特征向量；
全连接层FC将图特征向量作为输入，输出概率向量，表示将人脑图谱预测为正样本以及负样本的概率；
图卷积神经网络分类器的结构示意图，该图卷积神经网络分类器用于对特定的人脑功能网络进行二分类，即将其分类为正样本或者负样本
STRP4 对步骤S3中得到的五个图卷积神经网络分类器进行训练，将LON分类器、HON分类器、HHON分类器、KSN分类器、GN分类器分别在DLON、DHON、DHHON、DKSN、DGN五个数据集上进行训练，使用交叉熵衡量预测输出与训练标签之间的误差，并使用随机梯度下降法对交叉熵误差进行优化，从而提升各个分类器对特定人脑图谱的分类能力；
STRP5 根据步骤S4中五个图卷积神经网络分类器输出的概率向量进行投票，每个概率向量中含有对正样本以及负样本的预测概率，选择最大预测概率的类别进行投票，最终获得最多票数的类别作为对受试者的预测分类结果。
使用多种人脑图谱对受试者进行预测分类的框架图，综合多个分类器分别对受试者的多种人脑图谱进行分析，实现不同人脑图谱的信息互补，获得客观综合的预测结果
优点及效果
本发明相对于现有技术具有如下的优点及效果：
1.本发明使用的五种人脑图谱对人脑功能网络进行建模，反映了人脑中不同类型的功能连通信息，增加人脑特征的多样性，同时从多角度对人脑进行分析，使多种类型的功能连通信息互为补充，使分类的结果更加客观准确。
2.本发明使用的图卷积神经网络分类器是一种端到端的模型，对输入的人脑图谱与输出标签建立映射关系，使分类器中各个组成部分紧密联系，相比于人工特征，能使分类器模型自适应地提取出与分类任务相关性强的特征，有利于提高分类准确率。
3.本发明使用的图卷积神经网络分类器对连接矩阵的连接边进行更新时，使用多尺度消息传递的策略，使更新的连接边聚合到两端节点不同大小的拓扑结构信息，使连接边特征信息更加丰富。
4.本发明使用的图卷积神经网络分类器在提取节点特征的过程中使用跨层节点特征提取的策略，有利于丰富节点特征的信息，同时使得特征信息在多尺度消息传递层与跨层节点特征提取层中的流动更加充分，更好地发挥图卷积神经网络分类器模型的性能。
本次的分享就到这里了，欢迎关注，我们一起学习人工智能方面的其他专利吧~
参考资料：
[1]张鑫, 梁成波. 基于图卷积神经网络融合多种人脑图谱的受试者分类方法: 中国，CN111563533A. 2020-08-21.
- END -
编辑 | Ting Zhang
校对｜喵君姐姐
