2020-02-15:Recurrent Neural Netw

2020-02-16 本文已影响0人 If_54ea

文章信息

文献标题：Recurrent Neural Network to Forecast Sprint Performance
期刊名称： Applied Artificial Intelligence
所属级别： SCIE
影响因子： 0.988
发表时间： 2018
作者机构： Sports Science Department, University of Iowa, Iowa City, IA, USA
作者姓名：Kyle D. Peterson

内容提要

主要内容：递归神经网络RNN预测比赛表现
实验方法：记录HRV，通过熵选择输入参数，构建Elman和Jordan两种RNN拓扑，32个训练样本，7个样本用于确认，6个样本用于测试。使用统计软件：RStudio software。
技术指标：(RMSSD)是副交感神经张力的指标，直流生物张力是主动觉醒的指标。
模型评估指标：平均差误差mean bias error (MBE) ，均方根误差jroot mean square error（RMSE).
创新之处：

知识概念：

RNN网络：因此，与标准的多层感知器不同，RNN体系结构具有时间感和对早期网络状态的记忆，这使它能够学习随时间变化的序列(Cruse 2006)。 JRNNs的不同之处在于连接层的反馈来自输出层，而ERNNs连接层的反馈来自隐藏层。

RNN网络

A)Elman recurrent neural networks (ERNNs） B)Jordan recurrent neural networks (JRNNs)

ICE plot：ICE显示了对于每一个样本实例，当改变某一个特征的值得时候，预测结果是如何改变的。
拓展PDP plot：用于表示一个模型中一个或者两个特征对于预测结果的影响。PDP图非常直观和容易理解，也很容易计算生成。但是PDP图最多只能反应两个特征，因为超过三维的图无法用当前的技术来表示。同时独立性假设是PDP的最大问题。
参考：https://blog.csdn.net/YMPzUELX3AIAp7Q/article/details/103140636
https://blog.csdn.net/Gin077/article/details/104449113

方法介绍

对象：精英田径短跑运动员
连续3天采集HRV和直流电势：比赛前两天，比赛前一天，比赛当天。早上6：00--8：00，仰卧姿势，尽量少的光和其他干扰。每次采集时长为4分钟。
数据预处理：Shapiro–Wilk test，再归一化处理（x-x_min）/ (x_max-x_min)。比赛时间预处理后，0表示最快，1表示最慢

使用 time-lagged ordered lasso (TLOL) 产生非零系数的变量子集，进行计算。（RNNS与之对比预测结果）

参数降维
利用训练数据集，计算每个候选预测器和种族时间之间的转移熵(TE)，以确定多元时间序列内的相互依赖强度。.

RNN：
构建ERNNs和JRNNs两种拓扑结构。
对于ERNNS，设置学习率为0.1，训练次数为100，复杂度通过改变隐藏的数目和隐藏层内的节点数目来调整。
对于JRNNs，其他设置相同，但仅有一层隐藏层。

在目前的情况下，正的MBE表示预测比赛时间被低估的程度，负的MBE表明对sprint性能的高估(由于选择了比赛目标最小化)。RMSE展示了训练模型在预测未来个人比赛中的有效性。

对MBE和RMSE进行ｔ－检验来判定是否具有统计学意义

t-检验

计算个体条件期望(ICE)图，来近似比赛时间和大多数预测特征之间的函数关系(Goldstein et al. 2015)。ICE图说明了统计学习算法的条件关系估计的变量(Goldstein et al. 2015)。

结果讨论

TLOL收敛于5.75，结果剩下四个非零系数。RMSE = 0.21 nu
TE中的RNN特征子集将维度从24个减少到9个，如表2所示
ERNNs最终学习率为0.15，训练周期500，3个隐藏层，每层有12、10和7个节点，收敛RMSE = 0.06 nu
JRNN模型参数达到了0.20的学习率，300个训练周期，隐含层有17个节点，收敛于RMSE = 0.04 nu

总结评论

结果表明，基于瞬时HRV测量，RNN框架在预测精英冲刺性能方面表现优异。TLOL能够正确预测但是与真实值有较大偏差，相比之下RNN拓扑能够相对精确地学习正确的方向
在验证过程中，JRNN的表现略好于ERNN，但在测试剩余数据时却落后于ERNN。有可能JRNN过拟合。
ERNN的统计学显著性也高于JRNN
更接近比赛时间的训练效果作用越大
当自主神经系统表现出副交感神经支配时，运动员的表现会下降。

Ilyukhina和Zabolotskikh(2000)的研究表明，脑部DC电势< 23 mV的个体与表达升高值的个体相比，对体力活动的恢复能力较差

与其他元变量相比，原始时间域指标通常更具有预测性。
不仅用来预测，也可用来模拟不同生理状态下的表现
用于调整教练期望和学员能力之际的矛盾，以此作为参考来修改

限制：能够影响自主平衡的外部负荷没有计算在内，模型考虑更多参数能够提高预测准确度

有待研究

关于模拟的使用

值得学习

利用传递熵TE来选择特征
time-lagged ordered lasso (TLOL) 的使用

英文表达

exhibits：展品陈列品展品范围，文中引申为证明，展示，说明
RMSE exhibits the efficiency of trained model in predicting the future individual races.
elucidate：阐明，说明
ICE plots elucidate the variants of conditional relationships estimated by statistical learning algorithm
discern：辨别，识别
To help discern heterogeneity between curves
partial derivatives：偏导数，偏微分
yield：v. 出产（产品或作物）；产出（效果、收益等）；生息；屈服；放弃；停止争论；给（车辆）让路；（在外力、重压等下）屈曲
n. 产量；利润，红利率
While case studies yield rich investigations