本研究旨在优化基于表面肌电图的手势识别技术，重点考虑肌肉疲劳对识别性能的影响。文中提出了一种创新的实时分析算法，可实时提取肌肉疲劳特征，并将其融入手势识别过程中。基于自行采集的数据，本文应用卷积神经网络和长短期记忆网络等算法对肌肉疲劳特征的提取方法进行了深入分析，并对比了肌肉疲劳特征对基于表面肌电图的手势识别任务的性能影响。研究结果显示，通过实时融合肌肉疲劳特征，本文所提出的算法对不同疲劳等级的手势识别准确率均有提升，对于不同个体的平均识别准确率也有提升。综上，本文算法不仅提升了手势识别系统的适应性和鲁棒性，而且其研究过程也可为生物医学工程领域中手势识别技术的发展提供新的见解。
引用本文： 严仕嘉, 杨晔, 易鹏. 基于实时肌肉疲劳特征融合的表面肌电手势识别增强算法. 生物医学工程学杂志, 2024, 41(5): 958-968. doi: 10.7507/1001-5515.202312023 复制
0 引言
肌电信号，也称为肌电图（electromyograph，EMG），是一种生物电信号，反映了肌肉的活动状态。这种信号是由α—运动神经元产生的动作电位叠加而成[1]。动作电位从α—运动神经元胞体沿轴突传递至末端分支，并在神经肌肉接头处引发肌肉纤维的去极化，导致肌肉收缩，驱动肌肉运动[2]。EMG数据由放置在皮肤表面或植入肌肉组织中的电极采集，其中前者被称作表面EMG（surface EMG，sEMG），相比后者有着非侵入、使用便捷的特点。sEMG信号中包含了丰富的运动意图信息，且易于收集、成本低廉，因此在手势及运动意图的识别中得到了广泛应用[3]，这些应用可以帮助人们开发可靠的假肢控制系统、康复用医疗外骨骼机器人、人机协同系统等。在这些领域，尤其是在假肢控制系统中，sEMG信号有着不依赖物理运动的特性以及预测运动意图的能力，因此在实时预测肌肉活动的任务中有着独特的优势。
目前，国内外基于sEMG信号的手势识别研究主要聚焦于数据预处理、特征提取、分类或回归等三个核心步骤。在数据预处理阶段，研究者通常采用滤波技术处理原始数据，并通过滑动窗口法对数据进行分段处理，为后续的特征提取奠定基础。例如，Asif等[4]应用带通滤波器滤除了高频与低频噪声，并对数据进行了放大。而Lee等[5]则通过两个巴特沃斯滤波器实现噪声消除。在特征提取阶段，研究者的目标是从每个窗口中提取有用的特征，以便用于后续的分类或回归。传统的特征提取方法包括时域分析和频域分析，在EMG信号数据分析中应用十分广泛[6]。例如，Yu等[7]从采集到的EMG信号数据中提取了多种时域特征，包括平均绝对值（mean absolute value，MAV）、过零率、均方根（root mean square，RMS）、波形长度及斜率符号变化，并将这些特征作为后续算法的输入。此外，研究者还利用快速傅里叶变换、小波变换等方法对频谱进行预处理，以反映信号在不同频率下的幅度。Too等[8]通过离散小波变换同时提取时频域特征，并采用特征选择的方式来优化分类器的性能。在分类或回归阶段，机器学习算法曾广泛应用，如随机森林和支持向量机等，而近年来随着深度学习算法的快速发展，越来越多的研究者开始使用性能更优的深度学习算法进行手势分类或关节角度回归。Zanghieri等[9-10]提出了一种基于时域卷积网络的结构，在无创适应性假肢（Ninapro）基准数据集上取得了优异的性能，并在后续研究中对该算法进行了改进，实现了对手指角度的回归。此外，Bhushan等[11]在手语基准数据集上比较了多种常规的机器学习分类算法，结果发现虽然随机森林优于其他传统算法，但仍不及卷积神经网络（convolutional neural networks，CNN）的性能。综上所述，尽管基于sEMG信号的手势识别技术已取得了显著的进展，但实际应用中仍存在一些影响其可靠性的因素，肌肉疲劳便是其中之一。
肌肉疲劳是一种生理状态，表现为肌肉力量、耐力和协调性的下降，通常发生在持续运动期间，主要由乳酸积累和三磷酸腺苷供应不足引起[12]。在长时间使用手势识别系统的过程中，肌肉疲劳是难以避免的。这种状态不仅会影响sEMG信号的频谱和幅度，还会对手势识别的准确性产生重要影响[13]，进而影响相关系统的可用性。一旦肌肉疲劳发生，用户可能不得不停止使用基于sEMG信号的系统，包括人机接口、假肢等，这严重影响用户的工作和生活。通过深入分析肌肉疲劳对sEMG信号的影响，研究者们已能够利用sEMG信号评估肌肉疲劳，并将其分为非疲劳、疲劳过渡期和疲劳三类。Al-Mulla等[14]总结了基于sEMG的非侵入式肌肉疲劳检测方法，并详细介绍了相关的特征提取和肌肉疲劳分类技术。目前，最常用的分析方法主要依赖于时域和频域特征。例如，Yousif等[15]综述了多种基于sEMG信号的肌肉疲劳检测方法，特别是利用RMS和中位频率（median frequency，MDF）的方法，这些特征的线性回归斜率值是目前分析肌肉疲劳的主流方法。Ebied等[16]的研究也证实了通过RMS和MDF斜率来评估肌肉疲劳的有效性。Rampichini等[17]则提出了一种基于复杂度的肌肉疲劳分析方法，并发现通过递归图、熵和分形分析得出的指标也能有效地检测肌肉疲劳。此外，深度学习方法近年来也被用于实现肌肉疲劳的端到端评估。如Su等[18]将原始EMG数据输入深度信念网络进行上肢肌肉疲劳预测，发现其性能与基于特征提取的方法相当。Moniri等[19]利用浅层模型和CNN学习并实时预测5种sEMG信号特征，提出了一个通用模型来预测躯干的肌肉疲劳。
尽管在利用sEMG信号分析肌肉疲劳方面已取得一定进展，但如何在基于sEMG信号的手势识别系统中实时处理肌肉疲劳带来的影响仍然是一个重大挑战[20]。目前，肌肉疲劳分析多依赖于特征在多窗口的线性回归斜率，这导致了一定的滞后性，难以实现实时分析。因此，本文研究旨在探究如何仅通过单一窗口实时提取可靠的肌肉疲劳特征。为此，本文提出了一种融合疲劳特征的手势识别模型（fatigue feature fused hand gesture recognition，FFF-HGR），旨在通过融合肌肉疲劳特征，提高肌肉疲劳状态下手势识别的鲁棒性和准确率，解决由肌肉疲劳引起的识别准确率下降问题。
1 模型算法
1.1 概述
本研究提出了一种新型手势识别模型，该模型融合了肌肉疲劳特征，以提高在实际应用中的鲁棒性和准确性。为此，本文提出一种创新的“两步法”来构建手势识别模型。此方法分为两个主要阶段：首先，开发并训练一个专用的肌肉疲劳特征提取器（muscle fatigue feature extractor，MFFE），专注于从原始sEMG信号中提取与肌肉疲劳相关的特征，这些特征将被分类器划分为相应的疲劳等级。MFFE的设计旨在捕捉能够指示肌肉疲劳状态的关键信号特征。在MFFE训练完成后，使用相似的方式训练手势特征提取器（hand gesture feature extractor，HGFE），并冻结MFFE和HGFE的参数，再将输出进行组合。最后，将这些特征一同输入到分类器中，并输出手势索引，以实现最终的手势分类。FFF-HGR模型的独特之处在于其能够考虑到肌肉疲劳带来的动态变化，从而在实时手势识别应用中提供更高的准确率和适应性。“两步法”构建手势识别模型的整体流程如图1所示，其中展示了如何将训练后的MFFE与手势识别分类器相结合，形成最终的FFF-HGR模型。
图1
“两步法”构建手势识别模型流程图
Figure1.
Flow chart to build hand gesture recognition model with “two-step method”
1.2 MFFE
在开发MFFE的过程中，本研究对比了基于时域、频域等手工特征以及深度学习算法提取特征的性能。参考相关研究，在时域特征方面，采用了MAV（以符号α表示）、RMS（以符号β表示）和积分EMG（integrated EMG，iEMG）（以符号γ表示）[21]，具体计算公式如式(1)～式(3)所示：
 |
 |
 |
其中，xi表示第i个样本，N表示滑动窗口的宽度。
在频域特征方面，本文考虑了MDF（以符号δ表示）和平均功率频率（mean power frequency，MPF）（以符号ε表示），它们用于反映肌肉疲劳状态下信号频谱的变化。这些频域特征的计算公式如式(4)～式(5)所示：
 |
 |
其中，P(f)表示频率f的功率谱，fs为采样频率。
此外，鉴于深度学习方法在基于sEMG信号的手势识别任务中展现出的卓越性能，本研究选用了CNN和长短时记忆网络（long short-term memory，LSTM）[20]来进行对比实验。实验中将利用时频域特征分析、CNN和LSTM这3种不同的算法来提取特征，并将这些特征输入到分类器中进行训练，以确定哪种方法最适合作为MFFE的核心算法。
2 实验
2.1 受试者试验
目前已有多个公开的高质量sEMG数据集，如Ninapro[22-23]、浙江大学肌电数据集（CapgMyo） [24]以及认知系统实验室高密度肌电数据集（cognitive system lab-high density EMG，csl-hdemg）[25]等，然而，这些数据集在采集过程中都会通过适当休息有意避免肌肉疲劳。鉴于此，本试验招募了6名健康受试者（编号：01～06），以自行采集试验数据。这些受试者涵盖了不同身材、年龄和性别，其基础信息如表1所示。特别地，受试者04提供了左右两臂的数据，分别以04L和04R标注。本研究获得了上海师范大学学术伦理与道德委员会的审核批准（审批编号：[2024]133号），所有受试者签署了知情同意书，并授权可使用相关数据。如图2左侧所示，本研究采用了一套由6枚干电极肌电传感器（思知瑞科技有限公司，中国）和1个微控制器开发板Arduino UNO（SparkFun Electronics Inc.，意大利）组成的数据采集设备。这些传感器被均匀地固定于受试者前臂，以获取高质量的信号。Arduino UNO开发板负责控制数据采集流程。每个电极对应一个通道，6个通道可以收集多块肌肉的混合信号。如表2所示，展示了各个通道的电极基于解剖学姿势的位置描述及其对应肌肉的参考列表。由于个体差异，不同受试者对应的肌肉可能有细微差别。为了保证数据传输的实时性和准确性，本研究采用了200 Hz的采样频率，尽管这可能丢失部分高频信号，但足以确保有效信息的采集[26]。
表1
受试者的基础信息
Table1.
Basic information of the subjects
图2
试验数据采集
Figure2.
Experimental data collection
表2
不同通道对应肌肉参考表
Table2.
Reference table of muscles corresponding to different channels
试验数据的采集流程如图2右上所示。受相关研究的启发，本试验设计了8轮数据采集，并在两轮采集之间设置了“疲劳增强”环节。具体内容为使用握力器进行50次捏合动作，这种重复动作可以主动且有效地诱发相关肌肉的疲劳[27-28]。每轮采集包含8种不同手势，如图2右下所示，包括屈臂、握拳、张开、六、剪刀、内收、屈腕、三等手肘、手腕和掌部动作。每轮中每种手势都被重复执行5次。每次手势的执行包括3 s的静息期和3 s的手势执行期。为了有效控制并减少因重复手势可能引起的肌肉疲劳，试验过程中额外设置了3 s的休息区间。这些休息区间与静息期不同，受试者可以进行任意的手部活动而不必保持放松。这些休息区间内采集的数据可能会包含不确定的肌肉活动，因此不会被标记为“静息”。
鉴于肌肉疲劳难以进行精确的定量分析，本文在试验中定义了“单位疲劳度”作为衡量肌肉疲劳的量化指标。单位疲劳度基于受试者完成的疲劳增强活动组数来计算，初始的单位疲劳度设为0，每完成一组疲劳增强活动后，单位疲劳度增加1。这种方法使得试验过程中肌肉疲劳的累积和影响能够被量化地追踪，从而在分析中更精确地考虑肌肉疲劳对手势识别性能的影响。
在数据预处理阶段，本研究采用了多种方法以确保数据的质量和适用性。首先，对原始EMG数据应用了50 Hz的陷波滤波器，以消除可能存在的电源线干扰。接下来，为了增强信号中动作电位与背景噪声之间的差异，对信号进行了包络处理并进行了平方化。为实现对sEMG信号的实时分析，还采用了滑动窗口对数据进行分割，这是相关研究中常见的做法。在选择窗口宽度时，考虑到实时性和数据充分性之间的平衡，将窗口宽度设定为1 000 ms，即200个样本点[29-30]。窗口的步长设置为10个样本点，即每次移动窗口50 ms。这样的设置有助于从连续信号中创建更多的重叠数据片段，从而获得更多的训练数据。
本研究的主要目标是评估肌肉疲劳特征在手势分类任务中的影响。因此，作为研究的第一步，本文对不同的肌肉疲劳分析方法进行了综合评估，旨在确定最有效的分析策略。
2.2 MFFE模块构建策略的对比分析
本实验的核心目的是比较不同策略构建MFFE模块时的性能，包括模型种类和训练策略。
模型种类将着重对比回归与分类两种模型的性能。鉴于回归与分类模型具有不同的评估标准，为将标准对齐，本文采用了均方误差（mean square error，MSE）和准确率来同时评估这两种模型，其中回归模型的准确率将进行四舍五入后计算。
对于训练策略，本文设计了4种训练与测试方案进行实验对比，分别是全—全、静—全、全—静、静—静。这些策略的命名中，第一个字对应训练集，第二个字则对应测试集，“全”和“静”表示使用的数据集是包含手势的全部数据还是仅包含静息状态的数据。每种策略均采用了标准的CNN模型作为MFFE的基础架构，因此差异主要在于输出层的设置及训练策略。如图3所示展示了各个受试者在4种训练策略下分类模型相比回归模型的平均准确率和MSE变化。此外，为了更直观地比较这些训练策略，如图4所示以箱线图形式展示了使用受试者01的数据时的实验结果，其他受试者的箱线图与此图的趋势相近，不再重复展示。
图3
分类模型相比回归模型在4种训练策略下的性能变化
Figure3.
Performance variation of classification model compared to regression model under 4 training strategies
图4
受试者01在4种训练测试方案下回归与分类模型的实验结果对比图
Figure4.
Comparison of experimental results of regression and classification models for subject 01 under four training test scheme
实验结果表明，分类模型在各种训练策略下的性能普遍高于回归模型。特别是当训练集采用静息状态的数据时，分类模型的整体性能明显优于回归模型。在所有训练策略中，当训练集和测试集均仅包含静息状态的数据时，分类模型的准确率达到了最高水平。
此实验结果为实际应用提供了新的见解：在实际应用场景中，数据通常是按时间序列排列的。因此，模型可以设计为在静息状态下更新肌肉疲劳特征，而在检测到手势动作时则不进行更新。这种设计利用了在静息状态下进行肌肉疲劳预测更为准确的特性，从而提高了肌肉疲劳特征的质量。然而，这种方法也存在一定的局限性，即如果手势状态持续时间过长，可能会导致肌肉疲劳特征的更新延迟。
2.3 MFFE模块中不同算法的比较
为了比较不同算法在单个窗口上分析肌肉疲劳时的性能，本文选用了3种主要算法：时频域特征分析、CNN和LSTM。这些算法提取的特征被送入具有相同超参数的分类器中，以便进行统一的性能评估。由于时频域特征通常利用多窗口内特征的变化趋势（例如斜率）来评估肌肉疲劳，因此本文也探索了在更小的子窗口中计算这些特征的效果。本文共使用了5种子窗口切分策略，后续以数字代表不重合的窗口数量，例如，M1代表不切分原窗口；M5代表将原窗口切分为5个不重合的窗口；M（1+5）则代表将前两种方案提取出的特征进行组合，依此类推。
实验结果表明，在处理静息状态数据时，所有算法均能实现较高的性能。如图5左图所示，展示了受试者01使用不同子窗口划分策略的时频域特征模型和CNN及LSTM的性能。如图5右图展示了受试者02和受试者03在不同子窗口划分策略下，基于时频域特征的分类性能对比。
图5
算法对比实验结果
Figure5.
Experimental result of algorithm comparison
如图5左图所示，从单个窗口中提取的时频域特征在肌肉疲劳分析中的效果并不理想。当仅使用整个窗口提取时频域特征时，模型的平均准确率仅为71.9%，且表现出明显的不稳定性，最低准确率甚至降至50.1%。这种不稳定的性能揭示了单窗口分析的困难。然而，当尝试将原窗口划分为更小的子窗口并在此基础上进行特征提取时，模型的表现显著提升。分为5个子窗口时，模型的平均准确率提高至80.1%，同时稳定性也得到了显著增强。这表明，切分子窗口的策略能在一定程度上提升模型的性能和可靠性。但这种改进效果是有上限的。首先，实验中发现，当子窗口的数量增加至10个时，模型的准确率反而下降。这一发现表明在窗口切分时需要寻找一个平衡点。此外，如图5右图所示，这种性能变化在不同个体上的表现也呈现出不稳定性。与时频域特征提取方法相比，CNN和LSTM的表现则更加出色。在最优模型配置中，这两种算法均达到了超过99%的准确率。它们之间的差异主要体现在参数量、训练效率以及稳定性方面。CNN模型在训练速度上更快，但在不同个体上的表现不如LSTM稳定。而LSTM模型的参数量更少，仅为CNN的18%，且性能表现更稳定。这一对比突出了在选择模型架构时，必须权衡训练效率与模型复杂度之间的影响。
总体来看，基于单个窗口提取时频域特征的方法相较于深度学习算法，其性能表现不尽理想。尽管通过适当的窗口切分可以在一定程度上改善时域及频域特征的表现，最优能提高至超过80%的平均准确率，但其在不同个体上的表现存在一定差距。相比之下，尽管深度学习算法需要更长的训练时间和更多的计算资源，但性能表现更佳。在实际应用中，应根据特定的需求和资源情况来权衡，选择最适合的算法进行肌肉疲劳分析。
2.4 融合MFFE对手势识别影响的实验研究
本实验深入探究了肌肉疲劳特征与手势分类准确性之间的关系，实验设计旨在比较加入了肌肉疲劳特征的FFF-HGR模型与未加入肌肉疲劳特征的模型之间的差异。FFF-HGR中的MFFE采用了第2.3节中表现最佳的CNN模型架构。为确保输出的稳定性，所有层在训练完成后都被冻结。为了控制实验变量，两种模型中均采用了相同的基准CNN架构作为HGFE。随后，将MFFE的输出与HGFE的输出合并，一并输入到分类器中，进行最终的手势分类。相比之下，对照组的模型则完全没有包含MFFE特征。在HGFE的训练数据中仅包含较低单位疲劳度的样本，以模拟实际应用中在无疲劳或轻微疲劳状态下进行校正的使用场景。
如图6所示，以受试者01为例，展示了两种模型在多次实验中，针对不同疲劳等级上的平均准确率与平均损失值。结果表明，随着单位疲劳度的增加，模型的分类准确率呈下降趋势。然而，这一下降趋势在融入MFFE特征的模型中得到了显著缓解，表明MFFE的融合对于提升模型在不同疲劳状态下的鲁棒性发挥了关键作用。更为重要的是，融合了MFFE的模型在损失值方面也显示出较低的数值，这说明该模型在预测手势时不仅更为准确，而且更加稳定。
图6
FFF-HGR与普通手势识别模型的对比实验结果
Figure6.
Comparative experimental results of FFF-HGR and ordinary gesture recognition models
如图7所示，展示了多次实验中，加入疲劳特征后对各个受试者的准确率及损失值的影响。结果显示在加入MFFE后，分析各个受试者手势的准确率均有所提升，尤其是在高疲劳等级时，性能的提升十分明显且稳定，部分受试者的准确率甚至提升了约20%。在损失值方面，也观察到了相对明显的下降趋势。
图7
各受试者在加入MFFE后准确率及损失值变化
Figure7.
Accuracy and loss changes of subjects after MFFE fusion
为了进行统计学分析，本研究针对加入肌肉疲劳特征前后的准确率进行了配对样本t检验。首先，使用夏皮罗-威尔克（Shapiro-Wilk）检验，以确认差异数据符合正态分布。随后，使用配对样本t检验来评估两组数据的差异是否具有统计学意义。统计检验结果表明，各受试者手势识别的总体准确率的t值为3.797，P<0.01。这表明在加入肌肉疲劳特征后，手势识别的准确率显著提高。此外，还针对各个单位疲劳度进行了t检验，具体结果如表3所示。
表3
各单位疲劳度下，配对样本t检验结果
Table3.
Paired samples t-test results at each unit fatigue level
如图8所示，展示了无疲劳特征的算法和FFF-HGR算法进行手势分类的混淆矩阵，其中整合了所有受试者的数据，包括多个疲劳等级。颜色代表真实类别被分类到各个类别的百分比，颜色与百分比的对应关系如右侧标尺所示。此外，还展示了两个矩阵的差值，代表加入肌肉疲劳特征后的相对变化。变化量使用绝对最大值进行了归一化，因此颜色可以直观展示变化趋势及相对变化大小。从图8中可以看出，加入肌肉疲劳特征后，各个手势的分类准确率均有较大的提高，分类错误的情况也多有减少。其中，静息状态的分类结果在加入前后几乎没有变化，其他手势被误判为静息的情况也明显减少。在数值上，屈臂和握拳被正确分类的情况显著增加，被误判为剪刀和内收的情况均有下降，尤其是内收被误判为其他动作的情况也明显减少。
图8
整合各受试者在加入肌肉疲劳特征前后的混淆矩阵及加入肌肉疲劳特征前后的变化矩阵
Figure8.
Integration of the confusion matrix before and after the fusion of the muscle fatigue features and the change matrix before and after the fusion of the muscle fatigue features for all subjects
这些实验结果强调了在实际应用中同步进行肌肉疲劳分析的重要性，它可以显著提升手势识别系统的性能，增强系统的准确率和鲁棒性。通过此类研究，能够更深入地理解手势识别系统在长期使用或用户处于疲劳状态下的表现，并为系统的进一步优化提供宝贵的指导。
3 讨论与分析
在本节中将讨论实验结果的深层含义，并分析它们对未来肌肉疲劳分析及手势识别技术的影响。
3.1 MFFE模块的构建方法与算法性能对比
本研究的结果挑战了传统的预期，即在肌肉疲劳分析中，由于肌肉疲劳的渐进特性，通常预期回归模型应优于分类模型。然而，实验结果显示，分类模型相比回归模型，性能相当或明显更优，且在多次实验中展现出更高的稳定性。这一现象可能由以下原因导致：① 评估方式的影响：为了对比回归和分类模型的性能，实验中采用了MSE来评估分类模型，而使用四舍五入准确率评估回归模型。这种评估方式可能导致由于边界效应而引入额外的误差；② 肌肉疲劳度量的非线性特性：实验中使用的单位疲劳度与实际肌肉疲劳状态之间的关系可能不是严格线性的，而是更符合离散数据特征的衡量标准。这表明肌肉疲劳的动态变化可能更适合通过分类方法来分析。
此外，实验发现，即使是未经特别调整的基础CNN模型，仅使用静息状态的sEMG数据进行训练，也能在静息状态测试中达到高达88%的准确率，这一结果远优于其他训练策略。这表明手势动作对肌肉疲劳特征的提取产生了显著影响。这一发现对于实际应用中的手势识别系统设计具有重要意义。在考虑如何集成肌肉疲劳分析以改善手势识别性能时，需要参考这一特性来确定合理的肌肉疲劳分析策略，以提取出更可靠的特征。
MFFE模块中不同算法比较实验的结果表明，在评估肌肉疲劳时，时域及频域特征更适合在多个窗口上计算，而非单个窗口。在传统方法中，斜率的使用是为了考虑到个体差异和算法的鲁棒性，因为直接使用单个窗口的特征往往难以提供充分的信息，难以准确反映肌肉疲劳的变化。实验发现，通过将原始窗口细分为更小的子窗口，可以得到更细节的信息，从而在一定程度上提高了使用传统特征的准确率。然而，这种方法也存在局限性。首先，类似于滑动窗口技术，如果对窗口进一步切分，反而可能导致算法性能的下降。这是因为子窗口过小，样本数量不足，导致从中提取的特征质量下降，表明在子窗口切分时需要寻找一个平衡点，既要保证特征的数量，又要避免因过度切分窗口而降低特征质量；其次，这一方法在不同个体间表现出不稳定性，使得无法保证其对系统性能的提升，这一现象可能源于个体差异。因此，在实际应用中，仅在单个窗口使用这些传统特征来分析肌肉疲劳存在一定的局限性。
3.2 深度神经网络与传统方法的性能对比
与传统方法相比，深度神经网络（如CNN和LSTM）展现了更优的性能。这些算法能够自动提取出更高级别的抽象特征，与传统特征提取方法相比，这种能力使得CNN和LSTM能够捕捉到可能被传统方法忽略的有价值信息。
在性能方面，CNN和LSTM的差异不大，但在考虑训练效率时，CNN是更好的选择。这主要是因为LSTM的计算过程包含层内的递归结构，使其在计算效率上不如CNN高效。此外，考虑到硬件资源的限制，LSTM可能更适合部署在一些硬件配置较低的环境中。尽管LSTM只需要CNN的20%参数，但它能够达到与CNN相似的性能水平，这使其在资源有限的环境中尤为有价值。
3.3 肌肉疲劳特征对手势识别影响的研究
肌肉疲劳对手势识别的影响实验进一步证明了融合肌肉疲劳特征的重要性。通过融合这些特征，所有受试者在不同单位疲劳度上的准确率均得到了不同程度的提升，其中的差异可能源于个体差异或信号处理等因素。肌肉疲劳对sEMG信号的影响会降低传统手势识别算法的准确性。通过纳入有效的肌肉疲劳特征，模型能够在不同肌肉疲劳状态下有效地提高准确率和鲁棒性。 在实际应用中，为了减少个体差异的影响，即使在无疲劳或低疲劳状态下进行模型校正，通过融合肌肉疲劳特征，模型也能在肌肉疲劳发生时保持稳定性与可靠性。
图8的混淆矩阵更具体地展示了肌肉疲劳特征的加入对于各个手势分类的影响。无论在特征加入前后，静息状态都保持着最高的分类准确率，这是由于静息状态并没有显著的sEMG信号特征，且信号的预处理进一步扩大了其与手势状态的差距。其他手势在加入肌肉疲劳特征后，正确分类的情况显著提高，其中以屈臂和握拳的动作最为明显。这表明各个手势均对肌肉疲劳敏感，其中以屈臂和握拳最甚，这可能与试验的流程相关：试验过程中，受试者通常保持手肘支撑桌面，前臂倾斜45°的姿势，这一动作与屈臂动作的重合程度较高，持续约30 min的试验容易诱发相关肌肉的疲劳。而握拳动作则与使用握力器诱导的肌肉疲劳相关，这两组肌肉相较于其他肌肉更容易受到疲劳的影响，因此在加入肌肉疲劳特征后，准确率的提升也最为显著。这表明肌肉疲劳程度越高，从肌肉疲劳特征的融合中获得的收益也越大。此外，值得注意的是，几乎所有手势都较为容易被误判为静息状态。这一现象可能是多种原因造成的，如离群值、数据采集过程中的意外情况、静息手势在数据集中的占比高等。尽管在实际应用中，这种误判情况仍然高于被误判为其他手势的情况，但对这一现象的改善仍具有重要的意义。一方面，它有助于提升交互体验；另一方面，也有助于未来开发针对时序数据的改进策略；因此也是未来研究的重要方向。
4 结语
本文提出了一种融合肌肉疲劳特征的手势分类模型，并在自建的数据集上进行了系统的测试和分析。研究结果证实了肌肉疲劳特征对于手势识别模型性能提升的显著贡献，尤其在疲劳程度较高时，模型展现了良好的稳定性和准确率提升。值得注意的是，即使在模型仅使用低疲劳度数据进行训练和微调的情况下，融合肌肉疲劳特征也能有效提升模型在后续不同疲劳状态下的表现。此外，本研究在实验中发现，在静息状态下进行肌肉疲劳分析的准确性更高，这一发现为实际应用提供了新的视角：在未来的实际应用中，可以仅在静息状态提取肌肉疲劳特征，并将这些特征应用于后续的手势识别任务，从而提高所提取的肌肉疲劳特征的质量。在模型算法的选择上，建议在训练阶段采用CNN，以利用其在训练速度方面的优势和高效的特征提取能力；而在部署阶段，尤其是在资源受限的设备上，推荐使用LSTM，以减少对计算资源的需求，并获得更稳定的性能提升。这种策略兼顾了模型训练的效率和在各种设备上的广泛可用性。综上，本研究不仅推动了肌肉疲劳状态下的手势识别技术的发展，还为基于sEMG信号的手势识别提供了一种实用的方法，期待未来该模型能在更广泛的实践场景中得到应用和完善，如临床康复、人机交互以及遥控操作等领域，以更好地服务于人类。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：严仕嘉主要负责实验流程、数据记录与分析、算法设计、上位机及算法程序设计以及计划安排；杨晔，通信作者，主要负责提供实验指导，数据分析指导，论文审阅修订；易鹏主要负责实验器材、数据记录与分析、算法设计。
伦理声明：本研究通过了上海师范大学学术伦理与道德委员会的审批（审批编号：[2024]133号）。
0 引言
肌电信号，也称为肌电图（electromyograph，EMG），是一种生物电信号，反映了肌肉的活动状态。这种信号是由α—运动神经元产生的动作电位叠加而成[1]。动作电位从α—运动神经元胞体沿轴突传递至末端分支，并在神经肌肉接头处引发肌肉纤维的去极化，导致肌肉收缩，驱动肌肉运动[2]。EMG数据由放置在皮肤表面或植入肌肉组织中的电极采集，其中前者被称作表面EMG（surface EMG，sEMG），相比后者有着非侵入、使用便捷的特点。sEMG信号中包含了丰富的运动意图信息，且易于收集、成本低廉，因此在手势及运动意图的识别中得到了广泛应用[3]，这些应用可以帮助人们开发可靠的假肢控制系统、康复用医疗外骨骼机器人、人机协同系统等。在这些领域，尤其是在假肢控制系统中，sEMG信号有着不依赖物理运动的特性以及预测运动意图的能力，因此在实时预测肌肉活动的任务中有着独特的优势。
目前，国内外基于sEMG信号的手势识别研究主要聚焦于数据预处理、特征提取、分类或回归等三个核心步骤。在数据预处理阶段，研究者通常采用滤波技术处理原始数据，并通过滑动窗口法对数据进行分段处理，为后续的特征提取奠定基础。例如，Asif等[4]应用带通滤波器滤除了高频与低频噪声，并对数据进行了放大。而Lee等[5]则通过两个巴特沃斯滤波器实现噪声消除。在特征提取阶段，研究者的目标是从每个窗口中提取有用的特征，以便用于后续的分类或回归。传统的特征提取方法包括时域分析和频域分析，在EMG信号数据分析中应用十分广泛[6]。例如，Yu等[7]从采集到的EMG信号数据中提取了多种时域特征，包括平均绝对值（mean absolute value，MAV）、过零率、均方根（root mean square，RMS）、波形长度及斜率符号变化，并将这些特征作为后续算法的输入。此外，研究者还利用快速傅里叶变换、小波变换等方法对频谱进行预处理，以反映信号在不同频率下的幅度。Too等[8]通过离散小波变换同时提取时频域特征，并采用特征选择的方式来优化分类器的性能。在分类或回归阶段，机器学习算法曾广泛应用，如随机森林和支持向量机等，而近年来随着深度学习算法的快速发展，越来越多的研究者开始使用性能更优的深度学习算法进行手势分类或关节角度回归。Zanghieri等[9-10]提出了一种基于时域卷积网络的结构，在无创适应性假肢（Ninapro）基准数据集上取得了优异的性能，并在后续研究中对该算法进行了改进，实现了对手指角度的回归。此外，Bhushan等[11]在手语基准数据集上比较了多种常规的机器学习分类算法，结果发现虽然随机森林优于其他传统算法，但仍不及卷积神经网络（convolutional neural networks，CNN）的性能。综上所述，尽管基于sEMG信号的手势识别技术已取得了显著的进展，但实际应用中仍存在一些影响其可靠性的因素，肌肉疲劳便是其中之一。
肌肉疲劳是一种生理状态，表现为肌肉力量、耐力和协调性的下降，通常发生在持续运动期间，主要由乳酸积累和三磷酸腺苷供应不足引起[12]。在长时间使用手势识别系统的过程中，肌肉疲劳是难以避免的。这种状态不仅会影响sEMG信号的频谱和幅度，还会对手势识别的准确性产生重要影响[13]，进而影响相关系统的可用性。一旦肌肉疲劳发生，用户可能不得不停止使用基于sEMG信号的系统，包括人机接口、假肢等，这严重影响用户的工作和生活。通过深入分析肌肉疲劳对sEMG信号的影响，研究者们已能够利用sEMG信号评估肌肉疲劳，并将其分为非疲劳、疲劳过渡期和疲劳三类。Al-Mulla等[14]总结了基于sEMG的非侵入式肌肉疲劳检测方法，并详细介绍了相关的特征提取和肌肉疲劳分类技术。目前，最常用的分析方法主要依赖于时域和频域特征。例如，Yousif等[15]综述了多种基于sEMG信号的肌肉疲劳检测方法，特别是利用RMS和中位频率（median frequency，MDF）的方法，这些特征的线性回归斜率值是目前分析肌肉疲劳的主流方法。Ebied等[16]的研究也证实了通过RMS和MDF斜率来评估肌肉疲劳的有效性。Rampichini等[17]则提出了一种基于复杂度的肌肉疲劳分析方法，并发现通过递归图、熵和分形分析得出的指标也能有效地检测肌肉疲劳。此外，深度学习方法近年来也被用于实现肌肉疲劳的端到端评估。如Su等[18]将原始EMG数据输入深度信念网络进行上肢肌肉疲劳预测，发现其性能与基于特征提取的方法相当。Moniri等[19]利用浅层模型和CNN学习并实时预测5种sEMG信号特征，提出了一个通用模型来预测躯干的肌肉疲劳。
尽管在利用sEMG信号分析肌肉疲劳方面已取得一定进展，但如何在基于sEMG信号的手势识别系统中实时处理肌肉疲劳带来的影响仍然是一个重大挑战[20]。目前，肌肉疲劳分析多依赖于特征在多窗口的线性回归斜率，这导致了一定的滞后性，难以实现实时分析。因此，本文研究旨在探究如何仅通过单一窗口实时提取可靠的肌肉疲劳特征。为此，本文提出了一种融合疲劳特征的手势识别模型（fatigue feature fused hand gesture recognition，FFF-HGR），旨在通过融合肌肉疲劳特征，提高肌肉疲劳状态下手势识别的鲁棒性和准确率，解决由肌肉疲劳引起的识别准确率下降问题。
1 模型算法
1.1 概述
本研究提出了一种新型手势识别模型，该模型融合了肌肉疲劳特征，以提高在实际应用中的鲁棒性和准确性。为此，本文提出一种创新的“两步法”来构建手势识别模型。此方法分为两个主要阶段：首先，开发并训练一个专用的肌肉疲劳特征提取器（muscle fatigue feature extractor，MFFE），专注于从原始sEMG信号中提取与肌肉疲劳相关的特征，这些特征将被分类器划分为相应的疲劳等级。MFFE的设计旨在捕捉能够指示肌肉疲劳状态的关键信号特征。在MFFE训练完成后，使用相似的方式训练手势特征提取器（hand gesture feature extractor，HGFE），并冻结MFFE和HGFE的参数，再将输出进行组合。最后，将这些特征一同输入到分类器中，并输出手势索引，以实现最终的手势分类。FFF-HGR模型的独特之处在于其能够考虑到肌肉疲劳带来的动态变化，从而在实时手势识别应用中提供更高的准确率和适应性。“两步法”构建手势识别模型的整体流程如图1所示，其中展示了如何将训练后的MFFE与手势识别分类器相结合，形成最终的FFF-HGR模型。
图1
“两步法”构建手势识别模型流程图
Figure1.
Flow chart to build hand gesture recognition model with “two-step method”
1.2 MFFE
在开发MFFE的过程中，本研究对比了基于时域、频域等手工特征以及深度学习算法提取特征的性能。参考相关研究，在时域特征方面，采用了MAV（以符号α表示）、RMS（以符号β表示）和积分EMG（integrated EMG，iEMG）（以符号γ表示）[21]，具体计算公式如式(1)～式(3)所示：
|
|
|
其中，xi表示第i个样本，N表示滑动窗口的宽度。
在频域特征方面，本文考虑了MDF（以符号δ表示）和平均功率频率（mean power frequency，MPF）（以符号ε表示），它们用于反映肌肉疲劳状态下信号频谱的变化。这些频域特征的计算公式如式(4)～式(5)所示：
|
|
其中，P(f)表示频率f的功率谱，fs为采样频率。
此外，鉴于深度学习方法在基于sEMG信号的手势识别任务中展现出的卓越性能，本研究选用了CNN和长短时记忆网络（long short-term memory，LSTM）[20]来进行对比实验。实验中将利用时频域特征分析、CNN和LSTM这3种不同的算法来提取特征，并将这些特征输入到分类器中进行训练，以确定哪种方法最适合作为MFFE的核心算法。
2 实验
2.1 受试者试验
目前已有多个公开的高质量sEMG数据集，如Ninapro[22-23]、浙江大学肌电数据集（CapgMyo） [24]以及认知系统实验室高密度肌电数据集（cognitive system lab-high density EMG，csl-hdemg）[25]等，然而，这些数据集在采集过程中都会通过适当休息有意避免肌肉疲劳。鉴于此，本试验招募了6名健康受试者（编号：01～06），以自行采集试验数据。这些受试者涵盖了不同身材、年龄和性别，其基础信息如表1所示。特别地，受试者04提供了左右两臂的数据，分别以04L和04R标注。本研究获得了上海师范大学学术伦理与道德委员会的审核批准（审批编号：[2024]133号），所有受试者签署了知情同意书，并授权可使用相关数据。如图2左侧所示，本研究采用了一套由6枚干电极肌电传感器（思知瑞科技有限公司，中国）和1个微控制器开发板Arduino UNO（SparkFun Electronics Inc.，意大利）组成的数据采集设备。这些传感器被均匀地固定于受试者前臂，以获取高质量的信号。Arduino UNO开发板负责控制数据采集流程。每个电极对应一个通道，6个通道可以收集多块肌肉的混合信号。如表2所示，展示了各个通道的电极基于解剖学姿势的位置描述及其对应肌肉的参考列表。由于个体差异，不同受试者对应的肌肉可能有细微差别。为了保证数据传输的实时性和准确性，本研究采用了200 Hz的采样频率，尽管这可能丢失部分高频信号，但足以确保有效信息的采集[26]。
表1
受试者的基础信息
Table1.
Basic information of the subjects
图2
试验数据采集
Figure2.
Experimental data collection
表2
不同通道对应肌肉参考表
Table2.
Reference table of muscles corresponding to different channels
试验数据的采集流程如图2右上所示。受相关研究的启发，本试验设计了8轮数据采集，并在两轮采集之间设置了“疲劳增强”环节。具体内容为使用握力器进行50次捏合动作，这种重复动作可以主动且有效地诱发相关肌肉的疲劳[27-28]。每轮采集包含8种不同手势，如图2右下所示，包括屈臂、握拳、张开、六、剪刀、内收、屈腕、三等手肘、手腕和掌部动作。每轮中每种手势都被重复执行5次。每次手势的执行包括3 s的静息期和3 s的手势执行期。为了有效控制并减少因重复手势可能引起的肌肉疲劳，试验过程中额外设置了3 s的休息区间。这些休息区间与静息期不同，受试者可以进行任意的手部活动而不必保持放松。这些休息区间内采集的数据可能会包含不确定的肌肉活动，因此不会被标记为“静息”。
鉴于肌肉疲劳难以进行精确的定量分析，本文在试验中定义了“单位疲劳度”作为衡量肌肉疲劳的量化指标。单位疲劳度基于受试者完成的疲劳增强活动组数来计算，初始的单位疲劳度设为0，每完成一组疲劳增强活动后，单位疲劳度增加1。这种方法使得试验过程中肌肉疲劳的累积和影响能够被量化地追踪，从而在分析中更精确地考虑肌肉疲劳对手势识别性能的影响。
在数据预处理阶段，本研究采用了多种方法以确保数据的质量和适用性。首先，对原始EMG数据应用了50 Hz的陷波滤波器，以消除可能存在的电源线干扰。接下来，为了增强信号中动作电位与背景噪声之间的差异，对信号进行了包络处理并进行了平方化。为实现对sEMG信号的实时分析，还采用了滑动窗口对数据进行分割，这是相关研究中常见的做法。在选择窗口宽度时，考虑到实时性和数据充分性之间的平衡，将窗口宽度设定为1 000 ms，即200个样本点[29-30]。窗口的步长设置为10个样本点，即每次移动窗口50 ms。这样的设置有助于从连续信号中创建更多的重叠数据片段，从而获得更多的训练数据。
本研究的主要目标是评估肌肉疲劳特征在手势分类任务中的影响。因此，作为研究的第一步，本文对不同的肌肉疲劳分析方法进行了综合评估，旨在确定最有效的分析策略。
2.2 MFFE模块构建策略的对比分析
本实验的核心目的是比较不同策略构建MFFE模块时的性能，包括模型种类和训练策略。
模型种类将着重对比回归与分类两种模型的性能。鉴于回归与分类模型具有不同的评估标准，为将标准对齐，本文采用了均方误差（mean square error，MSE）和准确率来同时评估这两种模型，其中回归模型的准确率将进行四舍五入后计算。
对于训练策略，本文设计了4种训练与测试方案进行实验对比，分别是全—全、静—全、全—静、静—静。这些策略的命名中，第一个字对应训练集，第二个字则对应测试集，“全”和“静”表示使用的数据集是包含手势的全部数据还是仅包含静息状态的数据。每种策略均采用了标准的CNN模型作为MFFE的基础架构，因此差异主要在于输出层的设置及训练策略。如图3所示展示了各个受试者在4种训练策略下分类模型相比回归模型的平均准确率和MSE变化。此外，为了更直观地比较这些训练策略，如图4所示以箱线图形式展示了使用受试者01的数据时的实验结果，其他受试者的箱线图与此图的趋势相近，不再重复展示。
图3
分类模型相比回归模型在4种训练策略下的性能变化
Figure3.
Performance variation of classification model compared to regression model under 4 training strategies
图4
受试者01在4种训练测试方案下回归与分类模型的实验结果对比图
Figure4.
Comparison of experimental results of regression and classification models for subject 01 under four training test scheme
实验结果表明，分类模型在各种训练策略下的性能普遍高于回归模型。特别是当训练集采用静息状态的数据时，分类模型的整体性能明显优于回归模型。在所有训练策略中，当训练集和测试集均仅包含静息状态的数据时，分类模型的准确率达到了最高水平。
此实验结果为实际应用提供了新的见解：在实际应用场景中，数据通常是按时间序列排列的。因此，模型可以设计为在静息状态下更新肌肉疲劳特征，而在检测到手势动作时则不进行更新。这种设计利用了在静息状态下进行肌肉疲劳预测更为准确的特性，从而提高了肌肉疲劳特征的质量。然而，这种方法也存在一定的局限性，即如果手势状态持续时间过长，可能会导致肌肉疲劳特征的更新延迟。
2.3 MFFE模块中不同算法的比较
为了比较不同算法在单个窗口上分析肌肉疲劳时的性能，本文选用了3种主要算法：时频域特征分析、CNN和LSTM。这些算法提取的特征被送入具有相同超参数的分类器中，以便进行统一的性能评估。由于时频域特征通常利用多窗口内特征的变化趋势（例如斜率）来评估肌肉疲劳，因此本文也探索了在更小的子窗口中计算这些特征的效果。本文共使用了5种子窗口切分策略，后续以数字代表不重合的窗口数量，例如，M1代表不切分原窗口；M5代表将原窗口切分为5个不重合的窗口；M（1+5）则代表将前两种方案提取出的特征进行组合，依此类推。
实验结果表明，在处理静息状态数据时，所有算法均能实现较高的性能。如图5左图所示，展示了受试者01使用不同子窗口划分策略的时频域特征模型和CNN及LSTM的性能。如图5右图展示了受试者02和受试者03在不同子窗口划分策略下，基于时频域特征的分类性能对比。
图5
算法对比实验结果
Figure5.
Experimental result of algorithm comparison
如图5左图所示，从单个窗口中提取的时频域特征在肌肉疲劳分析中的效果并不理想。当仅使用整个窗口提取时频域特征时，模型的平均准确率仅为71.9%，且表现出明显的不稳定性，最低准确率甚至降至50.1%。这种不稳定的性能揭示了单窗口分析的困难。然而，当尝试将原窗口划分为更小的子窗口并在此基础上进行特征提取时，模型的表现显著提升。分为5个子窗口时，模型的平均准确率提高至80.1%，同时稳定性也得到了显著增强。这表明，切分子窗口的策略能在一定程度上提升模型的性能和可靠性。但这种改进效果是有上限的。首先，实验中发现，当子窗口的数量增加至10个时，模型的准确率反而下降。这一发现表明在窗口切分时需要寻找一个平衡点。此外，如图5右图所示，这种性能变化在不同个体上的表现也呈现出不稳定性。与时频域特征提取方法相比，CNN和LSTM的表现则更加出色。在最优模型配置中，这两种算法均达到了超过99%的准确率。它们之间的差异主要体现在参数量、训练效率以及稳定性方面。CNN模型在训练速度上更快，但在不同个体上的表现不如LSTM稳定。而LSTM模型的参数量更少，仅为CNN的18%，且性能表现更稳定。这一对比突出了在选择模型架构时，必须权衡训练效率与模型复杂度之间的影响。
总体来看，基于单个窗口提取时频域特征的方法相较于深度学习算法，其性能表现不尽理想。尽管通过适当的窗口切分可以在一定程度上改善时域及频域特征的表现，最优能提高至超过80%的平均准确率，但其在不同个体上的表现存在一定差距。相比之下，尽管深度学习算法需要更长的训练时间和更多的计算资源，但性能表现更佳。在实际应用中，应根据特定的需求和资源情况来权衡，选择最适合的算法进行肌肉疲劳分析。
2.4 融合MFFE对手势识别影响的实验研究
本实验深入探究了肌肉疲劳特征与手势分类准确性之间的关系，实验设计旨在比较加入了肌肉疲劳特征的FFF-HGR模型与未加入肌肉疲劳特征的模型之间的差异。FFF-HGR中的MFFE采用了第2.3节中表现最佳的CNN模型架构。为确保输出的稳定性，所有层在训练完成后都被冻结。为了控制实验变量，两种模型中均采用了相同的基准CNN架构作为HGFE。随后，将MFFE的输出与HGFE的输出合并，一并输入到分类器中，进行最终的手势分类。相比之下，对照组的模型则完全没有包含MFFE特征。在HGFE的训练数据中仅包含较低单位疲劳度的样本，以模拟实际应用中在无疲劳或轻微疲劳状态下进行校正的使用场景。
如图6所示，以受试者01为例，展示了两种模型在多次实验中，针对不同疲劳等级上的平均准确率与平均损失值。结果表明，随着单位疲劳度的增加，模型的分类准确率呈下降趋势。然而，这一下降趋势在融入MFFE特征的模型中得到了显著缓解，表明MFFE的融合对于提升模型在不同疲劳状态下的鲁棒性发挥了关键作用。更为重要的是，融合了MFFE的模型在损失值方面也显示出较低的数值，这说明该模型在预测手势时不仅更为准确，而且更加稳定。
图6
FFF-HGR与普通手势识别模型的对比实验结果
Figure6.
Comparative experimental results of FFF-HGR and ordinary gesture recognition models
如图7所示，展示了多次实验中，加入疲劳特征后对各个受试者的准确率及损失值的影响。结果显示在加入MFFE后，分析各个受试者手势的准确率均有所提升，尤其是在高疲劳等级时，性能的提升十分明显且稳定，部分受试者的准确率甚至提升了约20%。在损失值方面，也观察到了相对明显的下降趋势。
图7
各受试者在加入MFFE后准确率及损失值变化
Figure7.
Accuracy and loss changes of subjects after MFFE fusion
为了进行统计学分析，本研究针对加入肌肉疲劳特征前后的准确率进行了配对样本t检验。首先，使用夏皮罗-威尔克（Shapiro-Wilk）检验，以确认差异数据符合正态分布。随后，使用配对样本t检验来评估两组数据的差异是否具有统计学意义。统计检验结果表明，各受试者手势识别的总体准确率的t值为3.797，P<0.01。这表明在加入肌肉疲劳特征后，手势识别的准确率显著提高。此外，还针对各个单位疲劳度进行了t检验，具体结果如表3所示。
表3
各单位疲劳度下，配对样本t检验结果
Table3.
Paired samples t-test results at each unit fatigue level
如图8所示，展示了无疲劳特征的算法和FFF-HGR算法进行手势分类的混淆矩阵，其中整合了所有受试者的数据，包括多个疲劳等级。颜色代表真实类别被分类到各个类别的百分比，颜色与百分比的对应关系如右侧标尺所示。此外，还展示了两个矩阵的差值，代表加入肌肉疲劳特征后的相对变化。变化量使用绝对最大值进行了归一化，因此颜色可以直观展示变化趋势及相对变化大小。从图8中可以看出，加入肌肉疲劳特征后，各个手势的分类准确率均有较大的提高，分类错误的情况也多有减少。其中，静息状态的分类结果在加入前后几乎没有变化，其他手势被误判为静息的情况也明显减少。在数值上，屈臂和握拳被正确分类的情况显著增加，被误判为剪刀和内收的情况均有下降，尤其是内收被误判为其他动作的情况也明显减少。
图8
整合各受试者在加入肌肉疲劳特征前后的混淆矩阵及加入肌肉疲劳特征前后的变化矩阵
Figure8.
Integration of the confusion matrix before and after the fusion of the muscle fatigue features and the change matrix before and after the fusion of the muscle fatigue features for all subjects
这些实验结果强调了在实际应用中同步进行肌肉疲劳分析的重要性，它可以显著提升手势识别系统的性能，增强系统的准确率和鲁棒性。通过此类研究，能够更深入地理解手势识别系统在长期使用或用户处于疲劳状态下的表现，并为系统的进一步优化提供宝贵的指导。
3 讨论与分析
在本节中将讨论实验结果的深层含义，并分析它们对未来肌肉疲劳分析及手势识别技术的影响。
3.1 MFFE模块的构建方法与算法性能对比
本研究的结果挑战了传统的预期，即在肌肉疲劳分析中，由于肌肉疲劳的渐进特性，通常预期回归模型应优于分类模型。然而，实验结果显示，分类模型相比回归模型，性能相当或明显更优，且在多次实验中展现出更高的稳定性。这一现象可能由以下原因导致：① 评估方式的影响：为了对比回归和分类模型的性能，实验中采用了MSE来评估分类模型，而使用四舍五入准确率评估回归模型。这种评估方式可能导致由于边界效应而引入额外的误差；② 肌肉疲劳度量的非线性特性：实验中使用的单位疲劳度与实际肌肉疲劳状态之间的关系可能不是严格线性的，而是更符合离散数据特征的衡量标准。这表明肌肉疲劳的动态变化可能更适合通过分类方法来分析。
此外，实验发现，即使是未经特别调整的基础CNN模型，仅使用静息状态的sEMG数据进行训练，也能在静息状态测试中达到高达88%的准确率，这一结果远优于其他训练策略。这表明手势动作对肌肉疲劳特征的提取产生了显著影响。这一发现对于实际应用中的手势识别系统设计具有重要意义。在考虑如何集成肌肉疲劳分析以改善手势识别性能时，需要参考这一特性来确定合理的肌肉疲劳分析策略，以提取出更可靠的特征。
MFFE模块中不同算法比较实验的结果表明，在评估肌肉疲劳时，时域及频域特征更适合在多个窗口上计算，而非单个窗口。在传统方法中，斜率的使用是为了考虑到个体差异和算法的鲁棒性，因为直接使用单个窗口的特征往往难以提供充分的信息，难以准确反映肌肉疲劳的变化。实验发现，通过将原始窗口细分为更小的子窗口，可以得到更细节的信息，从而在一定程度上提高了使用传统特征的准确率。然而，这种方法也存在局限性。首先，类似于滑动窗口技术，如果对窗口进一步切分，反而可能导致算法性能的下降。这是因为子窗口过小，样本数量不足，导致从中提取的特征质量下降，表明在子窗口切分时需要寻找一个平衡点，既要保证特征的数量，又要避免因过度切分窗口而降低特征质量；其次，这一方法在不同个体间表现出不稳定性，使得无法保证其对系统性能的提升，这一现象可能源于个体差异。因此，在实际应用中，仅在单个窗口使用这些传统特征来分析肌肉疲劳存在一定的局限性。
3.2 深度神经网络与传统方法的性能对比
与传统方法相比，深度神经网络（如CNN和LSTM）展现了更优的性能。这些算法能够自动提取出更高级别的抽象特征，与传统特征提取方法相比，这种能力使得CNN和LSTM能够捕捉到可能被传统方法忽略的有价值信息。
在性能方面，CNN和LSTM的差异不大，但在考虑训练效率时，CNN是更好的选择。这主要是因为LSTM的计算过程包含层内的递归结构，使其在计算效率上不如CNN高效。此外，考虑到硬件资源的限制，LSTM可能更适合部署在一些硬件配置较低的环境中。尽管LSTM只需要CNN的20%参数，但它能够达到与CNN相似的性能水平，这使其在资源有限的环境中尤为有价值。
3.3 肌肉疲劳特征对手势识别影响的研究
肌肉疲劳对手势识别的影响实验进一步证明了融合肌肉疲劳特征的重要性。通过融合这些特征，所有受试者在不同单位疲劳度上的准确率均得到了不同程度的提升，其中的差异可能源于个体差异或信号处理等因素。肌肉疲劳对sEMG信号的影响会降低传统手势识别算法的准确性。通过纳入有效的肌肉疲劳特征，模型能够在不同肌肉疲劳状态下有效地提高准确率和鲁棒性。 在实际应用中，为了减少个体差异的影响，即使在无疲劳或低疲劳状态下进行模型校正，通过融合肌肉疲劳特征，模型也能在肌肉疲劳发生时保持稳定性与可靠性。
图8的混淆矩阵更具体地展示了肌肉疲劳特征的加入对于各个手势分类的影响。无论在特征加入前后，静息状态都保持着最高的分类准确率，这是由于静息状态并没有显著的sEMG信号特征，且信号的预处理进一步扩大了其与手势状态的差距。其他手势在加入肌肉疲劳特征后，正确分类的情况显著提高，其中以屈臂和握拳的动作最为明显。这表明各个手势均对肌肉疲劳敏感，其中以屈臂和握拳最甚，这可能与试验的流程相关：试验过程中，受试者通常保持手肘支撑桌面，前臂倾斜45°的姿势，这一动作与屈臂动作的重合程度较高，持续约30 min的试验容易诱发相关肌肉的疲劳。而握拳动作则与使用握力器诱导的肌肉疲劳相关，这两组肌肉相较于其他肌肉更容易受到疲劳的影响，因此在加入肌肉疲劳特征后，准确率的提升也最为显著。这表明肌肉疲劳程度越高，从肌肉疲劳特征的融合中获得的收益也越大。此外，值得注意的是，几乎所有手势都较为容易被误判为静息状态。这一现象可能是多种原因造成的，如离群值、数据采集过程中的意外情况、静息手势在数据集中的占比高等。尽管在实际应用中，这种误判情况仍然高于被误判为其他手势的情况，但对这一现象的改善仍具有重要的意义。一方面，它有助于提升交互体验；另一方面，也有助于未来开发针对时序数据的改进策略；因此也是未来研究的重要方向。
4 结语
本文提出了一种融合肌肉疲劳特征的手势分类模型，并在自建的数据集上进行了系统的测试和分析。研究结果证实了肌肉疲劳特征对于手势识别模型性能提升的显著贡献，尤其在疲劳程度较高时，模型展现了良好的稳定性和准确率提升。值得注意的是，即使在模型仅使用低疲劳度数据进行训练和微调的情况下，融合肌肉疲劳特征也能有效提升模型在后续不同疲劳状态下的表现。此外，本研究在实验中发现，在静息状态下进行肌肉疲劳分析的准确性更高，这一发现为实际应用提供了新的视角：在未来的实际应用中，可以仅在静息状态提取肌肉疲劳特征，并将这些特征应用于后续的手势识别任务，从而提高所提取的肌肉疲劳特征的质量。在模型算法的选择上，建议在训练阶段采用CNN，以利用其在训练速度方面的优势和高效的特征提取能力；而在部署阶段，尤其是在资源受限的设备上，推荐使用LSTM，以减少对计算资源的需求，并获得更稳定的性能提升。这种策略兼顾了模型训练的效率和在各种设备上的广泛可用性。综上，本研究不仅推动了肌肉疲劳状态下的手势识别技术的发展，还为基于sEMG信号的手势识别提供了一种实用的方法，期待未来该模型能在更广泛的实践场景中得到应用和完善，如临床康复、人机交互以及遥控操作等领域，以更好地服务于人类。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：严仕嘉主要负责实验流程、数据记录与分析、算法设计、上位机及算法程序设计以及计划安排；杨晔，通信作者，主要负责提供实验指导，数据分析指导，论文审阅修订；易鹏主要负责实验器材、数据记录与分析、算法设计。
伦理声明：本研究通过了上海师范大学学术伦理与道德委员会的审批（审批编号：[2024]133号）。
