2.793

                    2018影響因子

                    (CJCR)

                    • 中文核心
                    • EI
                    • 中國科技核心
                    • Scopus
                    • CSCD
                    • 英國科學文摘

                    留言板

                    尊敬的讀者、作者、審稿人, 關于本刊的投稿、審稿、編輯和出版的任何問題, 您可以本頁添加留言。我們將盡快給您答復。謝謝您的支持!

                    姓名
                    郵箱
                    手機號碼
                    標題
                    留言內容
                    驗證碼

                    基于Myo旋轉偏移估計與自適應校正的手勢識別方法

                    李自由 王豐焱 趙新剛 丁其川 張道輝 韓建達

                    李自由, 王豐焱, 趙新剛, 丁其川, 張道輝, 韓建達. 基于Myo旋轉偏移估計與自適應校正的手勢識別方法. 自動化學報, 2020, 46(9): 1896?1907. doi: 10.16383/j.aas.c190028
                    引用本文: 李自由, 王豐焱, 趙新剛, 丁其川, 張道輝, 韓建達. 基于Myo旋轉偏移估計與自適應校正的手勢識別方法. 自動化學報, 2020, 46(9): 1896?1907. doi: 10.16383/j.aas.c190028
                    Li Zi-You, Wang Feng-Yan, Zhao Xin-Gang, Ding Qi-Chuan, Zhang Dao-Hui, Han Jian-Da. The method for gestures recognition based on Myo rotation shifts estimation and adaptive correction. Acta Automatica Sinica, 2020, 46(9): 1896?1907. doi: 10.16383/j.aas.c190028
                    Citation: Li Zi-You, Wang Feng-Yan, Zhao Xin-Gang, Ding Qi-Chuan, Zhang Dao-Hui, Han Jian-Da. The method for gestures recognition based on Myo rotation shifts estimation and adaptive correction. Acta Automatica Sinica, 2020, 46(9): 1896?1907. doi: 10.16383/j.aas.c190028

                    基于Myo旋轉偏移估計與自適應校正的手勢識別方法


                    DOI: 10.16383/j.aas.c190028
                    詳細信息
                      作者簡介:

                      中國科學院沈陽自動化研究所博士研究生. 主要研究方向為生物電信號處理, 模式識別與機器學習. E-mail: liziyou@sia.cn

                      中國科學院沈陽自動化研究所碩士研究生. 主要研究方向為智能假肢, 機器學習. E-mail: wangfengyan@sia.cn

                      中國科學院沈陽自動化研究所研究員. 2008年獲得中國科學院沈陽自動化研究所博士學位. 主要研究方向為機器人控制, 智能系統與康復機器人. 本文通信作者. E-mail: zhaoxingang@sia.cn

                      東北大學機器人科學與工程學院副教授. 2014年獲得中國科學院大學博士學位. 主要研究方向為生物電信號處理, 模式識別, 可穿戴機器人技術. E-mail: dingqichuan@mail.neu.edu.cn

                      中國科學院沈陽自動化研究所副研究員. 2018年獲得中國科學院大學博士學位. 主要研究方向為機器人控制技術. E-mail: peiying.chen@ia.ac.cn

                      南開大學人工智能學院教授, 中國科學院沈陽自動化研究所研究員. 1998年獲得哈爾濱工業大學博士學位. 主要研究方向為可穿戴機器人, 智能系統, 移動機器人自主控制. E-mail: hanjianda@nankai.edu.cn

                    • 基金項目:  國家自然科學基金(61573340, 61773369, U1813214)資助

                    The Method for Gestures Recognition Based on Myo Rotation Shifts Estimation and Adaptive Correction

                    More Information
                    • Fund Project:  Supported by National Natural Science Foundation of China (61573340, 61773369, U1813214)
                    • 摘要: 在基于表面肌電信號(Surface electromyography, sEMG)的手勢識別系統中, 針對Myo環形電極多次實驗間旋轉位置不同導致的識別精度降低問題, 提出了一種基于極坐標系的電極位置偏移估計與自適應校正的識別方法. 該方法首先建立相對于環形肌電傳感器的極坐標系, 提出了極坐標系下活躍極角(Activation polar angle, APA), 用于估計實驗中傳感器相對于初始位置的橫向旋轉偏移角度; 進而建立基于偏移角度的線性變換模型, 在肌電信號特征空間內, 對電極偏移位置下的樣本進行自適應校正. 在8 種常用手勢識別應用中, 設計了兩種實驗范式: 利用傳感器各通道數據循環平移模擬電極橫向旋轉偏移實驗和肌電傳感器在小臂肌肉上的真實旋轉偏移實驗. 結果均表明所提出方法的識別精度遠高于未進行校正的模型識別精度. 因此, 所提出的電極偏移估計與自適應校正識別方法, 不僅有效提高了表面肌電交互系統識別的魯棒性, 也降低了使用者在多次使用時訓練成本與學習負擔.
                    • 圖  1  根據官方指導說明, 將Myo臂環固定在小臂處; 初始位置: 帶有Logo指示燈的通道與中指對齊

                      Fig.  1  The Myo around the lower arm according to official guides. The position where the logo channel and the middle finger are on one line as the initial position

                      圖  2  實驗中8種常用手部動作: 休息、握拳、展掌、剪刀手、捏中指、捏食指、內翻、外翻

                      Fig.  2  Eight common gestures in the experiment: rest, grasp, open hand, peace sign, pinch thumb finger, pinch middle finger, carpal varus, carpal valgus

                      圖  3  基于滑動窗的特征提取, 其中窗長為LW, 滑動為LI

                      Fig.  3  Feature extraction by a sliding window technique with incremental length (LI) and window length (LW)

                      圖  4  電極循環單位為1時, 由模擬法實驗范式產生的電極偏移下表面肌電信號

                      Fig.  4  Electrode-shift sEMG by a simulation paradigm with a circulation step$\tau= 1 $

                      圖  5  基于極坐標系的電極偏移估計與自適應校正的表面肌電手勢識別方法與傳統識別框架的對比.

                      所采集帶標簽的數據集$ X_L $, 分割成訓練集$X_L^{\rm{train}}$ 與測試集$X_L^{\rm{test}}$; 電極偏移干擾新樣本集$ X_N $, 按照原分類器得到的預測結果$ \hat{y}_N $; 或將新樣本集$ X_N $訓練獨立的分類器, 得到訓練集與測試集結果$y_N^{\rm{train}}$ 和$y_N^{\rm{test} }$ . 點劃線表示路徑, 首先估計電極偏移前后的偏移角度$ \delta\alpha $, 以此建立兩者之間的關系$ T_{n\times n} $, 最終經原分類器得到預測結果$ y_{p\dot N} $

                      Fig.  5  The proposed electrode shifts estimation and adaptive correction method for sEMG-based gesture recognition and its traditional comparisons sEMG-based frameworks.

                      Here, the labeled datasets $ X_L $ were split into the training part ($X_L^{\rm{train}}$, $y_L^{\rm{train}}$) and the testing part ($X_L^{\rm{test}}$, $y_L^{\rm{test}}$). The dataset $ X_N $ was interfered by electrode shifts, whose classification results were $ \hat{y}_N $ by the pre-trained classifier. Or, $ X_N $ was used to train an individual classifier, resulting in $y_N^{\rm{train}}$ and $y_N^{\rm{test}}$. As the dot-dash line, the shift $ \Delta \alpha $ was first estimated, and then $ T_{n\times n} $ was established. Finally, $ y_{p\dot N} $ was the estimated results of the interfered by the pre-trained classifier

                      圖  6  橫截面圖和散點圖(a) 截面視角, 包括Myo臂環和小臂各肌肉與骨骼的截面分布; (b) 散點圖: 不同通道上的樣本點繪制在不同極角的極軸上, 點劃線為所提出并定義的活躍極角

                      Fig.  6  The cross-section diagram and scatter diagram (a) the cross-section view of proposed polar coordinate with Myo armband and the lower arm's muscles and bones; (b) the scatter plot with every channel samples on different polar angle axis, and the proposed APA with dot-dash line

                      圖  7  偏移范圍$ \Delta \alpha $$ [{0^\circ}, {45^\circ }) $時, 所有通道電極相對于初始位置偏移情況

                      Fig.  7  Every electrode shifts $ \Delta \alpha $ in a counter-clockwise direction within the range of $ [{0^\circ}, {45^\circ }) $

                      圖  8  各電極通道MAV特征值映射變換與偏移角度間關系

                      Fig.  8  The mapping relationship between original one-channel MAV and shifted MAV on the shift angle

                      圖  9  模擬電極偏移情況下, 極坐標內的肌電信號樣本點的散點圖與虛線所代表的活躍極角

                      Fig.  9  Scatter plots in the polar coordinate of sEMG samples from simulated electrode shifts and the proposed activation polar angle (APA) in dash line

                      圖  10  不同偏移程度下的手勢識別精度對比: 偏移估計與自適應校正的精度(實線)和未處理電極偏移干擾下的精度(虛線)

                      Fig.  10  Gestures recognition comparison with different shifts: proposed shifts estimation and adaptively corrected accuracies (solid line) v.s. un-corrected accuracies (dotted line)

                      圖  11  真實的電極?肌肉偏移情況下, 極坐標系內肌電信號樣本點的散點圖與虛線所代表的活躍極角

                      Fig.  11  Scatter plots in the polar coordinate of sEMG samples from real electrode shifts and the proposed activation polar angle (APA) in the dash line

                      圖  12  在9次電極?肌肉偏移過程中, 對活躍極角的偏移角度估計

                      Fig.  12  The estimations of activation polar angle for nine shifts in $ [0^{\circ},\, 360^{\circ}) $

                      圖  13  不同真實電極?肌肉偏移程度下的手勢識別精度對比: 偏移估計與自適應校正的精度(實線)和未處理電極偏移干擾下的精度(虛線)

                      Fig.  13  Gesture recognition accuracy comparison with different electrode-muscle shifts: proposed shifts estimation and adaptively corrected accuracies (solid line) v.s. un-corrected accuracies (dotted line)

                      表  1  基于通道循環平移下的模擬電極偏移實驗, 活躍極角估計, 與相對于初始位置旋轉角度估計(°)

                      Table  1  The simulation experiments by circulations of each channel, the estimation of proposed activation polar angle – APA, and the estimation of shifts angle relative to the initial position (°)

                      偏轉實驗$\tau$ 活躍極角$\alpha$ 偏轉角度$\Delta\alpha$
                      0 –173.15
                      1 141.85 45
                      2 96.85 90
                      3 51.85 135
                      4 6.85 180
                      5 –38.15 225
                      6 –83.15 270
                      7 –128.15 315
                      8 –173.15 360
                      下載: 導出CSV

                      表  2  基于電極旋轉的真實電極偏移實驗, 活躍極角估計, 與相對于初始位置旋轉角度估計(°)

                      Table  2  The real experiments by electrode rotation, the estimation of proposed activation polar angle – APA, and the estimation of shifts angle relative to the initial position (°)

                      偏轉實驗$\tau$ 活躍極角$\alpha$ 偏轉角度$\Delta\alpha$
                      0 –169.58 –3.57
                      1 150.09 36.76
                      2 104.74 82.11
                      3 64.97 121.88
                      4 6.29 180.57
                      5 ?39.97 226.83
                      6 –83.01 269.87
                      7 –122.34 309.20
                      8 –175.31 2.17
                      下載: 導出CSV

                      表  3  每名實驗參與者在不同位置或不同重復次數下的交叉驗證平均識別結果($ \star $表示為女性受試者) (%)

                      Table  3  Cross-validation based average accuracies for every subject in different shifted positions or repeated trials ($ \star $ indicates women subjects) (%)

                      被試者 校正前精度 校正后精度
                      1 38.21$\pm$29.88 86.56$\pm$12.04
                      2 29.98$\pm$25.65 74.16$\pm$26.81
                      3 24.54$\pm$28.48 90.06$\pm$8.16
                      4 30.11$\pm$26.59 87.27$\pm$9.51
                      5$\star$ 36.95$\pm$29.05 75.27$\pm$14.20
                      6 31.84$\pm$33.57 85.19$\pm$9.50
                      7 25.91$\pm$31.66 78.24$\pm$13.61
                      8 22.62$\pm$29.25 82.26$\pm$11.81
                      9 26.72$\pm$25.09 64.16$\pm$13.50
                      10 25.27$\pm$26.12 73.92$\pm$14.72
                      11 21.96$\pm$24.52 61.84$\pm$16.01
                      12$\star$ 25.00$\pm$28.86 81.53$\pm$13.72
                      均值 28.26 78.37 ($p<0.001$)
                      下載: 導出CSV
                      360彩票
                    • [1] 丁其川, 熊安斌, 趙新剛, 韓建達. 基于表面肌電的運動意圖識別方法研究及應用綜述. 自動化學報, 2016, 42(1): 13?25

                      Ding Qi-Chuan, Xiong An-Bin, Zhao Xin-Gang, Han JianDa. A review on researches and applications of sEMG-based motion intent recognition methods. Acta Automatica Sinica, 2016, 42(1): 13?25
                      [2] 丁其川, 趙新剛, 韓建達. 基于肌電信號的上肢多關節連續運動估計. 機器人, 36(4): 469−476

                      Ding Qi-Chuan, Zhao Xin-Gang, Han Jian-Da. EMG-based estimation for multi-joint continuous movement of human upper limb. Robot, 2014, 36(4): 469−476
                      [3] 侯增廣, 趙新剛, 程龍, 王啟寧, 王衛群. 康復機器人與智能輔助系統的研究進展. 自動化學報, 2016, 42(12): 1765?1779

                      Hou Zeng-Guang, Zhao Xin-Gang, Cheng Long, Wang Qi-Ning, Wang Wei-Qun. Recent advances in rehabilitation robots and intelligent assistance systems. Acta Automatica Sinica, 2016, 42(12): 1765?1779
                      [4] Lu Z Y, Tong K Y, Shin H, Li S, Zhou P. Advanced myoelectric control for robotic hand-assisted training outcome from a stroke patient. Frontiers in Neurology, 2017, 8: 107
                      [5] Otr O V, Reinders-Messelink H A, Bongers R M, Bouwsema H, Van Der Sluis C K. The i-LIMB hand and the DMC plus hand compared a case report. Prosthetics and Orthotics International, 2010, 34(2): 216?220 doi:  10.3109/03093641003767207
                      [6] Chu J U, Moon I, Lee Y J, Kim S K, Mun M S. A supervised feature-projection-based real-time EMG pattern recognition for multifunction myoelectric hand control. IEEE/ASME Transactions on Mechatronics, 2007, 12(3): 282?290 doi:  10.1109/TMECH.2007.897262
                      [7] Scheme E J, Englehart K B, Hudgins B S. Selective classification for improved robustness of myoelectric control under nonideal conditions. IEEE Transactions on Bio-medical Engineering, 2011, 58(6): 1698?1705 doi:  10.1109/TBME.2011.2113182
                      [8] 丁其川, 趙新剛, 李自由, 韓建達. 基于自更新混合分類模型的肌電運動識別方法. 自動化學報, 2019, 45(8): 1464?1474 doi:  10.16383/j.aas.2018.c170301

                      Ding Qi-Chuan, Zhao Xin-Gang, Li Zi-You, Han Jian-Da. The EMG-motion recognition method based on self-update hybrid classification model. Acta Automatica Sinica, 2019, 45(8): 1464?1474 doi:  10.16383/j.aas.2018.c170301
                      [9] Tkach D, Huang H, Kuiken T A. Study of stability of time-domain features for electromyographic pattern recognition. Journal of NeuroEngineering and Rehabilitation, 2010, 7(1): 21 doi:  10.1186/1743-0003-7-21
                      [10] Scheme E, Englehart K. Training strategies for mitigating the effect of proportional controlon classification in pattern recognition based myoelectriccontrol. Journal of Prosthetics and Orthotics, 2013, 25(25): 76?83
                      [11] He J Y, Sheng X J, Zhu X Y, Jiang N. Electrode density affects the robustness of myoelectric pattern recognition system with and without electrode shift. IEEE Journal of Biomedical and Health Informatics, 2019, 23(1): 156?163
                      [12] Kristin ?stlie, Lesj? I M, Franklin R J, Garfelt B, Magnus P. Prosthesis rejection in acquired major upper-limb amputees a population-based survey. Disability and Rehabilitation. Assistive technology, 2011, 7(4): 294?303
                      [13] Biddiss E A, Chau T T. Upper limb prosthesis use and abandonment a survey of the last 25 years. Prosthetics and Orthotics International, 2007, 31(3): 236?257 doi:  10.1080/03093640600994581
                      [14] Stango A, Negro F, Farina D. Spatial correlation of high density emg signals provides features robust to electrode number and shift in pattern recognition for myocontrol. IEEE Transactions on Neural Systems Rehabilitation Engineering, 2015, 23(2): 189?198 doi:  10.1109/TNSRE.2014.2366752
                      [15] Mohanaiah P, Sathyanarayana P, GuruKumar L. Image texture feature extraction using GLCM approach. International Journal of Scientific and Research Publications, 2013, 3(5): 1?5
                      [16] He J F, Zhu X Y. Combining improved gray-level co-occurrence matrix with high density grid for myoelectric control robustness to electrode shift. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2017, 25(9): 1539?1548 doi:  10.1109/TNSRE.2016.2644264
                      [17] Pan, L Z, Zhang D G, Jiang N, Sheng X J, Zhu, X. Y. Improving robustness against electrode shift of high density emg for myoelectric control through common spatial patterns. Journal of Neuroengineering Rehabilitation, 2015, 12(1): 1?16 doi:  10.1186/1743-0003-12-1
                      [18] Young A J, Hargrove L J, Kuiken T A. Improving myoelectric pattern recognition robustness to electrode shift by changing interelectrode distance and electrode configuration. IEEE Transactions on Bio-medical Engineering, 2012, 59(3): 645?652 doi:  10.1109/TBME.2011.2177662
                      [19] Rawat S, Vats S, Kumar P. Evaluating and exploring the MYO ARMBAND. In: Proceedings of the 2016 International Conference System Modeling and Advancement in Research Trends (SMART), Moradabad, India, 2016. 115?120
                      [20] Getting starting with Myo on Windows. Available from: https://support.getmyo.com
                      [21] 王松. 運動解剖學. 武漢, 華中科技大學出版社, 2018, 113?117

                      Wang Song. Sport Anatomy. Wuhan, Huazhong University of Science and Technology Press, 2018, 113?117
                    • [1] 孫文濤, 佘浩田, 李鑫, 朱金營, 姜銀來, 橫井浩史, 黃強. 基于上臂關節角度和肌電信號的二自由度假肢控制方法[J]. 自動化學報, 2018, 44(4): 667-675. doi: 10.16383/j.aas.2017.c160181
                      [2] 郭欣, 王蕾, 宣伯凱, 李彩萍. 基于有監督Kohonen神經網絡的步態識別[J]. 自動化學報, 2017, 43(3): 430-438. doi: 10.16383/j.aas.2017.c160114
                      [3] 余建波, 盧笑蕾, 宗衛周. 基于局部與非局部線性判別分析和高斯混合模型動態集成的晶圓表面缺陷探測與識別[J]. 自動化學報, 2016, 42(1): 47-59. doi: 10.16383/j.aas.2016.c150311
                      [4] 丁其川, 熊安斌, 趙新剛, 韓建達. 基于表面肌電的運動意圖識別方法研究及應用綜述[J]. 自動化學報, 2016, 42(1): 13-25. doi: 10.16383/j.aas.2016.c140563
                      [5] 彭亮, 侯增廣, 王衛群. 康復機器人的同步主動交互控制與實現[J]. 自動化學報, 2015, 41(11): 1837-1846. doi: 10.16383/j.aas.2015.c150270
                      [6] 劉金鑫, 朱云龍, 沈喆, 孫鵬. 回轉窯燒成帶狀態混合智能識別方法[J]. 自動化學報, 2012, 38(7): 1153-1161. doi: 10.3724/SP.J.1004.2012.01153
                      [7] 李陽, 田彥濤, 陳萬忠. 基于FFT盲辨識的肌電信號建模及模式識別[J]. 自動化學報, 2012, 38(1): 128-134. doi: 10.3724/SP.J.1004.2012.00128
                      [8] 張天序, 翁文杰, 馮軍. 三維運動目標的多尺度智能遞推識別新方法[J]. 自動化學報, 2006, 32(5): 641-658.
                      [9] 胡壽松, 周川, 王源. 基于小波神經網絡的組合故障模式識別[J]. 自動化學報, 2002, 28(4): 540-543.
                      [10] 王天樹, 鄭南寧, 袁澤劍. 機器智能與模式識別研究中的統計學習方法[J]. 自動化學報, 2002, 28(增刊): 103-116.
                      [11] 張天序. 模式識別與智能系統研究展望和對策[J]. 自動化學報, 2002, 28(增刊): 92-95.
                      [12] 李宛州, 胡東成. 野外環境下車輛運動模式的識別方法[J]. 自動化學報, 2000, 26(增刊B): 76-80.
                      [13] 戴汝為, 郝紅衛. 綜合集成的構思在模式識別中的應用[J]. 自動化學報, 1997, 23(3): 302-307.
                      [14] 邱道尹, 瞿壽德. 模糊模式識別的一種應用--產生最佳的工況類別[J]. 自動化學報, 1994, 20(1): 110-113.
                      [15] 程曉群, 戴汝為, 劉迎建. 一種非限制性的手寫數字的識別方法[J]. 自動化學報, 1993, 19(5): 578-586.
                      [16] 王景芳. Fisher識別的最佳投影平面[J]. 自動化學報, 1993, 19(4): 500-503.
                      [17] 洪子泉. VCG-CARD心電向量圖圖形自動分析識別系統[J]. 自動化學報, 1991, 17(1): 112-114.
                      [18] 劉隆和, 許俊剛, 朱平云. 一種復合自適應分類算法[J]. 自動化學報, 1989, 15(3): 273-277.
                      [19] 徐雷. 模擬退火組合優化法在模式識別中的若干應用[J]. 自動化學報, 1989, 15(2): 114-121.
                      [20] 邵惠鶴, 趙維剛. 模式識別在甲醛生產優化控制中的應用[J]. 自動化學報, 1989, 15(2): 161-164.
                    • 加載中
                    圖(13) / 表(3)
                    計量
                    • 文章訪問數:  129
                    • HTML全文瀏覽量:  89
                    • PDF下載量:  37
                    • 被引次數: 0
                    出版歷程
                    • 收稿日期:  2019-01-09
                    • 錄用日期:  2019-06-24
                    • 網絡出版日期:  2020-09-28
                    • 刊出日期:  2020-09-20

                    基于Myo旋轉偏移估計與自適應校正的手勢識別方法

                    doi: 10.16383/j.aas.c190028
                      基金項目:  國家自然科學基金(61573340, 61773369, U1813214)資助
                      作者簡介:

                      中國科學院沈陽自動化研究所博士研究生. 主要研究方向為生物電信號處理, 模式識別與機器學習. E-mail: liziyou@sia.cn

                      中國科學院沈陽自動化研究所碩士研究生. 主要研究方向為智能假肢, 機器學習. E-mail: wangfengyan@sia.cn

                      中國科學院沈陽自動化研究所研究員. 2008年獲得中國科學院沈陽自動化研究所博士學位. 主要研究方向為機器人控制, 智能系統與康復機器人. 本文通信作者. E-mail: zhaoxingang@sia.cn

                      東北大學機器人科學與工程學院副教授. 2014年獲得中國科學院大學博士學位. 主要研究方向為生物電信號處理, 模式識別, 可穿戴機器人技術. E-mail: dingqichuan@mail.neu.edu.cn

                      中國科學院沈陽自動化研究所副研究員. 2018年獲得中國科學院大學博士學位. 主要研究方向為機器人控制技術. E-mail: peiying.chen@ia.ac.cn

                      南開大學人工智能學院教授, 中國科學院沈陽自動化研究所研究員. 1998年獲得哈爾濱工業大學博士學位. 主要研究方向為可穿戴機器人, 智能系統, 移動機器人自主控制. E-mail: hanjianda@nankai.edu.cn

                    摘要: 在基于表面肌電信號(Surface electromyography, sEMG)的手勢識別系統中, 針對Myo環形電極多次實驗間旋轉位置不同導致的識別精度降低問題, 提出了一種基于極坐標系的電極位置偏移估計與自適應校正的識別方法. 該方法首先建立相對于環形肌電傳感器的極坐標系, 提出了極坐標系下活躍極角(Activation polar angle, APA), 用于估計實驗中傳感器相對于初始位置的橫向旋轉偏移角度; 進而建立基于偏移角度的線性變換模型, 在肌電信號特征空間內, 對電極偏移位置下的樣本進行自適應校正. 在8 種常用手勢識別應用中, 設計了兩種實驗范式: 利用傳感器各通道數據循環平移模擬電極橫向旋轉偏移實驗和肌電傳感器在小臂肌肉上的真實旋轉偏移實驗. 結果均表明所提出方法的識別精度遠高于未進行校正的模型識別精度. 因此, 所提出的電極偏移估計與自適應校正識別方法, 不僅有效提高了表面肌電交互系統識別的魯棒性, 也降低了使用者在多次使用時訓練成本與學習負擔.

                    English Abstract

                    李自由, 王豐焱, 趙新剛, 丁其川, 張道輝, 韓建達. 基于Myo旋轉偏移估計與自適應校正的手勢識別方法. 自動化學報, 2020, 46(9): 1896?1907. doi: 10.16383/j.aas.c190028
                    引用本文: 李自由, 王豐焱, 趙新剛, 丁其川, 張道輝, 韓建達. 基于Myo旋轉偏移估計與自適應校正的手勢識別方法. 自動化學報, 2020, 46(9): 1896?1907. doi: 10.16383/j.aas.c190028
                    Li Zi-You, Wang Feng-Yan, Zhao Xin-Gang, Ding Qi-Chuan, Zhang Dao-Hui, Han Jian-Da. The method for gestures recognition based on Myo rotation shifts estimation and adaptive correction. Acta Automatica Sinica, 2020, 46(9): 1896?1907. doi: 10.16383/j.aas.c190028
                    Citation: Li Zi-You, Wang Feng-Yan, Zhao Xin-Gang, Ding Qi-Chuan, Zhang Dao-Hui, Han Jian-Da. The method for gestures recognition based on Myo rotation shifts estimation and adaptive correction. Acta Automatica Sinica, 2020, 46(9): 1896?1907. doi: 10.16383/j.aas.c190028
                    • 表面肌電信號(Surface electromyography, sEMG)是由肌肉的運動單元動作電位(Motor unit action potential, MUAP)沿著肌纖維方向傳播, 在人體皮膚表面形成反映肌肉收縮狀態的疊加電信號[1-2]. 該信號載有豐富的肢體行為運動信息, 通過一系列解碼方法可獲取肢體運動意圖, 因此表面肌電信號廣泛應用于機器人交互中[3-5], 尤其是助力機器人、康復機器人與假肢系統等. 與傳統的程式控制機器人交互方式相比, 基于表面肌電信號的人機交互系統具有了主動感知人行為意圖的能力, 有利于實現復雜環境下人機共融, 并完成復雜任務.

                      目前部分商業假肢, 如英國Touch Bionics的iLimb肌電假肢, 利用表面肌電信號活躍閾值作為動作識別的重要依據, 但該方法僅適用于少量動作識別場合, 并且不具有良好的模型泛化能力. 而該領域的研究人員更為關注基于模式識別方法的動作識別研究[6]. 作為典型的有監督模式識別問題, 基于表面肌電信號的人體意圖感知與機器人交互一般包括兩個主要過程: 1)利用訓練樣本訓練動作識別模型, 2)利用已經訓練的識別模型進行在線的人體運動意圖識別, 并將識別結果作為機器人交互控制的期望輸入[1]. 其中第一個過程, 模型訓練包括數據預處理、特征提取、樣本降維和分類模型訓練等. 針對基于表面肌電的動作模式識別, 研究人員已經提出了多種先進的識別算法, 識別準確率也越來越高[7].

                      然而大部分的識別結果僅來自于實驗室理想環境, 在實際的人機交互過程中易受諸多因素約束, 造成非理想的識別結果. 一系列非理想情況, 如信號的時變性和外部新動作干擾[8], 用戶長時間佩戴引起的肌肉疲勞, 交互過程中的肢體姿態變化, 由電極多次粘貼時位置不同導致的模型通用性差, 以及個體性差異等, 嚴重限制了肌電信號在實際人機交互中的應用與推廣.

                      Tkach等展示了常規時域特征都會隨著電極位置發生變化, 并嚴重影響分類精度[9]; 針對電極偏移問題帶來的影響, Scheme 等提出了一種基于所有電極位置下的肌電識別模型訓練策略, 但是該方法在實際使用中工作量較大[10]; He等采用高密度表面肌電傳感器(陣列式, 8行×24列=192通道), 將其環繞在小臂一周, 量化了電極密度與電極偏移對手勢識別帶來的影響, 實驗表明: 垂直于肌纖維方向的位置偏移影響大于平行于肌纖維方向偏移[11]. 在實際基于表面肌電人機交互系統的推廣使用中, 尤其是肌電假肢系統, 往往由于前后兩次電極粘貼位置不同導致模型識別精度降低. 一方面, 很難要求用戶每次都精準且一致地配置電極位置; 另一方面, 每次重新粘貼電極后, 如果忽略前后兩次電極位置略有偏移的潛在關聯關系, 要求用戶重新開始完整訓練一個識別模型, 會大大增加用戶使用負擔. 有調研表明, 較高的使用負擔是造成用戶棄用肌電假肢的關鍵原因之一[12-13].

                      不同粘貼過程引起的電極偏移問題, 其本質就是電極與肌肉對應關系的變化. 因此一個重要的研究思路, 即, 在提取表面肌電信號特征時, 要能夠包含信號測量位置的空間信息或者提取與電極?肌肉對應關系無關的特征. 基于該思路, Stango等分析了表面肌電信號與電極數量、偏移量之間的空間相關性[14]. He等在評估了高密度電極偏移帶來影響的基礎上[11], 借鑒圖像領域中的紋理特征[15], 提出了一種改進灰度共生矩陣紋理特征(Improved gray-level co-occurrence matrix, iGLCM)的高密度表面肌電特征, 其具有空間位置無關的特點; 對比多種常用時域、頻域等特征, 該方法取得了較高的動作識別率[16-17]. 但該方法僅適用于高密度陣列式肌電信號傳感器, 與常用稀疏表面電極傳感器的兼容性需要進一步驗證[18].

                      而另外一個重要的研究思路是利用電極偏移前后表面肌電信號在特征空間中的差異性, 估計電極偏移量(如偏移距離或偏移角度), 并進一步設計合理的自適應校正方法. 本文基于該思路, 利用常用的稀疏表面肌電傳感器, 即Myo臂環[19]; 在肌電信號各通道時域特征構成的空間$S$內(理論上可采用任何常規、有效的特征提取方法), 針對電極偏移的本質問題, 提出了一種基于偏移角度估計與自適應校正的手勢識別方法, 旨在提高肌電交互系統的魯棒性與使用的便捷性.

                      結合小臂肌肉的分布特點, 本文利用這類環形表面肌電傳感器, 首先建立相對于環形傳感器靜止的極坐標系, 提出了極坐標系下的活躍極角(Activation polar angle, APA); 通過少量旋轉偏移后的肌電信號數據, 與初始或標準位置數據比較, 基于活躍極角可估計出環形傳感器的橫向旋轉偏移角度. 進而, 提出一種基于偏移角度的自適應校正方法, 完成偏移后的樣本空間到初始樣本空間的映射. 因此無需重新訓練模型, 僅利用初始的手勢識別模型, 取得了較高的動作識別正確率.

                      • 為了估計電極在多次粘貼位置之間的偏移量, 并進行自適應校正, 本文提出了模擬法與真實法兩種實驗范式, 合理地設計了一系列實驗內容. 本節主要介紹了相關實驗的表面肌電信號采集過程和特征提取等數據處理過程, 詳細闡述了兩種構造Myo環形電極橫向旋轉偏移干擾的實驗范式; 最后介紹了基于極坐標系的活躍極角估計方法和基于偏移角度的自適應校正方法.

                      • 共計12名身體健康的被試者(其中10名男性2名女性, 年齡25.44$ \pm $1.89歲, 體重63.38$ \pm $6.84 Kg, 身高170.11$ \pm $5.70 cm)參與了所有的實驗; 實驗采用Myo 臂環(加拿大Thalmic室驗室開發)作為表面肌電信號采集系統, 其信號采樣率為200 Hz, 經底層硬件降采樣處理后以50 Hz輸出. 該臂環由于具有較好的便攜性, 使用方便, 廣泛應用在諸多人機交互場合. 在本實驗中, 被試者首先按照如圖1的Myo 官方指導教程[20], 將Myo 固定在前臂松緊合適的位置處, 完成8種常見動作的數據采集. 在該過程中, 被試者按照電腦顯示特定順序的動作引導圖片完成手部動作(如圖2), 休息手勢作為其他7種動作的間隔過渡狀態; 動作狀態與休息狀態分別持續8 s和6 s, 完成一個周期, 約98 s ($ (8+6)\times $$ 7 = 98\; $s); 約1分鐘的休息后, 被試者再重復執行上述過程3 次, 最終完成被試者一次粘貼電極后的所有實驗. 該過程的數據集記$D_p^{\rm{subject}} = \{cycle_0,\, cycle_1,\,$$cycle_2,\, cycle_3\}$, 其中$ p\in \{0,\, 1,\, 2,\, \cdots ,\, 8\} $, 表示在肌纖維垂直方向上的9次不同偏移位置; $ subject\in $$ \{1,\, 2,\, 3,\, \cdots , , 12\} $ 表示12名參與實驗的被試者.

                        圖  1  根據官方指導說明, 將Myo臂環固定在小臂處; 初始位置: 帶有Logo指示燈的通道與中指對齊

                        Figure 1.  The Myo around the lower arm according to official guides. The position where the logo channel and the middle finger are on one line as the initial position

                        圖  2  實驗中8種常用手部動作: 休息、握拳、展掌、剪刀手、捏中指、捏食指、內翻、外翻

                        Figure 2.  Eight common gestures in the experiment: rest, grasp, open hand, peace sign, pinch thumb finger, pinch middle finger, carpal varus, carpal valgus

                      • 首先將每個8 s動作或6 s休息片段數據“掐頭去尾”, 各舍棄掉1 s的數據, 消除動作間的過渡狀態影響與受試者的動作反應時間干擾. 在本實驗中, 為突出本文所提在特征空間內的偏移估計與校正方法, 簡單起見, 僅使用了常用的時域特征平均絕對值(Mean absolute value, MAV)作為特征提取函數, 以此構造由各通道的MAV特征張成的特征空間. 設置時間窗(Window length, LW)為200 ms和增量窗(Incremental length, LI)為60 ms (對應$ LW = 10 $$ LI = 3 $, 見圖3). 因此, 原始8通道表面肌電信號數據, 經特征提取函數構成動作樣本矩陣, 每個樣本點為8 維($ 1\times 8 $).

                        圖  3  基于滑動窗的特征提取, 其中窗長為LW, 滑動為LI

                        Figure 3.  Feature extraction by a sliding window technique with incremental length (LI) and window length (LW)

                        $$ {f_{\rm{MAV}}}\left( x \right) = \frac{1}{{LW}}\sum\limits_{i = 1}^{LW} {\left| {{x_i}} \right|} $$ (1)
                      • 由于肌電傳感器電極位置在垂直于肌纖維方向上的偏移影響遠大于肌纖維平行方向的偏移影響[11], 因此本文在實驗中僅考慮在肌纖維垂直方向上的旋轉偏移影響.

                        為突出所提電極偏移估計與自適應校正方法的有效性, 如圖1, 實驗中首先標記Myo臂環Logo所在的通道指向手部中指方向作為初始位置, 在該初始位置基礎上提出了兩種“電極旋轉偏移”下表面肌電信號獲取的實驗范式: 模擬法和真實法.

                      • 模擬法, 在初始采集位置的數據基礎上, 如圖4所示, 為傳感器通道數據進行右循環平移1 列情況. 模擬實驗中模擬進行多次“電極旋轉偏移”實驗, 依次平移0~8列, 分別代表Myo 臂環相對于小臂肌肉逆時針旋轉$\tau\times 45^{\circ}$, 其中$\tau$$ 0,\,1,\,2,\,\cdots,\,8 $, $\tau$為0 或8時, 表示傳感器旋轉至初始測量位置. 利用這種通道循環平移的方法, 能夠模擬理想情況下, 環形電極恰好旋轉$ 45^{\circ} $ 情況. 此時由通道1 測量的肌肉位置, 恰好切換成由通道0檢測. 由下文的線性變換關系可知, 這種由通道循環移動產生的新數據, 可由原始數據經矩陣變換得到, 而其中的變換矩陣即為8維單位矩陣進行列循環右平移得到. 因此, 利用這種模擬的實驗范式, 能夠準確描述特殊偏移位置下, 電極偏移前后所采集數據的關聯性關系.

                        圖  4  電極循環單位為1時, 由模擬法實驗范式產生的電極偏移下表面肌電信號

                        Figure 4.  Electrode-shift sEMG by a simulation paradigm with a circulation step$\tau= 1 $

                      • 真實法, 在初始采集位置基礎上, 僅沿著垂直于肌纖維方向, 將Myo環形肌電傳感器旋轉任意角度, 重復前述動作引導過程, 采集真實電極偏移下的表面肌電信號. 在小臂一周$ [0^{\circ} , 360^{\circ}) $ 范圍內, 共依次任意旋轉多次, 獲取不同真實電極旋轉偏移程度下的肌電數據.

                      • 針對環形電極在多次實驗間旋轉位置不同導致的識別精度下降的問題, 如圖5, 首先展示了本文所提旋轉偏移估計與自適應校正方法的基本框架與思路, 并對比了傳統基于有監督學習的表面肌電手勢識別框架. 詳細說明與對比如下:

                        圖  5  基于極坐標系的電極偏移估計與自適應校正的表面肌電手勢識別方法與傳統識別框架的對比.

                        Figure 5.  The proposed electrode shifts estimation and adaptive correction method for sEMG-based gesture recognition and its traditional comparisons sEMG-based frameworks.

                        圖5路徑①, 作為典型的有監督學習模式識別思路, 將獲取到帶有標簽信息的樣本, 形成訓練樣本集與標簽集($X_L^{\rm{train}}$$y_L^{\rm{train}}$), 利用分類模型, 如本文采用支持向量機(Support vector machine, SVM), 完成分類模型的離線訓練, 進而在測試集或者在線樣本集上($X_L^{\rm{test}}$$y_L^{\rm{test}}$), 進行分類結果的預測.

                        一旦當被測試樣本集受到各類因素干擾時, 如本文所討論的電極旋轉偏移問題, 新樣本集$ X_N $ 與原始模型訓練樣本集$ X_L $$X_L^{\rm{train}}$的分布有較大差異, 此時仍然利用初始分類模型, 如圖5 路徑②, 得到分類結果$ \hat{y}_N $往往不理想, 造成分類精度較低.

                        在實際的肌電手勢識別系統中, 常采用如圖5路徑③, 要求使用者重新獲取有標簽的樣本集, 重新訓練一個分類模型. 這種方法雖然也能夠獲取較高的模型識別精度, 但是一方面要求使用者重復訓練獲取大量有標簽樣本集, 費時費力, 更難處理在線干擾情況; 另一方面, 也完全忽視了受干擾肌電信號與原始信號之間的潛在關聯關系.

                        圖5路徑④, 本文針對一類由電極旋轉偏移導致的新樣本$ X_N $$ X_L $分布不同的問題, 最終導致識別精度降低的問題, 利用兩者之間潛在的關聯關系($ T_{n\times n} $)進行電極偏移估計, 提出了一種電極偏移自適應校正方法. 該思路借鑒了遷移學習領域的基本思想: 通過算法來最大限度地利用源領域模型, 找到源領域與目標領域問題的相似性, 解決目標領域問題. 更重要的是, 相對于路徑③重新訓練模型的思路, 該思路具有一個突出的優勢: 重新訓練有監督的模型, 其分類能力或所能識別的類別數由訓練樣本集決定; 而通過本文所提出的路徑④, 可以通過不完整類別的少量樣本進行完整類別樣本自適應校正, 利用初始完整類別分類模型, 實現具有完整類別的分類能力. 在實際肌電交互系統使用中, 該方法將大大降低使用者使用負擔與學習成本.

                        因此, 根據圖5路徑④所提的基本框架, 為克服電極不同偏移程度下對肌電數據的干擾影響, 提高肌電識別系統的魯棒性, 本文采取兩個主要的步驟: 1) 估計電極旋轉偏移角度, 2) 建立基于偏移角度的自適應校正方法.

                      • 利用: 1) 小臂肌肉分布不均勻特點; 2) 不同動作由不同的小臂肌肉以不同的收縮強度完成; 3) 同一動作由幾乎相同的小臂肌肉以近似的收縮強度完成[21]; 4) 所使用的表面肌電傳感器為環形臂環, 建立相對于環形Myo臂環靜止的極坐標系, 本文提出了一種基于極坐標系的活躍極角估計方法, 由此計算相對于初始佩戴位置的電極旋轉偏移角度.

                        圖6(a) 展示了小臂的橫截面圖, 顯示了不同骨骼與主要肌肉, 包括尺側腕屈肌(1. FCU (Flexor carpi ulnaris))、指淺屈肌(2. FDS (Flexor digitorum sublimis))、掌長肌(3. PL (Palmaris longus))、橈側腕屈肌(4. FCR (Flexor carpi radialis))、肱橈肌(5. BR (Brachioradialis))、橈側伸腕長肌(6. ECRL (Extensor carpi radialis longus))、橈側伸腕短肌(7. ECRB (Extensor carpi radialis brevis))、旋前圓肌(8. PT (Pronator teres))、指伸肌(9. EDC (Extensor digitorum communis))、小指固有伸肌(10. EDQ (Extensor digiti quinti))、旋后肌(11. SUP (Supinator))、尺側腕伸肌(12. ECU (Extensor carpi ulnaris))、指深屈肌(13. FDP (Flexor digitorum profundus)). 其外周為佩戴的環形Myo 臂環. 以通道0 所在的方向為極坐標的$0^{\circ}$極軸參考方向, 通道$ 1,\,2,\,3,\,\cdots ,\, 7 $分別對應極坐標中的$ 45^{\circ} ,\, 90^{\circ} ,\, 135^{\circ} ,\, \cdots ,\, 315^{\circ} $ 極角方向, 因此建立了圖6(b) 所示的極坐標系, 以及與Myo臂環、小臂肌肉之間的描述關系.

                        圖  6  橫截面圖和散點圖(a) 截面視角, 包括Myo臂環和小臂各肌肉與骨骼的截面分布; (b) 散點圖: 不同通道上的樣本點繪制在不同極角的極軸上, 點劃線為所提出并定義的活躍極角

                        Figure 6.  The cross-section diagram and scatter diagram (a) the cross-section view of proposed polar coordinate with Myo armband and the lower arm's muscles and bones; (b) the scatter plot with every channel samples on different polar angle axis, and the proposed APA with dot-dash line

                        將8通道表面肌電信號的MAV特征值分別作為各個極角上的極徑. 如圖6(b) 所示, 為被試者在執行“捏食指”動作狀態下, 采集8 s過程中所有樣本點在極坐標下的分布. 該極坐標內散點圖的繪制可視化原理如下: 針對來自8 通道傳感器的任意樣本點$ x_i $,

                        $${x_i} = \left( {{p_{i,0}},{p_{i,1}},{p_{i,2}}, \cdots ,{p_{i,7}}} \right)$$ (2)

                        其中, $ p_{i,j} $表示來自第$ i $個樣本、通道$ j $ 的MAV特征值.

                        并將$ (p_{i,j}, j\times 45^{\circ}) $以極坐標點表示形式繪制在極坐標系內, 即通道0的特征值繪制在$ 0^{\circ} $ 極軸上, 通道1 繪制在$ 45^{\circ} $極軸上, 依次地, 通道7 繪制在$ 315^{\circ} $極軸上, 其中各特征值大小作為散點繪制的極徑. 最終形成如圖6(b) 的黑色散點聚集分布區域.

                        將極坐標內的點作為矢量進行矢量疊加. 為便于進行矢量疊加運算, 將極坐標系內的任意散點作為矢量, 由極坐標系到直角坐標系的映射關系, 在直角坐標系內, 可表示為${\overline {p}_{i, j}}$,

                        $$ {{\overline {p}_{i,j}}} = \left( {{p_{i,j}} \times \cos \left( {j \times 45^\circ } \right),{p_{i,j}} \times \sin \left( {j \times 45^\circ } \right)} \right)$$ (3)

                        并利用矢量疊加計算該動作下整體合成矢量, 本文將該矢量的極角定義為活躍極角$ \alpha $, 其計算原理如下所示:

                        $$\begin{array}{l} \vec p = \sum\limits_{i = 1}^m {\sum\limits_{j = 0}^7 {{{p_{i,j}}} } } = \; \left( {{p_x},{p_y}} \right) \end{array}$$ (4)

                        其中,

                        $${p_x} = \sum\limits_{i = 1}^m {\sum\limits_{j = 0}^7 {{p_{i,j}}} } \times \cos \left( {j \times 45^\circ } \right)$$ (5)
                        $${p_y} = \sum\limits_{i = 1}^m {\sum\limits_{j = 0}^7 {{p_{i,j}}} } \times \sin \left( {j \times 45^\circ } \right)$$ (6)
                        $$ \alpha = \arctan \left( {\frac{{{p_y}}}{{{p_x}}}} \right)\qquad\qquad\qquad$$ (7)

                        其中, $ m $表示某動作標簽引導下獲得的肌電特征樣本量.

                        無論是基于模擬法還是基于真實法的電極偏轉過程中, 令極坐標系的起始位置始終為通道0所在的方向. 因此, 當環形電極與肌肉之間發生相對偏移時, 由于同一個動作引起幾乎相同的肌肉收縮狀態, 對應于極坐標系內就會有不同分布, 即可重新計算電極偏移后對應的活躍極角. 不同位置活躍極角的偏差$ \Delta\alpha $, 在本文中, 用于估計環形電極相對于初始肌肉位置的偏移量.

                      • 為便于校正方法設計, 首先將肌電信號傳感器采集肌電信號的過程, 簡化成一個“多接收器?多信號源”的模型: 肌電信號傳感器作為接收器, 主要獲取臨近肌肉的疊加活躍電信號, 且貢獻程度與信號源的的距離負相關. 因此, 通過上一節原理可計算出在兩次佩戴前后的偏移量$ \Delta \alpha $, 假設所有通道相對于其對應的初始位置均偏轉了$ \Delta \alpha $ ($ \Delta \alpha \in [0^{\circ}, $$360^{\circ}))$, 如圖7 所示, 當$ \Delta \alpha \in [0^{\circ},\, 45^{\circ}) $時, 偏移后通道0主要來自于偏移前通道0和通道1, 依據“多接收器?多信號源”模型, 疊加信號由二者加權獲取, 且權重因子與距離兩者的偏角負相關. 因此當$ \Delta \alpha \in $$ [0^{\circ},\, 45^{\circ}) $可表示為

                        圖  7  偏移范圍$ \Delta \alpha $$ [{0^\circ}, {45^\circ }) $時, 所有通道電極相對于初始位置偏移情況

                        Figure 7.  Every electrode shifts $ \Delta \alpha $ in a counter-clockwise direction within the range of $ [{0^\circ}, {45^\circ }) $

                        $$\begin{split} {{\tilde p}_i} =& \left( {{{\tilde p}_{i,0}},{{\tilde p}_{i,1}}, \cdots ,{{\tilde p}_{i,7}}} \right)=\\ & \left( {1 - \frac{{\Delta \alpha }}{{45^\circ }}} \right)\left( {{p_{i,0}},{p_{i,1}}, \cdots ,{p_{i,7}}} \right)+\\ & \frac{{\Delta \alpha }}{{45^\circ }}\left( {{p_{i,1}}, \cdots ,{p_{i,7}},{p_{i,0}}} \right) \end{split}$$ (8)

                        $ \Delta \alpha $恰好為$j\times {45^\circ }$特殊偏移角度時, 其中$ j = 0,\, 1,\, 2,\, \cdots ,\, 7 $, 參考圖7, 偏移后的通道0電極恰好位于初始位置下通道$ j $所在的肌肉位置, 其他偏移后的通道測量位置則同理.

                        因此, 本文嘗試構建一個基本關系: 偏移后通道0的MAV特征值與偏移前通道0之間的關系, $ f(\Delta \alpha) $; 當為$j\times 45^{\circ}$特殊偏移角度時, 如圖8中點劃線的映射關系.

                        圖  8  各電極通道MAV特征值映射變換與偏移角度間關系

                        Figure 8.  The mapping relationship between original one-channel MAV and shifted MAV on the shift angle

                        對其各個特殊位置之間的映射關系分段線性化, 將$ \Delta \alpha $拓展到 $ [{0^\circ}, \, {360^\circ}) $內任意電極偏轉角度, 表示為

                        $$f(\Delta \alpha ) = \left\{ {\begin{aligned} &{1 - \frac{{\Delta \alpha }}{{45^\circ }}},\quad\quad{\Delta \alpha \in \left[ {0^\circ ,45^\circ } \right)}\\ &0,\quad\quad\quad\quad\quad{\Delta \alpha \in \left[ {45^\circ ,315^\circ } \right)}\\ &{\frac{{\Delta \alpha }}{{45^\circ }} - 7},\quad\quad{\Delta \alpha \in \left[ {315^\circ ,360^\circ } \right)} \end{aligned}} \right.$$ (9)

                        并由此拓展到初始8通道肌電MAV特征值與偏移后肌電MAV特征值之間的線性映射關系, 矩陣表達形式為

                        $$ \begin{split} &{T_{8 \times 8}}(\Delta \alpha ) = {\left( {{t_{i,j}}} \right)_{8 \times 8}}=\\ &\qquad\qquad{\left( {f\left( {\Delta \alpha - (i - j) \times 45^\circ } \right)} \right)_{8 \times 8}} \end{split}$$ (10)
                        $$\widetilde {{p_i}} = {p_i} \times {T_{8 \times 8}}(\Delta \alpha )\qquad\qquad\qquad\quad$$ (11)

                        其中, $ i $$ j $分別表示變換矩陣中行和列序號, $ t_{i,j} $表示該變換矩陣中的任意元素.

                        因此當電極位置發生橫向旋轉偏移時, 獲取當前電極位置下的干擾肌電數據, 經由式(7)估計與初始電極位置的偏差$ \Delta \alpha $, 并經由式(10)和式(11)將偏移干擾后的肌電特征映射到原始樣本空間內, 最后由初始手勢識別模型獲取手勢分類結果.

                      • 為驗證本文所提電極偏移估計與自適應校正方法, 本文僅使用支持向量機(SVM)作為手勢分類模型; 在訓練分類器模式時, 同一被試者初始位置下獲取數據集$D_{p = 0}^{\rm{subject}} = \{cycle_0\}$, 將其分為80%作為訓練集與20%作為測試集; 同時, 該被試者不同位置下獲取數據集$D_{p}^{\rm{subject}} = \{cycle_0,\, cycle_1,\, cycle_2,\, cycle_3\}\!\!$, 其中$ p \in \{1,\, 2,\, \cdots,\, 8\} $, 將初始位置下的模型應用于不同位置數據集, 即得到該位置下的分類識別精度.

                      • 由前述兩種實驗范式, 模擬法和真實法, 本節分別討論這兩種實驗范式下, 對比所提方法的識別精度與未處理下的電極偏移識別精度.

                      • 為了能夠初步檢驗所提電極旋轉偏移估計與自動校正方法的合理性, 驗證方法的可行性, 我們首先模擬電極偏移實驗: 由于Myo臂環為8 通道環形表面肌電傳感器, 并且每個通道僅提取了一個時域特征MAV, 即得到樣本矩陣$ X $

                        $$X = {\left( {{p_{i,0}},{p_{i,1}}, \cdots ,{p_{i,7}}} \right)_{m \times 8}}$$ (12)

                        其中, $ m $表示樣本量.

                        8通道環形傳感器可以將相鄰通道之間的偏差角度簡化為$ 45^{\circ} = 360^{\circ} / 8 $. 因此, 如果各列通道特征值進行右循環平移$ \tau $列($ \tau = 0,\, 1,\, 2,\, \cdots ,\, 8 $), 即對應模擬了實際Myo 臂環逆時針旋轉$\tau\times 45^{\circ}$, 或手臂相對于Myo 臂環順時針旋轉$\tau\times 45^{\circ}$. 如圖7所示, 偏移后的樣本矩陣可以表示為

                        $$\widetilde X\left( {\tau = 1} \right) = {\left( {{p_{i,7}},{p_{i,0}}, \cdots ,{p_{i,6}}} \right)_{m \times 8}}$$ (13)

                        圖9(a)~(i), 展示了被試者1在多次模擬電極偏轉實驗中的樣本分布情況. 在這一系列實驗中, 通過樣本矩陣各列循環平移模擬了電極偏移情況($ \tau = 0,\, 1,\, 2,\, \cdots ,\, 8 $), 由于所建立的極坐標系相對于Myo 各通道靜止, 樣本矩陣右循環平移, 等效于肌肉相對Myo臂環為逆時針變化. 因此在圖9所有極坐標內, 樣本點分布呈現順時針變化趨勢; 利用所提出基于極坐標系下矢量疊加的活躍極角計算方法, 計算出各個位置下“捏食指”動作的活躍極角(表1). 如圖9表1中能夠明顯表明活躍極角$ \alpha $隨著模擬電極偏移而變化, 與模擬電極偏移情況方向相同, 呈現順時針變化; 并且相鄰模擬偏移位置下活躍極角之間的偏差$ \Delta\alpha $始終為$ {45^\circ} $, 完全符合模擬法的設計原理. 因此, 通過一系列的模擬實驗, 驗證了基于極坐標系下電極偏移估計方法的合理性與可行性, 能夠準確地估計出電極偏移方向與角度.

                        圖  9  模擬電極偏移情況下, 極坐標內的肌電信號樣本點的散點圖與虛線所代表的活躍極角

                        Figure 9.  Scatter plots in the polar coordinate of sEMG samples from simulated electrode shifts and the proposed activation polar angle (APA) in dash line

                        表 1  基于通道循環平移下的模擬電極偏移實驗, 活躍極角估計, 與相對于初始位置旋轉角度估計(°)

                        Table 1.  The simulation experiments by circulations of each channel, the estimation of proposed activation polar angle – APA, and the estimation of shifts angle relative to the initial position (°)

                        偏轉實驗$\tau$ 活躍極角$\alpha$ 偏轉角度$\Delta\alpha$
                        0 –173.15
                        1 141.85 45
                        2 96.85 90
                        3 51.85 135
                        4 6.85 180
                        5 –38.15 225
                        6 –83.15 270
                        7 –128.15 315
                        8 –173.15 360

                        在偏移角度準確估計的基礎上, 利用所提的自校正算法(式(9)~(11)), 如圖10為被試者1 不同位置下的識別精度統計結果, 對比了自適應校正模型與未校正偏移干擾的手勢識別精度. 在利用各通道循環平移的一系列模擬電極偏移實驗中, 未經處理的識別精度結果顯示, 整體而言電極位置偏移極大地降低了手勢識別精度(31.40$ \pm $29.28%); 并且在電極偏移一周$ [0^{\circ},\, 360^{\circ}) $ 過程中, 識別精度呈現先下降后上升的趨勢, 當偏移角度為$ 180^{\circ} $附近時精度最低. 這是由于Myo臂環在旋轉過程中, 當偏移角度為$ 180^{\circ} $ 時, 各個電極此時所對應的肌肉位置與初始肌肉位置偏差最大、距離最遠, 數據分布與初始樣本分布差異最大.

                        圖  10  不同偏移程度下的手勢識別精度對比: 偏移估計與自適應校正的精度(實線)和未處理電極偏移干擾下的精度(虛線)

                        Figure 10.  Gestures recognition comparison with different shifts: proposed shifts estimation and adaptively corrected accuracies (solid line) v.s. un-corrected accuracies (dotted line)

                        圖10所示, 其中橫坐標為0°時對應了在沒有電極模擬偏移情況下的識別精度, 即99.90$ \pm $0.10%. 而經過本文所提方法的手勢識別精度達到99.90$ \pm $0.10 %, 所有模擬電極偏移的識別結果均接近100%, 明顯高于未經處理的分類精度($ p<0.001 $); 并且在偏移角度準確估計結果的基礎上, 所提出的自適應校正變換, 可適用于不同程度電極偏移情況, 量化了電極偏移引起的分布差異性, 并進行了映射校正, 得到了與初始位置完全一致的樣本集, 因此具有與初始分類模型訓練集幾乎一致的識別精度.

                      • 在前述“通道循環平移的模擬電極偏移實驗”基礎上, 更進一步, 在實際中進行了環形Myo臂環相對于小臂肌肉肌纖維垂直方向偏轉的數據采集與處理、偏移角度估計與自適應校正, 以及手勢識別精度的量化比較.

                        在初始位置的基礎上, 將環形Myo臂環沿著肌纖維垂直方向遞增地偏轉9次, 近似完成繞小臂一周的旋轉偏移. 電極處于任意位置上, 均按照規定實驗采集過程, 獲取不同動作下的肌電信號數據.

                        圖11表2所示, 在極坐標內展示了被試者1的9個電極偏移位置下, “捏食指”動作的樣本分布與活躍極角估計值.

                        表 2  基于電極旋轉的真實電極偏移實驗, 活躍極角估計, 與相對于初始位置旋轉角度估計(°)

                        Table 2.  The real experiments by electrode rotation, the estimation of proposed activation polar angle – APA, and the estimation of shifts angle relative to the initial position (°)

                        偏轉實驗$\tau$ 活躍極角$\alpha$ 偏轉角度$\Delta\alpha$
                        0 –169.58 –3.57
                        1 150.09 36.76
                        2 104.74 82.11
                        3 64.97 121.88
                        4 6.29 180.57
                        5 ?39.97 226.83
                        6 –83.01 269.87
                        7 –122.34 309.20
                        8 –175.31 2.17

                        圖  11  真實的電極?肌肉偏移情況下, 極坐標系內肌電信號樣本點的散點圖與虛線所代表的活躍極角

                        Figure 11.  Scatter plots in the polar coordinate of sEMG samples from real electrode shifts and the proposed activation polar angle (APA) in the dash line

                        圖11中各極坐標系內的肌電樣本點(黑色散點區域), 展示了順次偏移不同程度下的肌電信號分布情況. 整體來看, 呈現出順時針旋轉的趨勢; 結合表2, 所提偏移角度估計值, 量化了這種順時針偏轉程度, 估計了偏移下電極相對于初始位置的偏移角度. 除去順時針變化趨勢, 仔細對比不同偏移情況下肌電樣本分布, 仍存在著略微的差異性, 具體分析而言, 這種差異性源于同一個人在執行相同的手勢時, 仍然會有動作強度、肌肉發力方式的差異性. 但即使存在這些強度等差異性, 結合式(7), 所提出的活躍極角對其具有一定的魯棒性. 如圖12 所示, 展示了被試者1 在分別進行了9個電極偏移位置上偏移角度估計情況, 每個位置重復采集數據4次, 該曲線顯示在任意一個位置上的估角度估計方差均比較小($std_{\rm{max}} = 6.56^{\circ}$, $std_{\rm{min}} = 0.45^{\circ} \!$), 同樣表明了偏移角度估計方法的魯棒性與穩定性.

                        圖  12  在9次電極?肌肉偏移過程中, 對活躍極角的偏移角度估計

                        Figure 12.  The estimations of activation polar angle for nine shifts in $ [0^{\circ},\, 360^{\circ}) $

                        基于被試者1在9個電極偏移位置上分別重復4次的實驗數據, 如圖13, 其中橫坐標表示基于極坐標系的偏移角度估計均值, 縱坐標表示手勢識別精度, 分別展示了偏移數據與校正后數據的手勢識別精度隨著偏轉程度的變化趨勢. 與模擬電極偏移實驗效果基本一致: 在電極環繞小臂一周$ [0^{\circ},\, 360^{\circ}) $逐漸偏移過程中, 未進行任何校正處理的識別精度僅為38.21$ \pm $29.88%; 并呈現出先下降后上升的趨勢, 當偏移角度位于$ [120^{\circ},\, 180^{\circ}) $ 區間時, 識別精度達到最低(12.27$ \pm $9.47%). 這種變化趨勢比較符合偏移角度對識別精度帶來的預期影響, 即相對于初始位置偏差越大、距離越遠, 電極偏移對精度的惡化效果越嚴重. 結合圖6(a), 以通道1為例, 其采集到的肌電信號主要來自橈側伸腕短肌(7. ECRB); 當Myo 臂環發生一定偏移時(如在圖6(a)中逆時針旋轉$90^{\circ} )$, 則通道1主要受橈側腕屈肌(4. FCR)的影響, 原橈側伸腕短肌對該通道的貢獻變小; 而當逆時針旋轉$ 180^{\circ} $ 時, 原橈側伸腕短肌與通道1距離最遠, 貢獻程度最低; 進一步, 繼續旋轉外周Myo臂環, 則通道1 與原橈側伸腕短肌間距離由長變短, 貢獻程度逐漸增強.

                        圖  13  不同真實電極?肌肉偏移程度下的手勢識別精度對比: 偏移估計與自適應校正的精度(實線)和未處理電極偏移干擾下的精度(虛線)

                        Figure 13.  Gesture recognition accuracy comparison with different electrode-muscle shifts: proposed shifts estimation and adaptively corrected accuracies (solid line) v.s. un-corrected accuracies (dotted line)

                        圖13, 電極偏移干擾數據與校正后數據的所有動作手勢識別精度對比而言, 當電極發生不同程度偏移時, 本文所提出的偏移角度估計與自適應校正方法能夠極大地修正偏移數據、提高手勢識別精度; 實驗數據表明(表3), 12名被試者偏移數據的平均精度僅有28.26%, 而經過校正后的數據其平均識別精度達到78.37%, 顯著提高了基于肌電信號的手勢識別精度($p <$0.001), 有效提高了識別系統準確性與魯棒性.

                        表 3  每名實驗參與者在不同位置或不同重復次數下的交叉驗證平均識別結果($ \star $表示為女性受試者) (%)

                        Table 3.  Cross-validation based average accuracies for every subject in different shifted positions or repeated trials ($ \star $ indicates women subjects) (%)

                        被試者 校正前精度 校正后精度
                        1 38.21$\pm$29.88 86.56$\pm$12.04
                        2 29.98$\pm$25.65 74.16$\pm$26.81
                        3 24.54$\pm$28.48 90.06$\pm$8.16
                        4 30.11$\pm$26.59 87.27$\pm$9.51
                        5$\star$ 36.95$\pm$29.05 75.27$\pm$14.20
                        6 31.84$\pm$33.57 85.19$\pm$9.50
                        7 25.91$\pm$31.66 78.24$\pm$13.61
                        8 22.62$\pm$29.25 82.26$\pm$11.81
                        9 26.72$\pm$25.09 64.16$\pm$13.50
                        10 25.27$\pm$26.12 73.92$\pm$14.72
                        11 21.96$\pm$24.52 61.84$\pm$16.01
                        12$\star$ 25.00$\pm$28.86 81.53$\pm$13.72
                        均值 28.26 78.37 ($p<0.001$)

                        進一步, 為避免特殊位置或偶然動作重復帶來的干擾問題, 本文進行了交叉驗證. 分別在不同位置下、不同重復實驗數據集上, 訓練得到初始手勢識別模型, 在其他位置上或重復實驗數據集上進行測試驗證, 最終得到所有位置所有重復實驗上的平均識別精度, 如表3中校正前后精度所示. 由表3 可知, 由本文所提方法校正后的精度, 明顯高于未經任何處理、電極旋轉偏移的校正前識別精度.

                      • 本文針對多次佩戴Myo肌電臂環時, 由電極橫向位置旋轉偏移導致的識別精度降低問題, 提出了一種基于極坐標系的電極旋轉偏移估計與自適應校正的手勢識別方法. 利用環形傳感器與小臂肌肉分布的特點, 本文首先提出一種基于極坐標系下的活躍極角(Activation polar angle, APA); 當電極相對于初始肌肉位置發生橫向旋轉偏移時, 利用不同位置下活躍極角間的偏角, 建立由偏移數據到初始數據空間的自適應校正模型. 為驗證所提方法的有效性, 本文提出了兩種實驗范式: 基于通道循環平移模擬電極旋轉偏移實驗和基于通道旋轉的真實電極偏移實驗. 兩種實驗的手勢識別結果均表明: 電極位置偏移導致肌電手勢識別精度下降, 而本文所提方法能夠極大地改善精度降低問題. 因此, 本文所提出方法不僅提高了系統的魯棒性, 更有利于基于表面肌電信號的智能交互系統在實際應用中的推廣. 基于本文所提方法在實際應用中, 意味著, 當使用者再次佩戴Myo臂環后, 無需與初始佩戴位置完全精確一致; 在任意佩戴后, 僅僅模擬原始多類別動作之一(如本文實驗中的“捏食指”動作), 即能夠重復利用初始手勢識別模型, 大大地降低了使用者學習或再訓練的負擔與時間成本等. 這些優越的性能是傳統肌電識別思路或方法所不完全具備的.

                        但本文所提方法仍然存在一些局限性. 如在獲取動作執行期內的原始肌電信號時, “掐頭去尾”各1 s 的操作明顯是為了避免動作過渡狀態的干擾, 而過渡狀態與平穩動作狀態下的肌電信號有較大差異, 其識別依然是限制肌電識別系統推廣與應用的瓶頸之一. 文中一系列模擬與真實實驗中, 盡管針對偏移干擾肌電信號提出了自適應校正方法, 僅利用少量樣本數據極大地提高了識別精度, 從平均28.26%到78.37%, 但目前針對8種常用動作的分類問題上, 僅具有78.37% 的分類精度, 仍無法滿足實際肌電假肢等系統的需求, 存在一定的應用差距. 目前, 針對常見十種以下手部動作識別精度, 其基準線一般在90%以上, 因此本文方法仍然具有較大的提升空間. 并且, 所設計實驗是否仍受環形電極在小臂縱向方向的偏移干擾, 仍然需要進一步探討.

                        同時, 所提方法中僅采用了時域特征平均絕對值(MAV), 在頻域等更多特征方面的拓展, 以及小角度的偏移干擾問題仍是進一步深入研究的重點方向之一. 而且, 為克服環形電極橫向旋轉偏移帶來的干擾問題, 本文方法主要分為兩個步驟: 1)基于極坐標系的電極偏移角度估計; 2)基于線性映射的自適應校正方法. 從偏移角度到線性變換矩陣之間的假設或線性約束太強, 是否存在更優的或者一步到位(略去偏移角度估計環節)的線性或非線性映射關系, 仍有待進一步探索. 另外, 本文利用環形電極特點, 能否將本文方法推廣到一般多個離散電極的應用上, 仍然需要進一步研究與探索.

                    參考文獻 (21)

                    目錄

                      /

                      返回文章
                      返回