高级检索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

面向整枝机控制的手势识别技术研究

胡昕卉 李文彬 阚江明

胡昕卉, 李文彬, 阚江明. 面向整枝机控制的手势识别技术研究[J]. 北京林业大学学报, 2017, 39(2): 117-124. doi: 10.13332/j.1000-1522.20160290
引用本文: 胡昕卉, 李文彬, 阚江明. 面向整枝机控制的手势识别技术研究[J]. 北京林业大学学报, 2017, 39(2): 117-124. doi: 10.13332/j.1000-1522.20160290
HU Xin-hui, LI Wen-bin, KAN Jiang-ming. Gesture control technology based on surface[J]. Journal of Beijing Forestry University, 2017, 39(2): 117-124. doi: 10.13332/j.1000-1522.20160290
Citation: HU Xin-hui, LI Wen-bin, KAN Jiang-ming. Gesture control technology based on surface[J]. Journal of Beijing Forestry University, 2017, 39(2): 117-124. doi: 10.13332/j.1000-1522.20160290

面向整枝机控制的手势识别技术研究

doi: 10.13332/j.1000-1522.20160290
基金项目: 

国家林业局林业技术推广项目 2016-29

详细信息
    作者简介:

    胡昕卉。主要研究方向:面向林业机械的手势识别技术。Email: huxinhui_17@126.com   地址:100083 北京市海淀区清华东路35号北京林业大学工学院

    通讯作者:

    李文彬,教授,博士生导师。主要研究方向:人机环境与安全。Email: leewb@bjfu.edu.cn  地址:同上

  • 中图分类号: S776.27

Gesture control technology based on surface

  • 摘要: 为了实现对自动立木整枝机的手势控制,需要完成手势识别和无线遥控两部分工作,因此开展了基于表面肌电信号的手势识别技术研究。首先根据整枝机6个工作状态的特点定义相对应的6个手势,即:握拳、上切、下切、外翻、内翻和展拳;然后对采集到的表面肌电信号进行预处理,包括消噪和活动段分割;再对表面肌电信号进行时域和时-频域分析,得到3类特征,即:平均绝对值、自回归参数模型系数和小波分解后的各子频段信号平均能量;最后,构建支持向量机分类器,通过V折交叉验证得到最佳参数,分别进行单用户和多用户的识别实验。手势识别实验结果表明:单用户识别的准确率最高达100.00%,平均准确率为98.07%,高于多用户识别(91.19%)。本研究为实现整枝机手势控制的后续工作奠定了基础,为推进林业机械的智能化与人机交互进程提供了一种有效的新思路。
  • 图  1  整枝机的手势控制过程框图

    Figure  1.  Process diagram of gesture control for pruning machine

    图  2  6类手势动作示意图

    Figure  2.  Schematic diagram of six gestures

    图  3  表面电极的贴片位置图

    Figure  3.  Correspondence between gestures and operation commands

    图  4  sEMG信号波形和活动段检测情况

    红色“×”表示动作的起始点,绿色“×”表示动作的结束点。

    Figure  4.  sEMG signal waveform and activity segment detection

    Red"×" indicates the motion's start point and green "×" indicates the motion's end point.

    图  5  用交叉验证确定某一个SVM分类器参数的结果

    Figure  5.  Result of determining a SVM classifier parameter by using CV

    表  1  手势动作与操作命令之间的对应关系

    Table  1.   Correspondence between gestures and operation commands

    手势动作名称
    Name of gesture
    操作命令名称
    Name of operation command
    握拳
    Fist
    中位(方向电动机)
    Middle position (direction motor)
    上切
    Palm lateral supination
    上升(方向电动机)
    Rise (direction motor)
    下切
    Palm lateral pronation
    下降(方向电动机)
    Descend (direction motor)
    外翻
    Palm supination
    怠速(油门电动机)
    Idle (throttle motor)
    内翻
    Palm pronation
    作业(油门电动机)
    Work (throttle motor)
    展拳
    Finger spread
    行走(油门电动机)
    Walk (throttle motor)
    下载: 导出CSV

    表  2  单用户和多用户的动作识别结果

    Table  2.   Result of single-user and multi-user action recognition

    %

    方案
    Plan
    用户1
    User 1
    用户2
    User 2
    用户3
    User 3
    用户4
    User 4
    用户5
    User 5
    用户6
    User 6
    用户7
    User 7
    用户8
    User 8
    用户9
    User 9
    用户10
    User 10
    用户11
    User 11
    用户12
    User 12
    用户13
    User13
    用户14
    User14
    用户15
    User 15
    平均识别率
    Average
    recognition
    rate
    单用户
    Single users
    98.33 96.67 97.22 100.00 96.11 98.33 99.44 97.22 98.89 97.78 100.00 98.33 99.44 97.22 96.11 98.07
    多用户
    Multi
    users
    88.33 84.44 90.56 95.56 87.22 91.67 91.67 88.89 97.78 91.67 89.44 96.67 92.78 89.44 91.67 91.19
    注:单用户方案中每个用户拥有各自的分类器,多用户方案中所有用户使用共同的分类器。Notes:Each user in the single-user experiment had their own classifier, and all users in the multi-user experiment used the common classifier.
    下载: 导出CSV

    表  3  6个手势的识别结果

    Table  3.   Recognition result of six gestures

    %
    方案
    Plan
    握拳
    Fist
    上切
    Palm lateral supination
    下切
    Palm lateral pronation
    外翻
    Palm supination
    内翻
    Palm pronation
    展拳
    Finger spread
    单用户Single users 99.33 96.67 96.67 98.89 99.11 97.78
    多用户Multi users 90.67 87.78 87.56 98.00 94.00 89.11
    下载: 导出CSV
  • [1] 王乃康, 茅也冰, 赵平.现代园林机械[M].北京:中国林业出版社, 2001:157-158.

    WANG N K, MAO Y B, ZHAO P. Modern garden machinery[M]. Beijing: China Forestry Publishing House, 2001: 157-158.
    [2] 方升佐, 徐锡增, 严相进, 等.修枝强度和季节对杨树人工林生长的影响[J].南京林业大学学报, 2000, 24(6):6-10. doi:  10.3969/j.issn.1000-2006.2000.06.002

    FANG S Z, XU X Z, YAN X J, et al. Effects of pruning intensities and pruning seasons on the growth dynamics of the poplar plantation[J]. Journal of Nanjing Forestry University, 2000, 24(6): 6-10. doi:  10.3969/j.issn.1000-2006.2000.06.002
    [3] 宋宝昌, 许忠海, 程力杰, 等.人工林修枝装置的研究[J].木材加工机械, 2003, 14(4):14-15. doi:  10.3969/j.issn.1001-036X.2003.04.004

    SONG B C, XU Z H, CHENG L J, et al. Study on the equipment of trimming branch of artificial forestry[J]. Wood Processing Machinery, 2003, 14(4): 14-15. doi:  10.3969/j.issn.1001-036X.2003.04.004
    [4] 国家林业局森林资源管理司.第七次全国森林资源清查及森林资源状况[J].林业资源管理, 2010(1):1-8. doi:  10.3969/j.issn.1002-6622.2010.01.001

    Department of Forest Resources Management, State Forestry Administration. The seventh national forest resources inventory and the status of forest resources[J]. Forest Resources Management, 2010(1): 1-8. doi:  10.3969/j.issn.1002-6622.2010.01.001
    [5] 白秀萍.日本林业机械化现状、趋势与目标[J].林业科技通讯, 1994(11):32-33. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=QK199400325738

    BAI X P.Present situation, trend and goals of forestry mechanization in Japan[J]. Forest Science and Technology, 1994(11): 32-33. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=QK199400325738
    [6] 李文彬, 霍光青, 冯敏, 等.立木整枝技术及设备研究[J].森林工程, 2009, 25(2):32-34. doi:  10.3969/j.issn.1001-005X.2009.02.008

    LI W B, HUO G Q, FENG M, et al. Study on technology and machine of standing tree pruning[J]. Forest Engineering, 2009, 25(2): 32-34. doi:  10.3969/j.issn.1001-005X.2009.02.008
    [7] 张俊梅, 李文彬, 撒潮, 等.基于EDA技术的自动立木整枝机无线遥控发射系统[J].林业机械与木工设备, 2006, 34(10):23-25. doi:  10.3969/j.issn.2095-2953.2006.10.008

    ZHANG J M, LI W B, SA C, et al. Wireless transmitter control system of automatic pruning machine based on EDA technology[J].Forestry Machinery & Wood Working Equipment, 2006, 34(10): 23-25. doi:  10.3969/j.issn.2095-2953.2006.10.008
    [8] MITRA S, ACHARYA T. Gesture recognition: a survey[J]. IEEE Transactions on Systems Man and Cybernetics Part C-Applications and Reviews, 2007, 37(3): 311-324. doi:  10.1109/TSMCC.2007.893280
    [9] 张旭.基于表面肌电信号的人体动作识别与交互[D].合肥: 中国科学技术大学, 2010. http://cdmd.cnki.com.cn/article/cdmd-10358-2010133447.htm

    ZHANG X. Body gesture recognition and interaction based on surface electromyogram[D]. Hefei: University of Science and Technology of China, 2010. http://cdmd.cnki.com.cn/article/cdmd-10358-2010133447.htm
    [10] NAM Y, KOO B, CICHOCKI A, et al. GKP, EOG, and EMG-based multimodal interface with application to humanoid robot control[J]. IEEE Transactions on Biomedical Engineering, 2014, 61(2): 453-462. doi:  10.1109/TBME.2013.2280900
    [11] 战丽, 朱晓亮, 马岩, 等.间伐伐区小型集材机的设计[J].林业工程学报, 2016, 1(3):97-102. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=lykjkf201603018

    ZHAN L, ZHU X L, MA Y, et al. The design of small skidder for intermediate cutting area[J]. Journal of Forestry Engineering, 2016, 1(3): 97-102. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=lykjkf201603018
    [12] WHEELER K R, JORGENSEN C C. Gestures as input: neuroelectric joysticks and keyboards[J]. IEEE Pervasive Computing, 2003, 2(2): 56-61. doi:  10.1109/MPRV.2003.1203754
    [13] 蔡军, 李玉兰.基于DBN的sEMG智能轮椅人机交互系统[J].华中科技大学学报, 2015, 43(增刊1):74-77. http://d.old.wanfangdata.com.cn/Periodical/hzlgdxxb2015z1018

    CAI J, LI Y L. Human-machine interaction system of sEMG based on DBN[J]. Journal of Huazhong University of Science and Technology, 2015, 43(Suppl. 1): 74-77. http://d.old.wanfangdata.com.cn/Periodical/hzlgdxxb2015z1018
    [14] 张俊梅.人工林无线电传输特性与立木整枝机控制系统研究[D].北京: 北京林业大学, 2005. http://cdmd.cnki.com.cn/Article/CDMD-10022-2006023107.htm

    ZHANG J M. Studies on radio wave propagation mechanisms through plantation forest and control system of pruning machine[D]. Beijing: Beijing Forestry University, 2005. http://cdmd.cnki.com.cn/Article/CDMD-10022-2006023107.htm
    [15] 霍光青, 王乃康, 李文彬.立木整枝机设计方法与主要参数的研究[J].北京林业大学学报, 2007, 29(4):27-32. doi:  10.3321/j.issn:1000-1522.2007.04.007

    HUO G Q, WANG N K, LI W B. Design method and main parameters of standing tree pruning robot[J]. Journal of Beijing Forestry University, 2007, 29(4): 27-32. doi:  10.3321/j.issn:1000-1522.2007.04.007
    [16] 时改杰.动作表面肌电信号的特征提取方法研究[D].上海: 上海交通大学, 2008. http://cdmd.cnki.com.cn/Article/CDMD-10248-2008052859.htm

    SHI G J. Research on feature extraction method for ASEMG[D]. Shanghai: Shanghai Jiao Tong University, 2008. http://cdmd.cnki.com.cn/Article/CDMD-10248-2008052859.htm
    [17] 邹晓阳.动作表面肌电信号的非线性特性研究[D].上海: 上海交通大学, 2012. http://cdmd.cnki.com.cn/Article/CDMD-10248-1012018033.htm

    ZOU X Y. Nonlinear characteristic research of action surface electromyography signal[D]. Shanghai: Shanghai Jiao Tong University, 2012. http://cdmd.cnki.com.cn/Article/CDMD-10248-1012018033.htm
    [18] 雷敏, 王志中.一种用于实时提取动作信号的新方法[J].中国医疗器械杂志, 2000, 24(4):200-202. doi:  10.3969/j.issn.1671-7104.2000.04.004

    LEI M, WANG Z Z. A method for real-time pickup action signal[J]. Chinese Journal of Medical Instrumentation, 2000, 24(4): 200-202. doi:  10.3969/j.issn.1671-7104.2000.04.004
    [19] 徐慧娟.自回归AR模型的整体最小二乘分析研究[D].上海: 华东理工大学, 2012. http://cdmd.cnki.com.cn/Article/CDMD-10405-1012030479.htm

    XU H J. The autoregressive model of total least square analysis[D]. Shanghai: East China University of Science and Technology, 2012. http://cdmd.cnki.com.cn/Article/CDMD-10405-1012030479.htm
    [20] 周宇峰, 程景全.小波变换及其应用[J].物理, 2008, 37(1):24-32. http://d.old.wanfangdata.com.cn/Periodical/wl200801004

    ZHOU Y F, CHENG J Q. Wavelet transformation and its applications[J]. Physics, 2008, 37(1):24-32. http://d.old.wanfangdata.com.cn/Periodical/wl200801004
    [21] VAPNIK V N.统计学习理论的本质[M].张学工, 译.北京: 清华大学出版社, 2000: 96-101.
    [22] VAPNIK V N. The nature of statistical learning theory[M]. ZHANG X G, Trans. Beijing: Tsinghua University Press, 2000: 96-101. doi:  10.1023-A-1009715923555/
    [23] BURGES C J C. A tutorial on support vector machines for pattern recognition[J]. Data Mining and Knowledge Discovery, 1998, 2(2): 121-167. doi:  10.1214/09-SS054
    [24] ARLOT S, CELISSE A. A survey of cross-validation procedures for model selection[J]. Statistics Surveys, 2010, 4: 40-79. https://academic.oup.com/icesjms
  • [1] 陈相武, 徐爱俊.  基于智能手机单目视觉的多株立木高度提取方法 . 北京林业大学学报, 2020, 42(8): 43-52. doi: 10.12171/j.1000-1522.20190345
    [2] 邓享, 阚江明, 李文彬.  背负式林果采摘机的人机工程学评价 . 北京林业大学学报, 2017, 39(6): 131-136. doi: 10.13332/j.1000-1522.20160329
    [3] 李博, 李树森, 李滨.  割灌机作业噪声及其对园林工人脑波的影响 . 北京林业大学学报, 2017, 39(4): 108-114. doi: 10.13332/j.1000-1522.20160377
    [4] 韩东涛, 刘晋浩.  基于工作小臂的履带式林木采育机越障能力分析与研究 . 北京林业大学学报, 2016, 38(7): 105-111. doi: 10.13332/j.1000-1522.20150367
    [5] 王潆旋, 姚立红, 阚江明.  伐根机车架把手的试验模态与有限元模态分析 . 北京林业大学学报, 2016, 38(2): 124-130. doi: 10.13332/j.1000-1522.20150225
    [6] 德雪红, 俞国胜, 陈忠加, 郭文斌.  柱塞式生物质环模成型机环模凹模磨损预测 . 北京林业大学学报, 2015, 37(6): 112-119. doi: 10.13332/j.1000-1522.20140410
    [7] 周琪涵, 李文彬, 王林杰, 陈净莲, 张嘉月.  便携式风力灭火机振动及其沿人体手臂传递特性研究 . 北京林业大学学报, 2015, 37(6): 120-125. doi: 10.13332/j.1000-1522.20140443
    [8] 陈立新, 姜一, 步凡, 段文标, 马海娟.  有机酸对温带典型森林土壤有机磷含量与矿化的影响 . 北京林业大学学报, 2014, 36(3): 75-82. doi: 10.13332/j.cnki.jbfu.2014.03.011
    [9] 李菁, 骆有庆, 石娟, 周娇, 王先礼, 马凌云, 陈超.  利用植物源引诱剂监测与控制舞毒蛾 . 北京林业大学学报, 2011, 33(4): 85-90.
    [10] 奚如春, 邓小梅, 马履一.  油松树体声发射信号特征研究 . 北京林业大学学报, 2011, 33(6): 151-156.
    [11] 张振涛, 董艳华, 张璧光, 顾炼百, 吕君, 杨鲁伟.  热泵除湿干燥机空气旁通模型的研究 . 北京林业大学学报, 2010, 32(6): 101-104.
    [12] 李文彬, 王扬, 陈净莲, 田勇臣, 高岩.  基于心率和喷水效率的森林灭火手泵性能评价 . 北京林业大学学报, 2009, 31(1): 134-138.
    [13] 王扬, 李文彬, 陈净莲, 田勇臣, 袁俊.  基于人机界面优化目的的森林灭火手泵操作力研究 . 北京林业大学学报, 2008, 30(6): 141-144.
    [14] 谭伟, 王开琳, 罗旭, 王志杰, .  手持GPS在不同林分下的定位精度研究 . 北京林业大学学报, 2008, 30(增刊1): 163-167.
    [15] 董金宝, 李文彬.  便携式割灌机U型手柄的人机工程学优化研究 . 北京林业大学学报, 2008, 30(3): 144-146.
    [16] 张俊梅, 李文彬, 撒潮, 王德明.  基于EDA技术的自动立木整枝机无线遥控接收系统 . 北京林业大学学报, 2007, 29(4): 19-21.
    [17] 张俊梅, 李文彬, 撒潮, 王德明.  遥控自动立木整枝机运动控制系统 . 北京林业大学学报, 2007, 29(4): 33-36.
    [18] 张俊梅, 李文彬, 撒潮, 王德明.  遥控自动立木整枝机电源控制系统 . 北京林业大学学报, 2007, 29(4): 22-26.
    [19] 霍光青, 王乃康, 李文彬.  立木整枝机设计方法与主要参数的研究 . 北京林业大学学报, 2007, 29(4): 27-32.
    [20] 孙仁山, 高莉萍, 周存宇, 程广有, 谢力生, 贺康宁, 吕建雄, 李红, 王继强, 赵东, 李利平, 包仁艳, 王跃思, 高峰, 包满珠, 周国逸, 李文彬, 向仕龙, 邢韶华, 高林, 姜春宁, 李世荣, 殷亚方, 孙扬, 李吉跃, 于志明, 赵有科, 郑彩霞, 葛春华, 田勇臣, 赵勃, 刘娟娟, 孙磊, 王迎红, 曹全军, 史常青, 孙艳玲, 周心澄, 华丽, 姜笑梅, 高亦珂, 张德强, 丁坤善, 唐晓杰, 王清春, 崔国发, 刘世忠, 张启翔, .  基于整枝抚育目的的立木枝干自动识别研究 . 北京林业大学学报, 2005, 27(4): 86-89.
  • 加载中
图(5) / 表 (3)
计量
  • 文章访问数:  490
  • HTML全文浏览量:  105
  • PDF下载量:  3
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-09-07
  • 修回日期:  2016-10-05
  • 刊出日期:  2017-02-01

面向整枝机控制的手势识别技术研究

doi: 10.13332/j.1000-1522.20160290
    基金项目:

    国家林业局林业技术推广项目 2016-29

    作者简介:

    胡昕卉。主要研究方向:面向林业机械的手势识别技术。Email: huxinhui_17@126.com   地址:100083 北京市海淀区清华东路35号北京林业大学工学院

    通讯作者: 李文彬,教授,博士生导师。主要研究方向:人机环境与安全。Email: leewb@bjfu.edu.cn  地址:同上
  • 中图分类号: S776.27

摘要: 为了实现对自动立木整枝机的手势控制,需要完成手势识别和无线遥控两部分工作,因此开展了基于表面肌电信号的手势识别技术研究。首先根据整枝机6个工作状态的特点定义相对应的6个手势,即:握拳、上切、下切、外翻、内翻和展拳;然后对采集到的表面肌电信号进行预处理,包括消噪和活动段分割;再对表面肌电信号进行时域和时-频域分析,得到3类特征,即:平均绝对值、自回归参数模型系数和小波分解后的各子频段信号平均能量;最后,构建支持向量机分类器,通过V折交叉验证得到最佳参数,分别进行单用户和多用户的识别实验。手势识别实验结果表明:单用户识别的准确率最高达100.00%,平均准确率为98.07%,高于多用户识别(91.19%)。本研究为实现整枝机手势控制的后续工作奠定了基础,为推进林业机械的智能化与人机交互进程提供了一种有效的新思路。

English Abstract

胡昕卉, 李文彬, 阚江明. 面向整枝机控制的手势识别技术研究[J]. 北京林业大学学报, 2017, 39(2): 117-124. doi: 10.13332/j.1000-1522.20160290
引用本文: 胡昕卉, 李文彬, 阚江明. 面向整枝机控制的手势识别技术研究[J]. 北京林业大学学报, 2017, 39(2): 117-124. doi: 10.13332/j.1000-1522.20160290
HU Xin-hui, LI Wen-bin, KAN Jiang-ming. Gesture control technology based on surface[J]. Journal of Beijing Forestry University, 2017, 39(2): 117-124. doi: 10.13332/j.1000-1522.20160290
Citation: HU Xin-hui, LI Wen-bin, KAN Jiang-ming. Gesture control technology based on surface[J]. Journal of Beijing Forestry University, 2017, 39(2): 117-124. doi: 10.13332/j.1000-1522.20160290
  • 立木整枝可以提高树木的生长率,促进树木的快速生长[1]。合理的整枝是促进林木有效生长的重要抚育作业,既可以提高木材的圆满度和通直度,又能减少或消除死节,增加活节[2-3]。国内种植了大量的人工林[4],整枝作业将会成为成林抚育的一项普遍措施。日本已开发并应用了无线遥控自动立木整枝机[5],北京林业大学工学院在引进技术的基础上,开发了BSR-Z23型无线电遥控自动立木整枝机,可以有效提高整枝效率及保障作业者的人身安全[6]

    目前,自动立木整枝机的控制方式是传统的按键式控制[7],即作业者通过按下手持式遥控器的按钮发出控制命令。与按键式控制相比,基于表面肌电(Surface Electromyography,sEMG)信号的手势控制方式,使人的意识与机械设备相统一,可以实现对机械的自然控制,操作简单直观,灵活性高。由于sEMG信号来自驱动关节运动的肌肉,只依赖手势完成操作控制,不依赖于手指按键操作,这一点对于在林区作业具有实际意义,并且易于开发便携式设备,为推进林业机械的智能化与人机交互进程提供新思路[8-11]

    基于sEMG信号的手势控制技术已成为当前控制领域的热点研究方向之一,很多研究机构和学者在腕关节、肘关节和手指伸屈有关的动作识别和控制方面展开了研究。美国军方NASA研究中心的Wheeler等[12]对前臂手势动作的sEMG信号进行了分类识别研究,并实现了基于肌电控制的虚拟飞机操作杆控制,以及包含有“0~9”10个数字和“确认”的虚拟键盘输入。蔡军等[13]设计了基于sEMG信号的智能轮椅人机交互系统应用于轮椅的运动控制,得到最高95.25%的识别率。前人的研究说明了将基于sEMG信号的手势控制方式应用至自动立木整枝机具有可行性。

    本研究首先定义了与整枝机6个工作状态相对应的手势动作,并在Matlab环境中对采集到的sEMG信号进行预处理,计算平均绝对值(mean absolute value,MAV)、自回归(Autoregressive,AR)参数模型系数和小波分解后的各子频段信号平均能量作为信号特征,然后构建支持向量机(support vector machine,SVM)分类器对特征数据中的训练数据进行预先学习,将对测试数据的识别率作为识别结果,分别进行单用户和多用户的识别实验,并对识别结果进行分析,提出后续研究方向。

    • BSR-Z23型无线电遥控自动立木整枝机在控制系统中的执行机构为两台电动机(方向电动机与油门电动机)。自动立木整枝机有6个工作状态,分别是中位、上升、下降、怠速、作业和行走。其中,中位、上升和下降对应方向电动机,对整枝机的行走方向进行控制;怠速、作业和行走对应油门电动机,对整枝机的功率进行控制[14-15]。因此,只要控制命令类别不少于6个,就可以满足对整枝机进行运动控制的要求。

      为了实现对自动立木整枝机的手势控制,需要完成两部分的工作(见图 1):第一部分工作是利用基于sEMG信号的手势识别技术,构建手势识别模型,识别手势动作;第二部分是将手势动作转化为控制命令,利用整枝机无线控制技术,达到控制整枝机运作的目的。基于sEMG信号的手势识别技术是实现手势控制的基础,也是本研究的重点。

      图  1  整枝机的手势控制过程框图

      Figure 1.  Process diagram of gesture control for pruning machine

    • 定义6类手势动作来直观表达整枝机的控制命令,分别为握拳、上切、下切、外翻、内翻和展拳。这6类手势动作如图 2所示,手势动作与整枝机操作命令之间的对应关系如表 1所示。

      图  2  6类手势动作示意图

      Figure 2.  Schematic diagram of six gestures

      表 1  手势动作与操作命令之间的对应关系

      Table 1.  Correspondence between gestures and operation commands

      手势动作名称
      Name of gesture
      操作命令名称
      Name of operation command
      握拳
      Fist
      中位(方向电动机)
      Middle position (direction motor)
      上切
      Palm lateral supination
      上升(方向电动机)
      Rise (direction motor)
      下切
      Palm lateral pronation
      下降(方向电动机)
      Descend (direction motor)
      外翻
      Palm supination
      怠速(油门电动机)
      Idle (throttle motor)
      内翻
      Palm pronation
      作业(油门电动机)
      Work (throttle motor)
      展拳
      Finger spread
      行走(油门电动机)
      Walk (throttle motor)
    • 在sEMG信号的采集实验中,使用的肌电采集仪器是成都仪器厂生产的RM6240B型多通道生理信号采集处理系统和上海钧康医用设备有限公司生产的带有导电凝胶的JK-1(A~H)型一次性银-氯化银贴片电极。在采集时,将表面电极贴于掌长肌、肱桡肌、指伸肌和尺侧腕伸肌4块目标肌肉的肌腹位置,表面电极的4处贴片位置如图 3所示。每一处肌腹位置上顺着肌肉纤维方向贴片的一对电极为差分电极,其中心点相距20 mm,另一个为参考电极。根据前人的研究[16-17],在采样频率设为1 000 Hz时,基于采集到的sEMG信号对手势进行分类可以达到理想的识别效果。

      图  3  表面电极的贴片位置图

      Figure 3.  Correspondence between gestures and operation commands

      本研究对15名受试者进行测试,他们的平均年龄为23岁(分布在20~27岁之间),无运动神经类或肌肉疾病;在最近的6个月里,前臂没有出现扭伤、断裂等影响运动功能的伤病。受试者在实验人员的指导下,理解实验过程,自愿参加采集实验。

      在测试前,每名受试者需接受5 min的训练,训练内容包括受试者的坐姿,如何执行标准化动作以及做完动作后如何放松肌肉等。每名受试者完成握拳、上切、下切、外翻、内翻和展拳这6个动作各10次,每个动作大约持续2 s,放松5 s后再做下一个动作;每完成一组动作,受试者有2 min的放松时间,防止肌肉疲劳。实验中共采集了900个4路动作信号。

    • 信号的预处理包括两部分的工作,即消噪和活动段分割。在消噪部分,我们利用50 Hz陷波器和带通滤波器(10~450 Hz)消除50 Hz工频干扰和其他环境噪声。

      由于仪器采集到的是连续的sEMG信号,包含动作信号段和无动作信号段,我们需要对肌电信号进行活动段检测和分割。活动段检测的实质是判断有效动作的起始点和结束点。本研究采用移动平均法[18]进行活动段检测,主要过程如下。

      1) 计算sEMG信号的每个窗口的能量值Qm,如公式(1)所示:

      $$ {{Q}_{m}}=\int _{_{{{t}_{m}}}}^{^{{{t}_{m}}+\Delta t}}x{{\left( t \right)}^{2}}\text{d}t $$ (1)

      式中:m是窗口序号,tm是第m个窗口的起始时间;Δt是窗口的长度;x表示随时间变化的肌电信号,x(t)是这段信号在t时刻的数值。tm+1tm是移动步长,本研究中取窗口长度为64个采样点,移动步长为32个采样点。

      2) 将窗口能量值与设定的阈值作比较,若某点之后连续有5个窗口能量值大于阈值时,认为该点是动作的起始点。

      3) 得到一个动作的起始点之后,若某点之后连续有5个窗口的能量值小于阈值时,认为该点是动作的结束点。

      在成功分割出动作信号段之后,在每段信号中均取1 024个采样点用于计算特征。

    • 特征计算的基本任务是对肌电信号进行一系列运算来表征原始信号,为手势识别做好准备。表面肌电信号特征由MAV、AR参数模型系数和小波分解后的各子频段信号平均能量组成。

      计算MAV时,先将信号分成若干段子信号,按照公式(2)计算出每一段的MAV再取均值。

      $$ \text{MAV}=\frac{1}{\text{ }N}\sum\limits_{k=1}^{N}{|{{x}_{k}}|}~\text{ } $$ (2)

      式中:N是子信号的采样点数;k是采样点序号,k=1, 2, …, Nxk是采样点k对应的信号数值。

      AR参数模型是分析sEMG信号的重要方法。根据AR模型[19],采样点k对应的信号值xk为:

      $$ {{x}_{k}}=~\sum\limits_{i=1}^{p}{\phi {_{i}}{{x}_{k-i}}+{{e}_{k}}}\text{ }~ $$ (3)

      式中:p是模型的阶数;i表示阶次,i = 1, 2, …, p; φi是在i阶次时的模型参数;ek是白噪声,服从均值为0、方差为σe2的独立正态分布,即ek~NID(0, σe2)。为了得到φ1, φ2, …, φp, σe2p+1个参数,首先利用最小二乘法估计出φi,然后根据公式(4)求得σe2。本研究中取p=4。

      $$ \sigma _{_{e}}^{^{2}}=\frac{1}{N-p}\text{ }~\sum\limits_{k=p+1}^{N}{{{\left( {{x}_{k}}-\sum\limits_{i=1}^{p}{{{\phi }_{i}}{{x}_{k-i}}} \right)}^{2}}}\text{ }~ $$ (4)

      小波变换(Wavelet Transform,WT)是傅里叶变换的新发展[20],它的时、频定位特征使其可以实现信号的时变谱分析,能够提供信号局部性的丰富信息,本文选取子频段信号平均能量作为信号特征。小波变换的表达式如下:

      $$ \text{W}{{\text{T}}_{s}}\left( a,\tau \right)=\frac{1}{\sqrt{a}}~{{\int }_{\text{R}}}s\left( t \right)\overline{\psi \left( \frac{t-\tau }{a} \right)\text{d}t}~ $$ (5)

      式中:s(t)是待分析信号;ψ(t)是基本小波函数,具有尺度a(a>0)、平移τ两个参数;小波变换是一种积分变换,WTs(a, τ)表示函数s(t)的小波变换系数。

      小波变换的过程是先将基本小波函数ψ(t)进行平移,再进行尺度伸缩,在不同尺度a下与待分析信号s(t)进行内积处理。通过对肌电信号进行l层的分解,可以得到l+1个信号子频段,则子频段信号的平均能量E为:

      $$ E=\frac{1}{N}~\sum\limits_{k=1}^{N}{|{{S}_{k}}{{|}^{2}}} $$ (6)

      式中:S表示信号子频段。本研究使用sym3小波对肌电信号作l=3层小波分解。

      考虑到受试者之间存在较大的个体差异,并且在做不同的手势动作时,每块肌肉的收缩程度也不同,因此在计算得到sEMG信号特征后需要进行归一化处理。

    • 采用SVM分类器对sEMG信号特征样本进行分类。SVM是Vapnik[21]提出的一种解决函数逼近问题的机器学习算法,它会将样本空间映射到一个高维特征空间,找到类别之间的最优超平面,从而将非线性分类问题转换为线性分类问题[22]。用于训练SVM分类器的数据可定义为:

      $$ \mathit{\boldsymbol{P}} = \left\{ {\left( {\mathit{\boldsymbol{x}}{_i},{y_i}} \right)|{\rm{ }}\mathit{\boldsymbol{x}}{_i} \in {{\bf{R}}^k},{y_i} \in \left\{ { - 1,1} \right\}} \right\}_{i = 1}^n{\rm{ }} $$ (7)

      式中:Rk表示k维实数集;xi是特征向量;yi是期望输出;n是特征向量的总数;i是特征向量序号,i=1, 2, …, n

      φ(x)表示将原特征空间(k维)转换到高维特征空间(m维)的非线性变换:

      $$ \phi \left( \mathit{\boldsymbol{x}} \right):\mathit{\boldsymbol{x}} \subset {{\bf{R}}^k} \to {{\bf{R}}^m},k \ll m $$ (8)

      m维空间中线性判别函数f(x)的一般形式如公式(9)所示,从一系列具有通用逼近形式的函数中选择线性可分的超平面方程即为f(x)=0。

      $$ f\left( \text{ }\boldsymbol{x} \right)=\sum\limits_{i=1}^{n}{{{w}_{i}}\boldsymbol{x}{_{i}}+b~} $$ (9)

      式中:w =(w1, w2, …, wn)是超平面的法向量,决定了超平面的方向;b是位移项。

      为了实现超平面将所有样本正确分类,要满足:

      $$ f\left( \text{ }\boldsymbol{x}\text{ } \right)=\sum\limits_{i=1}^{n}{{{w}_{i}}}\phi (\text{ }\boldsymbol{x}{_{i}})+b\ge 1\text{ }\forall i:{{y}_{i}}=+1 $$ (10)
      $$ f\left( \text{ }\boldsymbol{x}\text{ } \right)=\sum\limits_{i=1}^{n}{{{w}_{i}}}~\phi (\text{ }\boldsymbol{x}{_{i}})+b\le -1\text{ }\forall i:{{y}_{i}}=-1 $$ (11)

      SVM分类器的目标是训练集中的所有向量都能够被某一超平面正确划分,并且距离最近的异类向量之间的距离最大,即达到边缘最大化。将判别函数归一化,使得离超平面最近的样本的|f(x)|=1,可得到类别边缘之间的距离,即分类间隔为$\frac{2}{\parallel \boldsymbol{w}\parallel }$,因此边缘最大化的要求等价于使‖ w ‖最小。

      满足上述条件且使‖ w ‖最小的超平面就是最优超平面,使得等号成立的样本称作支持向量,那么求最优超平面就成为在条件(10)和(11)的约束下,求函数φ(w)的最小值。

      $$ \varphi \left( \text{ }\boldsymbol{w}\text{ } \right)=\frac{1}{2}\|\text{ }\boldsymbol{w}\text{ }{{\|}^{2}} $$ (12)

      在此引入Lagrange函数,结合公式(9),即可得到关于wb的函数。分别对wb求偏微分,令它们等于0,并根据Kuhn-Tucker条件,求解后得到最优超平面函数:

      $$ f\left( \text{ }\boldsymbol{x}\text{ } \right)=\text{sign}~\left( \sum\limits_{i=1}^{n}{{{\alpha }_{i}}{{y}_{i}}K(\text{ }\boldsymbol{x}\text{ },\text{ }\boldsymbol{x}{_{i}})+b} \right) $$ (13)

      式中:αi是Lagrange系数,0≤αiCC是SVM分类器的误差惩罚因子;为避开直接计算高维特征空间中的内积,利用核函数K(x, xi)=φ(x)φ(xi),实现将原特征空间转换到另一特征空间。

      目前最常用的核函数是线性核函数(linear kernel)、多项式核函数(polynomial kernel)和径向基函数(radial basis function,RBF),本研究选择的是RBF,如公式(14)所示:

      $$ K(\text{ }\boldsymbol{x}{_{i}},\text{ }\boldsymbol{x}{_{j}})=exp(-\gamma \|\text{ }\boldsymbol{x}{_{i}}\text{- }\boldsymbol{x}{_{j}}{{\|}^{2}})\text{ } $$ (14)

      式中:γ是核函数参数,γ=$\frac{1}{2{{\sigma }^{2}}} $,σ是RBF核的带宽,特征向量xixj在特征空间的内积等于它们在原始特征空间中通过核函数K(xi, xj)计算的结果。

      由公式(13)和(14)可以看出,SVM分类器的参数有两个,Cγ。核函数参数γ主要影响SVM在高维特征空间中对于样本数据的分布情况,而误差惩罚因子C则主要影响既定的特征空间中的置信范围和经验风险。

      将动作信号特征数据的70%作为训练数据,即分类器的预先学习数据,其他30%作为测试数据。对于每名受试者的特征数据,随机得到10组训练、测试数据,故最终的识别率为10次测试结果的平均值。

      为了探索基于sEMG信号的手势识别模型的鲁棒性,识别实验按照以下两种方案进行。1)单用户方案:每名受试者拥有各自的分类器,分类器的训练数据和测试数据均来自同一名受试者;2)多用户方案:所有受试者使用共同的动作分类器,分类器的训练数据和测试数据包括所有受试者的特征数据。

      为了确定SVM的参数值,采用V折交叉验证(V-fold cross validation,VFCV)[23]。交叉验证本质上是尝试两个参数的各种组合,然后把具有最高交叉验证精度的参数作为最终参数。VFCV的具体做法是将训练数据随机平均分成V个子集,将V-1个子集作为训练集,其余的一个子集作为测试集,这样对于每组(Cγ),训练数据中的每个子集都被预测过一次。对于单用户方案和多用户方案,除了训练数据不同以外,它们的交叉验证过程是相同的,对于每组训练、测试数据,得到不同的最佳参数组合。

    • 在Matlab环境中输入带有多个动作信号段和无动作信号段的连续表面肌电信号,先利用陷波器(50 Hz)和带通滤波器(10~450Hz),再根据移动平均法对动作信号段进行检测。活动段检测结果如图 4所示。

      图  4  sEMG信号波形和活动段检测情况

      Figure 4.  sEMG signal waveform and activity segment detection

      活动段分割完成之后,计算每段动作信号段的MAV、AR参数模型系数和小波分解后的各子频段信号平均能量,其中,AR参数模型的阶数设置为4,小波变换的小波基为sym3小波,层数为3层。

      在构建SVM分类器时,利用>VFCV方法确定分类器的参数大小,在这里选用10折交叉验证。在单用户方案中,训练数据来自单个受试者;在多用户方案中,训练数据来自全部受试者。图 5给出了用交叉验证法确定某一个SVM分类器参数Cγ的结果。从图 5可以看出参数的选择对分类器识别的准确率有很大的影响。

      图  5  用交叉验证确定某一个SVM分类器参数的结果

      Figure 5.  Result of determining a SVM classifier parameter by using CV

      对每组训练数据进行交叉验证后会得到对应分类器的最佳参数,然后构建相对应的SVM分类器,其核函数选择RBF,对训练数据进行预先学习,再对测试数据进行分类识别。单用户和多用户两种方案的手势识别结果如表 2所示,表中给出了15位受试者的动作识别率。从表 2可知,单用户方案的平均识别率为98.07%,用户4和用户11的识别率甚至达到了100.00%,说明单用户方案的识别结果非常优异。

      表 2  单用户和多用户的动作识别结果

      Table 2.  Result of single-user and multi-user action recognition

      %

      方案
      Plan
      用户1
      User 1
      用户2
      User 2
      用户3
      User 3
      用户4
      User 4
      用户5
      User 5
      用户6
      User 6
      用户7
      User 7
      用户8
      User 8
      用户9
      User 9
      用户10
      User 10
      用户11
      User 11
      用户12
      User 12
      用户13
      User13
      用户14
      User14
      用户15
      User 15
      平均识别率
      Average
      recognition
      rate
      单用户
      Single users
      98.33 96.67 97.22 100.00 96.11 98.33 99.44 97.22 98.89 97.78 100.00 98.33 99.44 97.22 96.11 98.07
      多用户
      Multi
      users
      88.33 84.44 90.56 95.56 87.22 91.67 91.67 88.89 97.78 91.67 89.44 96.67 92.78 89.44 91.67 91.19
      注:单用户方案中每个用户拥有各自的分类器,多用户方案中所有用户使用共同的分类器。Notes:Each user in the single-user experiment had their own classifier, and all users in the multi-user experiment used the common classifier.

      多用户方案的识别结果明显不如单用户方案,其平均识别率为91.19%,每名受试者的识别率均有下降,下降的幅度分布在1.11%~12.23%。对于此结果,其主要原因有以下几点:1)受试者的个体差异较大,归一化处理不能将个体差异完全消除;2)SVM的参数原因,单用户方案中的受试者拥有各自的分类器,故SVM的参数选择更适合对应的用户;3)受试者的电极绑定位置会出现少许差异,采集到的sEMG信号也会出现差别。

      表 3中6个手势各自的识别率可以看出,这6个手势的识别率均在87.56%以上。在单用户方案中,握拳和内翻这两个手势的识别效果较好,它们的识别率高于99.11%;在多用户方案中,外翻这个手势的识别效果最好,其识别率为98.00%;在两种方案中,上切和下切这两个手势的识别率均较低,尤其是在多用户方案中。以上结果说明我们需要挖掘更能突出各动作互异性的特征,并设计出识别效果更理想的分类器,以减小多用户与单用户识别的差距。

      表 3  6个手势的识别结果

      Table 3.  Recognition result of six gestures

      %
      方案
      Plan
      握拳
      Fist
      上切
      Palm lateral supination
      下切
      Palm lateral pronation
      外翻
      Palm supination
      内翻
      Palm pronation
      展拳
      Finger spread
      单用户Single users 99.33 96.67 96.67 98.89 99.11 97.78
      多用户Multi users 90.67 87.78 87.56 98.00 94.00 89.11
    • 本研究根据整枝机的工作状态特点定义了相对应的手势;基于不同手势产生的sEMG信号,通过对信号的时域和时-频域分析,得到表征不同手势的3类特征,再构建SVM分类器对手势进行分类识别。对15名受试者分别进行了实验验证,单用户识别实验中得到了平均值为98.07%的识别率,最高的识别率可达100.00%,高于多用户识别率(平均值为91.19%)。本研究基本完成了整枝机手势控制的前一部分工作。

      基于sEMG信号的自动立木整枝机手势控制技术为实现整枝机的无线遥控部分打下基础,为面向整枝机的新型控制方式提供了平台和拓展。面向整枝机的手势识别技术不仅可以应用在整枝机的控制方式上,还适用于6个控制命令以下的林业机械设备,展示出基于sEMG信号的手势识别技术在林业机械的智能化和人机交互领域的应用前景。

      下一步研究工作将集中于以下几点:1)进一步研究sEMG信号的特征和分类算法,探索高识别准确率、高识别效率和强鲁棒性的手势识别模型;2)研究整枝机手势控制的后续工作,即整枝机无线遥控技术,搭建自动立木整枝机手势遥控系统;3)开发穿戴在手臂上的便携式手势遥控器。

参考文献 (24)

目录

    /

    返回文章
    返回