基于Kinect的增强现实上肢康复系统开题报告
2021-12-27 09:12
全文总字数：4964字
1. 研究目的与意义及国内外研究现状
| 上肢是人们在日常生活中使用最频繁的身体部位，上肢的运动功能障碍会严重影响人们的生活自理能力。我国每年新发脑卒中的病人超过200万，而在卒中的各种不同症候中，80%以上的患者会存在肢体运动功能障碍。对于脑卒中后偏瘫患者，其上下肢功能恢复的进程大多差异明显，下肢的粗大运动恢复较快，上肢以灵活协调和技能性运动为主，恢复相对缓慢，难度较大。故对上肢功能康复已成为现代康复医学和医疗工程的研究难度和热点。 随着运动康复理论的不断发展和完善，结合计算机视觉、传感器、人机交互等先进技术，国内的开发人员研究了不少智能机器人辅助患者进行康复训练，但由于康复机器人成本昂贵，过于笨重，并且大都只能在康复训练中起到辅助作用，从而导致运动康复进程缓慢，患者康复效果不尽理想。因此，改善国内的康复系统，提高患者康复效率已经成为医疗康复领域的研究重点。 研究表明，运动康复的进程是缓慢的，而在训练中肢体关节等很多细微的变化通过医师的肉眼无法准确观察出来，因此利用传感器实时获取患者的运动数据并进行分析处理成为现代康复医疗系统的一大趋势。微软公司最先推出的用于体感游戏的控制器Kinect，可以利用人体的手势、语音等与系统进行直接自然交互，能实时跟踪人体骨骼，从而将诊断和治疗进行有机结合，让治疗师和患者更好地评估动作的准确度和精确度，以进行更有效的分析和评价。 此外，近年来虚拟现实（VR，virtual reality）技术被广泛应用在医疗康复领域，在将VR与上肢康复结合的系统中，主要是在虚拟的康复环境中，患者根据屏幕提示做出相应的训练动作，通过摄像头进行动作的捕捉和采集从而与系统进行交互。但由于较长时间的沉浸训练会给患者造成晕眩的感觉，因此不少开发人员开始研究将增强现实（AR，augmented reality）技术应用到上肢的康复训练中。不同于VR要求用户完全沉浸在环境中，AR则是将计算机生成的信息叠加到真实场景中，在康复系统的设计中，可以利用AR技术生成上肢康复训练所需的装置，从而减少传统康复训练的成本，并且能够帮助患者居家康复。
|
国内外研究现状
近年来，国内外很多开发人员着重研究增强现实技术在上肢康复训练系统中的应用，这些应用逐渐受到患者的欢迎。
Jose等研制出RemoveEM系统，系统结合增强现实（AR）技术，设计了三个小游戏：碰球、拿球、踢球。实验组和对照组分别为6名患者，每名患者进行为期10小时阶段的训练（每周一次），利用Tinetti测试和10 MWT（10米步行测试）得出评分结果，并且提供实验者系统反馈问卷来了解患者在康复训练后的想法， 实验结果显示实验组较对照组的多发性硬化患者在经过训练后上肢平衡功能改善，脊椎重心增强，并且屏幕上的视觉和听觉提示以及游戏的设定简单易懂，交互良好。
新加坡国立大学的Zhang D.等研制了一个可以虚拟弹奏钢琴的增强现实系统，可用于训练手指的灵巧度。该系统的硬件包括一台电脑、一个网络摄像头、一个自制的无线数据手套。通过摄像头捕获真实世界的场景，手套上附着有标记。手套上的弯曲传感器能够检测手指弯曲的角度，通过蓝牙传递数据。虚拟钢琴通过标记叠加在真实的环境中，虚拟手覆盖在真实的手上可以与虚拟键盘交互。游戏开始时，用户先自行选择难度，再根据给出的提示去按相应的按键。最后根据选择的难度、演奏的准确度和反应时间去给出得分。系统给用户提供了视觉和听觉反馈。该系统的不足之处在于只能检测手指的弯曲度，但不能检测手指的侧向运动，另外也不能检测拇指的运动。
美国科罗拉多州立大学的Poore J等研制出一套用于神经疾病上肢运动障碍患者康复的增强现实游戏系统Follow the leader，帮助患者提高手眼协调的能力、运动范围和手部抓握力度。系统的硬件装置只需要一个日常使用的网络摄像头和一台笔记本电脑。系统主要利用的是GoblinXNA平台。该平台支持6个自由度的位置和方向追踪ALVAR。ALVAR是一个可以创建虚拟和增强现实应用的软件库。这个游戏的基本前提是玩家的标记必须在游戏区域的一个圆圈内，玩家玩的越快得分就越高。为增加游戏的难度，设置了可选择的关卡。游戏中的得分显示不仅可以及时反馈结果给用户，还允许医生通过分数的高低监测到患者的康复状态，进而帮助患者设置一个合理的目标。该游戏成本低廉，使用方便，但是摄像机的摆放位置会影响识别的精度进而延缓系统的交互，对用户训练的得分结果有一定的影响。
英国的Hondori HM等研制出一套增强现实交互训练系统，系统主要是通过投影的方式将虚拟纤细图样投影到桌面上，并且通过颜色识别的方式用摄像头捕捉手部和物体上的蓝色贴条和虚拟图像进行实时的交互，主要的交互方式有：拍打白纸上的音符图案发出声音、抓握和倾斜杯子将虚拟水倒入纸上、指向音符图案发出声音、通过两指捏的动作来改变圆形图大小。系统利用虚拟现实的方法用声音和视觉刺激的方式，增强患者训练的主动性和趣味性，同时提供了患者日常生活手部活动的模拟，这种模拟能够提供额外的积极心理提示。此外，该系统的优势还在于做到了便携式和低成本，提供了和治疗师远程协作的途径，让病人能够独立使用而不需要到医院和治疗师在场的情况下使用。
近几年，国内在将增强现实技术应用到上肢康复的研究仍占少数，与国外仍然有一定的差距，主要是虚拟现实的应用研究较为广泛。
上海大学的张姚等针对脑卒中患者的手功能康复研制了一种基于运动想象脑机接口的康复系统。系统主要包括3个子系统，离线训练子系统依次呈现黑屏、左/右手动作视频、左/右箭头，分别提示患者休息、准备并指导运动想象、进行运动想象任务，最终将采集的脑电信号（EEG）建立识别模型；在线更新训练系统任务依次呈现黑屏、箭头提示，依据建立的模型分析患者EEG信号，控制手部动作视频呈现，同时反馈给患者产生更易识别的,最终将集的脑电信号(EEG)建立识别模型;在线更新训练子系统依次呈现黑屏、箭头提示,依据建立的模型分析患者EEG信号,控制手部动生更易识别的EEG信号,建立更有效的识别模型;虚拟现实在线训练子系统在3Dmax中制作训练场景模型、3D人物模型及其手部动画,导入Unity3D中设计控制方式,患者通过手部运动想象,依据有效模型分析其EEG信号,实时控制3D人物手部运动。该系统具有多层次、沉浸感强等特点,为手功能康复提供新方法,同时为家庭化训练奠定基础。
浙江大学的傅思齐等提出了虚拟交互界面与物理有形交互界面结合的手部康复设备设计思路，物理训练设备作为物理交互界面，手机界面作为虚拟交互界面，物理交互界面作为训练计划的呈现界面与现实载体，通过形状的改变为患者提供不同的训练方式，同时在患者操作物理训练设备时输入数据，将其以数字化的形式记录并呈现在虚拟交互界面上，作为训练反馈。此外，系统的交互训练数据可以通过互联网上传至云端，治疗师可以在线查询患者的的康复训练数据，进而及时调整康复计划。
广东工业大学的吴齐云等研制了一套基于Kinect的上肢运动康复交互系统，系统主要包括康复病患、康复教练、主治医师是那种角色，包括移动端、PC端和服务器端，PC端连接Kinect硬件设备和Unity 3D捕获人体三维坐标数据，通过控制虚拟人物进行康复训练，在虚拟场景中重建病患动作，连接服务器进行人体动作识别和评估，移动端部分实现不同角色之间信息交流，连接服务器达到信息的闭环和多终端协作。系统具有良好的交互体验和新颖的设计，但是对遮挡的关节点跟踪和采集效果较差，导致识别精度影响系统进行。
2. 研究的基本内容
本课题研究的是基于Kinect的增强现实上肢康复系统，利用3Dmax制作游戏场景需要的模型，然后导入游戏引擎Unity3d中，设计两个游戏场景和康复动作训练。
3. 实施方案、进度安排及预期效果
初步方案拟定：
学习unity3d游戏引擎的蓝图编程，熟悉artoolkit；
学习3d max创建游戏场景模型；
4. 参考文献
[1] 李军强, 王娟, 赵海文等. 基于虚拟现实的外骨骼式远程康复系统[j]. 机械设计与研究, 2011, 27(4): 35-38.
[2] hondori hm, khademi m, dodakian l,cramer sc, lopes cv. a spatial augmented reality rehab system for post-stroke hand rehabilitation[j]. studies in health technology and informatics,2013,(2):279-285.
[3] 张丽,瓮长水.虚拟现实技术在老年康复医学中的应用研究进展[j].中国康复理论与实践,2012，18(1):44~46.
