尚福华 宋欣雨 解红涛
摘 要：由于传统的仿真培训中只能通过鼠标的点击与键盘进行交互，存在着现场感缺乏以及用户体验不足等缺点，针对油田射孔岗位仿真培训中的交互问题，提出了应用情境学习理论结合体感交互技术的仿真培训系统。通过将Unity与体感交互技术结合，学习者可以运用手势与姿势来实现与仿真培训系统的交互操作。结合应用这一技术可以使得学习者能够在更逼真的虚拟学习环境中尽情的体会和学习，满足学习者的体验和参与需求，可以有效促进学习者从具体的感知经验上升到抽象的知识概念，为教学培训的顺利开展创设有利的条件。
关键词：体感交互;仿真培训系统;油田射孔;Kinect;运动捕捉
中图分类号：TP311 文献标识码：A
Application Study of Perforation Simulation Training
System Based on Context Learning
SHANG Fu-hua， SONG Xin-yu， XIE Hong-tao
（School of Computer and Information Technology， Northeast Petroleum University， Daqing， Heilongjiang 163318，China）
Abstract：Because traditional simulation training can only interact with the keyboard through mouse clicks， there are shortcomings such as lack of sense of presence and inadequate user experience. Aiming at the interaction problems in the simulation training of oilfield perforating positions， an application context learning theory combined with somatosensory interaction Technical simulation training system. By combining Unity with somatosensory interaction technology， learners can use gestures and gestures to achieve interactive operations with the simulation training system. Combined with the application of this technology， learners can experience and learn in a more realistic virtual learning environment， meet the needs of learners" experience and participation， and effectively promote learners to rise from specific perceptual experiences to abstract knowledge concepts. Create favorable conditions for the smooth development of teaching and training.
Key words：somatosensory interaction; simulation training system; oilfield perforation; Kinect;motion capture
油田射孔工序作为石油工序中最为关键的工序之一，对于职工的培训非常重要，因此油田也开发出了一些用于岗前培训的仿真系统，例如油田钻井作业培训系统[1]。传统的仿真培訓方式一般是只能通过鼠标的点击进行交互，但随着时代与科技的发展，传统的仿真培训方式也暴露出了一些不足之处：一是交互方式单调，传统的仿真培训只能通过鼠标点击进行交互，长时间学习无法达到好的学习效果，不利于学习者的学习积极性[2]。二是培训缺失问题，企业中存在着许多的未经过系统化培训的软件操作人员，由于对系统及操作不规范既延误了工作，又带来了大量的维护工作，给建设单位带来了额外的经济负担[3]。三是受教育者都是成人，成人在学习过程中就存在着学习积极性低下，水平层次不齐，没有明确学习目标等诸多问题[4]。另外，传统的培训中又存在着现场感缺乏以及用户体验不足等缺点，无法充分的激发学习者的学习兴趣，并且对于一些学习基础较弱的群体可能达不到预计的学习效果，因此也需要一些新的方法来使其达到更好的学习效果[5]。
体感技术作为近些年新兴的技术在很多领域中都已经有所应用，比如在移动机器人[6]中以及医学智能诊断[7]中都取得一定的研究成果，但是在针对油田的仿真培训中，还没有被应用。结合体感技术后的仿真培训可以对油田射孔仿真培训中的交互操作演示的更为精确，比如在吊卡的下放过程中，传统的仿真培训只能做到通过鼠标点击看到吊卡向下移动，如果对于理解不当的工人非常容易在工作中伤人。结合了体感技术的仿真培训，工人可以通过自己的姿势来控制吊卡的下放，并且在操作不当的时候提示警告，但为了达到更好的培训效果，在引入体感交互技术的基础上还需要应用教学理论对培训系统进行设计。
在虚拟仿真系统中融入严肃游戏的思想是提高培训效果的一种常用方式，在油田钻井培训领域已经得到了应用[8]。基于严肃游戏的思想，在仿真培训系统的设计过程中引入了情境学习理论。情境学习是指在所要学习的知识或技能的应用情境中进行学习的方式[9]。杜威倡导“做中学”，“教育即生活”的教学思想明确了情境在学习过程中的重要性[10]。麦克莱伦的情境学习理论认为不能脱离具体的情境而单独地去看待学习 [11]。情境学习理论认为知识必须在一个真实的环境中学习如何使用，概念的理解需要持续不断地建构，同时个体间的交流往往会产生知识[12]。也表明将技术融合于教学在真实情境中学习是提升学习者信息化教学能力的有效手段[13]。
因此，在油田射孔仿真培训设计中融入情境学习理论，并通过体感交互技术实现该仿真培训系统。体感交互式仿真培训系统与传统的仿真系统相比具有更高度的沉浸感和实时性，同时在系统的交互上具有更多样性等优点。用户可以在模拟真实场景的学习环境中体会到高度的沉浸感，而且还可以与虚拟场景通过肢体动作直接进行交互，实现充分的学习体验。改变了学习者仅仅作为单纯的被动接受者，可有效实现更好的培训质量，提高培训效率，节约培训成本。
1 基于情境学习的射孔仿真培训系统设计
在情境学习理论中提出的学习情境应该具备以下特征：提供的学习情境以及发生的学习活动需具备真实性原则，在学习过程中还要给学习者布置相应的学习任务。还可以提供学习者与专家交流学习的机会，学习者可以通过仔细观察并学习模仿专家的行为来习得新知识。传授者在教学的关键时刻为学生提供引导，并总结课堂内容，促进学生反思。
根据情境学习理论的特征总结出以下三条特点[14]：
（1）学习者观察专家的动作，并模仿专家的动作来得到经验;
（2）在真实的学习情境中进行真实的学习活动;
（3）总结教学内容，促进学生反思
结合体感交互技术的情境式射孔仿真培训系统是可以更好地满足学习者的学习体验需求，其设计的理论指导思想是融入情境学习理论的特征，并结合油田射孔仿真培训系统的特点提出符合的设计模式：指导观察、情境实践、情境考核以及反思功能的设计开发模式（如图1）。在学习内容的安排上也遵循着情境学习理论的学习动机、学习本质、学习内容、学习过程以及学习评价的培训模式。遵循着学习内容从学习者的视觉接受到反馈反思的规律来设计安排培训内容以及开发培训系统。
1.1 指导观察
根据指导观察思想在情境式射孔仿真培训系统中设计了文字指导模块以及视频演示模块。通过对于学习者知识学习的层层递进原则进行分析，先通过文字指导模块以及视频演示模块两个功能来对学习者进行最初始的知识建构，让学习者对于学习内容先有一定程度的理解，在通过后面的实践模块来进行验证，达到强化学习的目的。
1）文字指导模块：通文字指导模块，先让学习者对于油田射孔学习建立最初级的知识，对于油田射孔的背景以及操作过程中的注意事项先建立一定的理解，再通过后面的视频演示模块来直观的学习油田射孔工序的操作。
2）视频演示模块：通过对油田射孔工人在真实操作过程中的调研、录像以及拍照，制作出视频演示模块，对于学习者在文字指导模块中学习到的内容，可以更直观的感受，并且对于在文字中无法体会理解的操作，也可以直观的看到，在文字形成的知识和记忆之上再度强化对于知识的理解。
1.2 情境实践
根据情境实践思想在情境式射孔仿真培训系统中设计了交互演练模块。通过模拟真实的应用场景，使学习者产生沉浸感，从而激发学习兴趣，提高学习效率。交互演练模块：作为体感式射孔仿真培训系统的核心环节，也是学习者学习和强化的重要环节。如果只是在文字指导模块和视频演示模块进行学习，学习者的学习内容得不到验证。通过在体感式的交互中，对于学习者在文字学习和视频学习中无法体会到的操作动作得到理解，学习者通过自己的姿势以及手势来完成学习内容，真实的还原了射孔工序中的真实操作，这样的学习效果是传统的仿真培训所达不到的。
1.3 情境考核
根据情境考核思想在情境式射孔仿真培训系统中设计了三维考核模块。结合了情境思想的射孔仿真培训系统的考核功能也可以通过体感交互技术来进行学习验证，学习者的参与度高，对学习内容验证充分。三维考核模块：通过对交互演练的修改，去除了交互演练过程中的提示性和指导性的环节，改为了对学习者每一个交互过程的考评及打分的机制，当学习者本步操作正确会提示学习者操作正确，反之会提示操作错误，当考试結束后会提示学习者考试结束，并公布考试成绩以及在哪一步中进行了错误的操作，以便于学习者发现自身错误问题。
1.4 反思功能
根据反思功能思想在情境式射孔仿真培训系统中设计了学习反思模块。根据情境考核结果，系统反馈给学习者存在的问题，让学习者对薄弱知识点进行反思。学习反思模块：针对于学习者在三维考核模块中错误问题的记录，将学习者在学习过程中存在的薄弱知识点反馈给学习者，并且在下次学习中通过反复的练习来强化学习者的记忆，来达到学习效果。
2 体感交互式射孔仿真培训系统实现
设计开发的体感交互式射孔仿真培训系统，将手势以及姿势捕捉功能融入到射孔仿真培训系统中，通过用手势和姿势来替代鼠标与键盘，达到用手势与姿势实现与射孔仿真培训系统的交互功能。
2.1 Unity与体感交互技术结合
Unity作为虚拟现实系统开发的一种重要工具，能够开发出交互性较强的软件系统，因此本系统采用Unity作为软件开发工具。但是单一使用Unity开发工具实现的交互只能通过鼠标键盘来实现，无法达到体感交互的良好用户体验。为了给学习者带来更好的学习体验，实现良好的培训效果，依据情境学习与情境创设原则理论，采用Unity和体感设备结合开发本系统，通过手势交互、姿势交互等体感交互技术，实现系统的体感交互功能，从而加强学习者的现场感与学习参与。
在系统开发中，使用应用最广泛的Kinect摄像机作为体感交互设备。在Unity中先开发完成仿真培训系统并留出Kinect交互设计部分的接口，再将Kinect官方针对于Unity结合开发的SDK包导入到Unity项目中。先由Unity从驱动中获取并调用Kinect数据连接层的编写过程，然后通过对ColorImageStream，DepthImageStream和SkeletonStream三种码流进行获取，最后将其传输给Unity平台的接口并进行调用，达到手势交互和姿势交互等操作的功能。
2.2 手势交互技术
以仿真培训系统中的起TCP管柱工序为例，在工序的实际操作中需要用到移动工具，拿取工具以及旋转工具等功能，而在仿真培训系统中的控制我们又需要用到镜头移动，镜头的拉近和拉远等功能。根据以上情况，再结合实际工序中的动作标准，设计了一系列的特征动作与手势指令相匹配，当执行了标准的特征动作时，就会触发手势指令与场景进行交互。控制手势动作如表1所示。
以起TCP管柱中的拿取手势指令为例，手势识别的具体方法为：先检查人物是否检测到，利用public Vector3 GetJointPosition（Int64 userId，int joint）。如果检测到了人物，再运用if（manager.IsUser Detected（）），之后获取用户ID时利用 long userId= manager.GetPrimaryUserID（）;再检查要跟踪的关节点是否已经被kinect识别，利用if （manager.Is JointTracked（userId，iJointIndex）），如果识别了再获取信息，利用Vector3 posJoint=manager.GetJointKinect Position（userId，iJointIndex）;最后识别到底是什么手势，以握拳手势为例，利用if（leftHandState ==KinectInterop.HandState.Closed）识别为左手握拳。手势交互效果如图2所示。
2.3 姿势交互技术
虚拟人物的场景漫游由于受到Kinect的捕捉识别范围的限制并不能靠真实的人物动作来做到同步驱动。因此，本系统采用了基于 Kinect 体态姿势识别的场景漫游技术，实时追踪学员的体态动作，与场景中的虚拟人物进行反馈，从而完成虚拟人物的前后行走，左右转向等功能，充分地实现了虚拟人物的场景漫游与方向控制。
场景漫游技术首先获取使用者的人体骨骼数据，生成骨骼数据帧，再对使用者的体态姿势进行分析识别后，最后转换成控制虚拟人物的指令。以虚拟人物的行走动作为例，首先是获取使用者的骨骼数据，再生成骨骼数据帧，分析特征动作，最后转换成虚拟人的姿势指令;最后是控制虚拟人物做出相应的动作。完整控制动作如表2所示。
通过分析Kinect传感器获取的现场数据深度的方法来实现实时捕捉识别，根据骨骼跟踪技术[15]处理现场数据深度，完成对人体骨骼节点的跟踪，实现对虚拟人物相应的骨骼节点的实时控制。骨骼数据来自于Kinect SDK开发包的Skeleton Stream流，所生成的每帧数据都是骨骼对象的集合。而每个骨骼对象又有描述骨骼位置及关节的数据，每个关节又有一个标示符，可获取当前骨骼节点追踪的状态信息，使人物模型的行动轨迹与使用者所给出的姿势指令所一致。场景漫游效果如图3所示。
3 系统实施效果反馈
为了检验培训系统的学习体验和效果，让工人来应用体感交互式仿真培训系统，调查工人使用后的学习效果。
通过发放50份问卷来对使用完体感交互式射孔仿真培训系统的学习效果进行调查。如表3所示，78%的工人认为情境体验良好，74%的工人认为交互方式真实，84%的工人认为能够有效的调动学习积极性，70%的工人认为可以提高自己的学习效果，76%的工人认为符合自己的学习方式。
结果证明该培训系统可以有效的提高学习者的学习体验和效果。从实施效果看，研究的基于情境学习的体感交互式射孔仿真培训系统有助于学习者学习体验的提高，调动了学习者的学习兴趣，带给学习者更好的沉浸感学习体验，因此，我们认为基于情境的体感交互射孔仿真培训系统可以促进知识的记忆和保留。同时，虚拟情境的學习环境可以让学习者反复的学习与检验，有利于技能学习效果的提高，同时大大的节省实验成本。
4 结 论
基于情境学习的体感交互式射孔仿真培训系统是一种新型的学习培训工具，在职业技能培训，实验教学，探究学习等方面具有重要的应用价值。使用者可以通过手势或姿势等方式来实现与仿真培训系统的交互，有效的增强了学习者的现场感、学习参与感以及学习体验。经过现场工人的使用证明，该系统对于学习者学习效果的提升有很大的帮助。体感交互技术在教育中的应用还处于发展阶段，如何有效地将其融入教育还需要进一步的探索。因此，提出的思路也可以对体感交互技术在仿真培训系统的融入提供一些借鉴。
参考文献
[1] 尚福华，张丽娜，解红涛.基于香农-施拉姆模式的油田钻井作业培训系统设计 [J].长江大学学报（自然科学版）理工卷，2010，7（03）：555-558.
[2] 李蔚清，吴慧中，林昌年.变电站仿真培训系统虚拟环境的研究与实现 [J].系统仿真学报，2006，18（S1）：123-126.
[3] 冯亚丽，孙龙安，伊三泉，等. 关于油田钻井公司信息化培训中现代远程教育模式的探索与实践 [J].成人教育， 2015，（2）：65-68.
[4] 黄炎. 非正式学习与培训空间的重构 [J].成人教育， 2019，（8）：74-78.
[5] 梁刚. 石油生产企业培训模式的创新与实践[J] .中国成人教育， 2016，（19） ：
148-151.
[6] 高日，张雷，郭亮.基于Kinect的机器人交互系统设计与研究[J].现代电子技术，2019，42（6）：175-178.
[7] 徐琳，宋国明.基于最优交换协议的医疗Kinect点云数据远程传输系统 [J].现代电子技术， 2019 ， 42 （14） ：
100-103.
[8] 解红涛.基于Web的虚拟现实技术在油田井下及钻井培训中的应用研究 [D].大庆：大庆石油学院，2010.
[9] 张振新，吴庆麟.情境学习理论研究综述 [J].心理科学， 2005，（1）：125-127.
[10]张占龙，罗辞勇，何为虚拟现实技术概述 [J].计算机仿真，2005，（3）：2-3.
[11]MCLELLAN H .Situated learning：
multiple perspectives [M]. New Jersey：
Educational Technology Publications，1996，（6）：5-17.
[12]GEORGE M ， MARYKAY O .Theoretical frameworks for research in chemistry/science education [M].Upper Saddle River：
Prentice Hall，2007，（3）：187-203.
[13]LARA K S ， RANDY L .Computer simulations to support science instruction and learning：A critical review of the literature[J]. International Journal of Science Education，2011， （34）：1337-1370.
[14]王文静.基于情境认知与学习的教学模式研究 [D].上海：华东师范大学，2002.
[15]李杰.体感交互游戏中的人体骨骼跟踪技术研究 [J].现代计算机（专业版），2014，29（6）：11-12
