飞机虚拟维修三维人体建模技术综述

A Survey of Human Model Reconstruction Technology for Aircraft Virtual Maintenance

作者: 秦洪亮中航飞机研发中心，陕西西安 710089通讯作者. Tel.: 029-86832812 E-mail: qinhl060343@qq.com秦洪亮（1987- ）男，助理工程师。主要研究方向：飞机维修性设计研究工作。Tel：029-86832812 E-mail：qinhl060343@qq.com 王金利中航飞机研发中心，陕西西安 710089王金利（1978- ）男，工程师。主要研究方向：飞机维修性设计研究工作。韩斌中航飞机研发中心，陕西西安 710089韩斌（1978- ）男，硕士，高级工程师。主要研究方向：飞机测试性设计研究工作。AVIC Aircraft CO., LTD. R&D Center, Xi’an 710089, ChinaCorresponding author. Tel. : 029-86832812 E-mail: qinhl060343@qq.comAVIC Aircraft CO., LTD. R&D Center, Xi’an 710089, ChinaAVIC Aircraft CO., LTD. R&D Center, Xi’an 710089, China

Author: QIN Hongliang WANG Jinli HAN Bin

关键词：虚拟维修；人体建模；维修性设计

Keywords：virtual maintenance;virtual human model;maintenance design

摘要：虚拟维修技术是飞机数字样机设计过程中验证飞机维修性的重要技术手段，人体建模技术则是虚拟维修的关键技术。针对虚拟维修技术中的较为关键的人体建模技术进行了阐述，分析了其常用的几种不同建模方式及其优缺点，并对虚拟人体建模技术的发展进行了展望，为将来虚拟维修中的虚拟人体建模提供参考。

Abstract：Human model reconstruction technology is a vital technology of virtual maintenance which is an important way to verify the aircraft’s maintainability during the process of digital aircraft prototype design. In this paper, the human model reconstruction technology in virtual maintenance was illustrated. Different kinds of human model reconstruction technology and their advantage and disadvantage were analyzed. The trend of the human model reconstruction technology was also given to provide reference for future virtual human model reconstruction research in virtual maintenance.

中图分类号：V241.07 文献标识码：A 文章编号：1007-5453（2015）12-0001-05

收稿日期： 2015-07-13；退修日期：2015-08-22；录用日期：2015-10-20

引用格式：QIN Hongliang, WANG Jinli, HAN Bin. A survey of human model reconstruction technology for aircraft virtual maintenance [J]. Aeronautical Science & Technology, 2015, 26(12): 01-05. 秦洪亮，王金利，韩斌. 飞机虚拟维修三维人体建模技术综述[J]. 航空科学技术，2015，26(12)：01-05.

维修性是产品，尤其是高技术武器装备产品的一项重要特性。装备的维修性好坏直接决定了装备的经济性好坏和使用率的高低[1]。良好维修性，是保持、恢复乃至提高军队战斗力的重要因素。传统的基于专家知识、相似装备的维修经验等依托实物样机的维修性分析，由于周期长、滞后性大、研制费用高等问题，已经不能够很好地适应越来越复杂的装备维修性分析。

近年来，随着数字样机和虚拟现实技术的发展，基于虚拟现实的维修性分析技术得到了广泛的应用。虚拟维修技术是通过在计算机3D虚拟环境中建立维修环境和分析工具，对设计出的数字样机进行维修过程规划、维修过程分析等，形成维修性分析报告，及时发现产品设计过程中的缺陷与错误，从而改进产品设计。

虚拟维修的实现需要对产品、拆卸过程、维修人员、交互方式、评价方式等诸多过程进行建模，最大特点在于对人在维修过程中与产品、环境、甚至环境的交互作用的真实描述。因此，作为维修活动的主体，虚拟维修人员的建模是虚拟维修仿真的一个重要组成部分，其内容不仅包括形态方面的建模，同时也包括符合人体动力学和生物力学的人体运动与动作的建模，甚至可以包括人体的情感建模。

在飞机设计过程中，虚拟人体建模技术主要解决传统方法中维修性设计需要在真实物理样机之后才能验证，需要花费巨额资金的问题，将维修性设计提前到电子样机的设计阶段，从而节省研制经费，缩短研制周期。其具体作用主要体现在2个方面：对飞机的维修可视性、可达性及需求操作空间进行仿真，确定飞机系统部件的尺寸，改进飞机的布局；对飞机的维修过程中的维修安全性及维修的难易程度进行仿真，实现对设计飞机的维修方面人机工效分析，改善飞机的维修性。

1 虚拟人体建模方法

虚拟人体模型有很多种，如物理模型、线框模型、实体模型等，虚拟建模技术也有很多，但按照其建模所使用的工具来说，大致可以分为3种类型：软件建模、硬件建模、软硬件结合人体建模，如图1所示。

1.1 软件建模

图1 虚拟人体建模方式分类 Fig.1 Classification of human model reconstruction

最早的虚拟人体模型采用的方式即为软件建模。1967年，波音公司将自己设计的“第二号人”线架式人体模型应用于驾驶舱设计分析，取得了良好的效果。其后，软件人体建模技术取得了较大的发展，各种用于人体建模技术的软件也相继产生，目前具有代表性的有endorphin、Poser、Delmia以及Jack。

endorphin是由英国Natural Motion公司研发的一套自动化的3D人体动态生成软件，主要用来模拟人体的各种动作序列的生成。endorphin软件在人体动作建模时充分考虑了人体生物动力学和人工智能等方面的因素。endorphin软件中虚拟人体动作是通过融合人工智能、生物动力学等算法计算生成的。通过建立具有真实物理属性和生物特性的角色，并赋予其一套仿真的神经网络系统，用户设定希望得到的目标行为后，神经网络系统通过模拟自然界生物优胜劣汰的进化过程，采用遗传算法，通过选择、交叉、变异等方法不断优化，得到用户设定的目标行为[2]。

通过endorphin软件生产的人体动作逼真，灵活，且能模拟人体在不同重力情况和受到撞击情况下较为真实的行为动作，尤其适合对人有危险性的一些行为活动的仿真。因此，在核工业及影视特技制作方面取得了较为广泛的应用，但由于endorphin软件的人体模型基本不具有外貌和尺寸特征，且与飞机设计常用的Catia软件的兼容性较差，因而在飞机的维修性分析人体建模方面尚未得到有效的应用。

Poser软件是Metacreations公司推出的一种三维人体造型和三维动画制作的软件，Poser软件提供了不同性别、不同年龄的人体模型，用户还可以根据自己喜好为人体模型定制不同的外貌特征，如头发和眼睛颜色等。Poser的人体建模过程分为选择模型、确定模型姿态、设计模型体态3个步骤。Poser的人体模型为表面模型，其模型及构成模型的不同组成部分都能够通过软件中的参数盘进行调节，因而Poser在人体模型的姿态调整上具有较好的特性：一方面他可以通过软件自带的参数编辑器对虚拟的3D人体进行动作姿态的编辑，另一方面也可以将现有姿态模型赋予建立的人体模型，然后进行姿态微调。最新的Poser软件已经能够支持重力仿真及动作捕捉设备的导入，在虚拟人的行为仿真方面有了很大的进步。Poser软件在动画、医学及运动损伤教学等方面取得了较为广泛的应用，但由于Poser与目前飞机设计的使用的Catia软件兼容性存在一定问题，因此限制了其在飞机虚拟维修仿真方面的应用。

目前在产品生命周期管理（PLM，Product Lifecycle Management）分析中广泛使用的西门子公司的Jack软件和达索公司的Delmia软件，均提供了虚拟人体的建模功能[3]，并通过骨架参数对所建立的三维虚拟人体进行驱动，使其完成规定的动作序列。Jack软件最初由宾夕法尼亚大学开发，后来软件被西门子公司收购，Jack的基本功能包括了构建虚拟仿真环境、虚拟人体、虚拟环境中3D物体和虚拟人体的定位以及对仿真任务的评价。Delmia是法国达索公司推出的用于虚拟仿真的软件，其最大特点是可以与现在飞机设计的主要软件Catia完全兼容。

下面以Delmia软件为例，说明软件建模在虚拟维修中的应用。Delmia的虚拟人体建模是通过其“Human Builder”模块实现的，其建立的虚拟人体具有68个关节点可供用户通过鼠标调节生成相应动作，Delmia同时提供了人体的正向和逆向动力学模型以及常用的行走、抓取等动作数据库，来协助改变人体姿势。Delmia的维修仿真过程是通过软件中的Human Task Simulation模块来实现的，当需进行虚拟维修仿真时，将电子样机和定义好的虚拟人体模型导入建立的虚拟环境，通过在建立好的human节点下，建立相应的包含一系列动作的human task行为，调整好human task中的动作姿势，进行连续仿真时，Delmia通过关键帧融合技术，把每帧动作姿势融合起来，实现连续的动作仿真。在仿真过程中，如需观察人的可视范围和干涉性，可以将Vision和collision功能打开。图2展示了虚拟人体登上工作梯，对机翼上部进行相关检查维护的一个场景，图3展示了虚拟人体登上梯子后，打开Vision功能，展示人体视觉的可视性范围。

新版的Delmia提供了美国、加拿大、法国、日本、韩国、德国以及中国台湾的人体模型库，用户可以根据各自需求选取对应的数据库，并可在所选择的数据库选择不同占比的人体模型，以便对产品的仿真过程能够更加准确。

图2 虚拟人体登工作梯场景 Fig.2 Scene of virtual human model climbing ladder

图3 虚拟人体进行目视检查的可视性范围 Fig.3 The visuality of virtual human model when doing visual check

Jack和Delmia软件也存在一定的缺点。首先，Jack和Delmia软件所提供的人体模型库不包含我国大陆的人体模型数据库，在进行维修性仿真过程中会产生一定的误差；其次，在驱动虚拟人体完成相应的维修行为时，操作比较复杂，尤其在进行多人协同工作仿真时，工作量较大；此外，Jack和Delmia的虚拟人体仿真动作行为比较僵硬，效果不自然，真实感较差。

1.2 硬件建模

随着3D扫描技术发展，各种3D扫描仪也广泛用于人体模型的建模，如Artec Shapify Booth、HandySCAN等。硬件建模技术按照扫描仪的数量可分为2种：单一扫描仪人体建模和多扫描仪人体建模。

单一扫描仪人体建模采用1个扫描仪对人体建模，通过扫描仪围绕被扫描人的转动（或者扫描仪固定，人体站在旋转平台上）对人体全身进行扫描，然后通过事先获得的旋转和平移矩阵对不同视角获得部分扫描人体进行拼接对准，最终获得完整的扫描人体模型。采用单一扫描仪进行虚拟维修人体建模成本较低，需求空间较小，但其建模时间较长，导致在建模过程中人体动作容易发生形变，影响建模人体的精确性。

多扫描仪人体建模是将多个扫描仪固定在不同的角度，形成一个封闭的扫描环境，各个扫描仪之间的相对位置通过手动校准方法预先获得，当人体进入扫描环境中后，多个扫描仪同时对人体进行扫描，并利用获得的扫描仪间的相对位置关系对各个扫描仪获得的部分进行拼接，输出完整的人体模型。采用多扫描仪进行人体建模，速度快，人体动作不易产生变形，但其成本较为昂贵，且需要专门的空间。

硬件建模能够生成逼真的人体模型，建模精度较高，但由于采用扫描仪建模无法对生成的人体模型进行动作行为的生成。因而，使用纯硬件对维修人员进行建模，只能生成静态的维修动作，无法生成连续的维修动作序列，因此无法直接应用于虚拟维修仿真工作。

1.3 软硬件结合人体建模

基于软硬件结合的虚拟人体建模技术将软件人体建模和硬件人体建模技术结合起来，其方法也可以分为2种：

（1）通过扫描仪建立人体模型，软件驱动人体模型

此方法通过3D扫描仪扫描人体，建立人体表面的网格模型，经过数据转换，转换成与相应软件兼容的模型，调节软件的中人体各个关节的参数进行人体行为的仿真。该方法解决了纯硬件人体建模无法驱动人体模型的问题，同时解决了使用纯软件建模，人体模型库中的数据不够准确的问题，具有一定的先进性，但是该方法并没有解决软件建模中生成连续维修行为需要大量的参数调节的繁重工作量，因此并没有得到广泛的应用。

（2）使用软件模型库中的人体模型,动补设备驱动人体模型

该方法通过软件建模获得人体模型，通过动作捕捉设备提取人体关节信息，与软件中人体模型关节数据绑定，驱动虚拟人体模型，实现软件中的虚拟人体对现实世界人体动作行为的跟随，是目前虚拟维修中较为先进的技术。图4展示了软硬件结合的人体建模的流程。该方法很好的解决了软件人体建模中，需通过大量的鼠标操作来生成各种虚拟维修动作的繁重劳动，从而极大的减轻了工作量。但是，目前也存在着一些问题。一方面，由于现实世界中的人体尺寸与软件中的人体尺寸不能完全匹配，因而动作捕捉设备获得的现实世界中人体的骨架参数不能与软件中的人体关节完全匹配，从而导致了软件结合建模的人体动作姿势经常会产生变形；另一方面，现在最常用的动作捕捉系统（PhaseSpace、Mocap、Vicon等），无论是基于惯性原理还是光学原理，都需要人员穿上特殊的衣服，极大的影响了舒适性。

目前的飞机虚拟维修中，使用软件模型库中的人体模型，动补设备驱动人体模型的方法，动补设备的工作原理主要可以分为2种，一种是基于惯性原理获取人体关节信息的动补设备，一种是基于光学原理获得人体关节信息的动补设备；使用的软件也主要分为两类：达索公司的Delmia以及西门子公司的Jack。硬件和软件两两组合，共有4种类型，如表1所示。

图4 软硬件结合人体建模流程 Fig.4 The human model reconstruction procedure combines software and hardware

表1 常用人体建模主要方法 Table 1 Usual human model reconstruction method

图5和图6展示了其中的方法1和方法4两种方法在虚拟维修的应用。

图5 方法1在虚拟维修的应用 Fig.5 Method 1 in virtual maintenance application

图6 方法4在虚拟维修的应用 Fig.6 Method 4 in virtual maintenance application

2 虚拟维修人体建模发展前景

自2010年微软公司正式推出Kinect以来，不依赖任何外设的人机交互方式得到了极大的发展，自然交互产品终端产品（体感设备）也不断涌现，如leap motion、Haptix等，这也为虚拟人体建模提供了新的可能——将体感设备与3D扫描仪及三维仿真软件结合来进行虚拟人体建模。首先使用3D建模软件建立人体模型导入到虚拟维修的仿真环境中，然后使用体感设备驱动建模的人体，实现虚拟维修人的自然交互，其具体原理如图7所示。

图7 扫描仪、动补设备与体感设备结合的虚拟人体建模原理 Fig.7 The human model reconstruction procedure combining scanner, motion capture device and motion sensing device

将体感设备与人体建模结合起来，仍处于研究阶段，市场上目前还没有相对成熟的产品可供用户使用。西门子公司在2014年曾展出了将Kinect与Jack软件结合进行虚拟人体建模进行汽车的虚拟装配、维修的一套样机系统，虽然其功能还不够完善，但已获得了虚拟维修方面的广泛关注。

通过将体感设备引入到虚拟人体建模中来，具有以下明显优势：

（1）采用自然交互方式驱动虚拟建模人体，避免了穿戴数据手套和动作捕捉服装等外部设备，提高了舒适度。

（2）建立的3D人体模型外貌逼真，尺寸准确，能实现维修人员模型的个性化定制。

（3）体感设备获得的真实世界中人体的关节可以与建模的人体进行完全匹配，从而减少了虚拟维修人员不自然的动作，使其更符合运动学原理和生物学原理。

3 结束语

随着装备的复杂性增长，装备的维修性设计变得越来越重要。通过虚拟操作和维修过程仿真进行维修性分析，可以在方案设计阶段就能发现维修性设计缺陷，从而提高产品的性能。虚拟人体建模技术作为虚拟维修系统的重要组成部分也得到越来越多的关注。良好的虚拟人体模型，不仅能反映真实人体，满足运动学和动力学要求，且应有较好的响应速度和控制方式。将体感设备与3D扫描仪结合起来，可以结合两者的优点，利用3D人体建立真实的人体模型，通过体感设备实现自然方式交互，完成虚拟维修人员的各种维修行为的仿真，将体感设备引入虚拟维修人员建模也必将得到巨大的发展。

参考文献

[1] 于永利，郝建平，杜晓明，等. 维修性工程理论与方法[M]. 国防工业出版社,2007.

YU Yongli, HAO Jianping, DU Xiaoming, et.al. The theory and method of maintenance engineer [M]. National Defense Industry Press, 2007. (in Chinese)

[2] 尚冰. 动态运动合成软件—Endorphin在3D游戏动画中的应用[J]. 中国高新技术企业，2014(34).

SHANG Bing, Dynamic motion synthesizes software-Endorphin in 3D game application [J]. China High-tech Enterprise, 2014(34). (in Chinese)

[3] 刘佳，刘毅. 虚拟维修发展综述[J]. 计算机辅助设计与图形学学报,2009,21（11）.

LIU Jia,LIU Yi. The review of virtual maintenance development [J]. Journal of Computer-aided Design & Computer Graphics, 2009, 21(11). (in Chinese)