近日，电子信息与电气工程学院约翰·霍普克罗夫特计算机科学中心在计算机网络领域物联网方向取得突破性进展，研究成果MagX: Wearable, Untethered Hands Tracking with Passive Magnets（MagX: 基于永磁铁的可穿戴、无束缚的手部跟踪技术）被网络系统领域顶级会议International Conference on Mobile Computing and Networking (ACM MobiCom 2021)录用。该项目由上海交通大学与密西根大学安娜堡分校共同完成，上海交通大学为第一单位，电院助理教授陈东尧为第一作者，其余主要参与者均为我校在读学生。该研究提供了一种完全不受约束的人体手部跟踪系统Mag-X。
 

      MobiCom由ACM SIGMOBILE赞助，致力于解决网络通信和移动计算方向的挑战性难题。该会议有非常严格的审稿过程：每篇论文在接收前要经过2轮双盲评审，并在程序委员会再次盲审讨论后考虑有条件录用；作者须根据所有审稿意见进行论文修改，通过程序委员会一致同意后才正式录用论文。ACM MobiCom的论文录取率通常在15%左右，2021年全球仅录取59篇。

      作为身体最灵活自由的部位之一，手能够以一种自然的方式与机器以及周围的环境进行交互。精确的手部追踪技术能够通过改善交互的沉浸感来帮助提升用户体验，这在蓬勃发展的VR/AR或元宇宙（Metaverse）应用场景中是至关重要的。此外，手部动作通常与精神压力(如无意识地抓头发、摸嘴唇、咬指甲) 和身体健康(洗手和摸脸)有关。许多先前的研究倾向于使用相机或IMU (Inertial Measurement Unit，惯性测量单元) 传感器来追踪用户的手部运动。目前，基于相机的方法已经实现了高精度的手部分割和跟踪。然而，视线遮挡、耗能高、计算复杂度大以及隐私泄露等问题限制了这些方法在现实生活中的使用。IMU数据则存在着较严重的漂移问题，随着使用时间的增长其误差也会越来越大。

      陈东尧团队与其合作者提供了一种完全不受约束的人体手部跟踪系统Mag-X，该系统利用无源磁铁和一种新型的磁感应平台实现。由于无源磁铁无需维护，因而它们可以永久地戴在用户手上，并且，系统中只有传感器需要充电，与智能手表类似。
 

图1. Mag-X使用永磁铁，同时提供了一个可穿戴且不受束缚的传感模块，且该模块具有可定制的阵列尺寸和多功能外形。

      研究团队使用Mag-X进行了一系列实验，通过这些实验发现了一种可穿戴传感器阵列，该阵列能够独立地对两块磁铁进行毫米级精度地自由度跟踪。例如，在11厘米处，6cmX6cm的传感器阵列所对应的跟踪误差（包括位置误差和方向误差）为0.76 cm和0.11 rad，在21cm处所对应的跟踪误差为2.65 cm和0.41 rad。此外，Mag-X可以使用更大的传感器阵列来实现远距离跟踪，例如，对于27cm处的两块磁铁，9.8cm X 9.8cm的传感器阵列可以实现2.62 cm和0.55rad的跟踪性能。这种高鲁棒性的跟踪性能可以促使磁跟踪普遍应用于各种应用。最后，Mag-X可以在本地执行所有计算，并且在进行实时跟踪时只需要0.38W（传感器平台的220mW与计算单元的159mW之和）的功耗，这使得Mag-X基于典型的智能手表大小的电池即可提供全天且完全不受约束的操作。
 
      研究团队以摸脸行为监测为例来验证Mag-X的性能。值得一提的是，人平均每小时会不自觉地摸脸23次，这会导致细菌和病毒通过粘膜进入身体从而导致葡萄球菌和其他严重的呼吸道感染（如新型冠状肺炎）。因此，检测并减少摸脸行为可以极大地限制这些疾病的传播。
 
      Mag-X实现了全新的帽子和徽章佩戴形态。在此形态下，传感器阵列和磁体应分别置于使用者的胸前和手腕上。为了寻找指尖的位置，磁铁的北极应指向放松状态下指尖的自然朝向。通过这种方式，食指指尖的位置就可以通过磁体的位置、方向以及放松手掌的长度来近似获取。下图动态展示了徽章形态的跟踪性能。
 

图2. 脸部触摸跟踪展示

     下图展示了脸部动作跟踪的精度，其中LC、LE、M、N、RC、RE和No来分别表示左脸颊、左眼、嘴、鼻、右脸颊、右眼和无触碰。
 

图3. Mag-X的精度数据

     Mag-X还可以用于其他多种应用场景，来弥补传统的“视觉+机器学习”解决方案的显著不足。例如增强现实（AR）应用中，使用者可以佩戴Mag-X在黑夜或视线受遮挡的情况下依然实现精准的手部动作跟踪。

图4. AR手部跟踪展示
 

      陈东尧，中心助理教授。他在美国密西根大学安娜堡分校计算机科学与工程系获得博士学位，导师是Kang G. Shin教授。研究领域主要为物联网（IoT）系统和安全，探索机器学习与现实生活的结合。其研究成果的主要应用场景是下一代智慧交通与医疗，其中汽车+IoT相关研究已经在现实生活中得到了应用并积累了接近10000公里的真实世界驾驶数据。他在国际顶级学术会议如MobiCom, MobiSys，CCS，UbiComp，以及CoNEXT上发表过多篇论文。同时，他也担任国际知名会议和期刊如UbiComp，ICCPS，IEEE Transactions on Mobile Computing，Service Computing, Vehicular Technology，以及ACM Transactions on Privacy and Security的审稿人。