迄今为止最全的HoloLens 2技术揭秘（下）
图多、有视频，流量预警。上半篇讲光学器件，链接地址：王知：迄今为止最全的HoloLens 2技术揭秘（上）
电子部件
深度感知
普通照片没有深度信息
普通照片是二维的，很难分辨出照片里物体的远近。Kinect得到的画面含有深度信息。
HL2深度地图
没有深度感应器，那HoloLens就仅仅是一个头戴显示器。有了Kinect，HoloLens才有了感知外部世界的能力。通过第二代HPU内置的神经网络，HoloLens 2不光能构建深度地图，还能智能识别物体，这是一扇窗，这是一把椅子，椅子上坐着一个人。
Xbox 360上的第一代Kinect，用的是结构光技术。Xbox One上的第二代Kinect，微软抛弃了结构光，改用TOF（time of flight）技术，并不断改进，一直到HoloLens 2。下图为HoloLens上的第三代Kinect与HoloLens 2上的第四代Kinect效果对比，进步明显。
手势追踪
第四代Kinect，注意右端两个发射器的角度
Kinect有两个信号发生器，一个正对前方用于深度感应；另一个向下倾斜，其精度更高，帧率也更高，用来追踪手势。
为了减少电量消耗，HoloLens 2上有两个神经网络来识别手势。一个神经网络是时刻运行，负责粗度判断。只有通过了初步检验，才会打开第二个神经网络来精确识别手势。
https://www.zhihu.com/video/1193984433072603136
这是微软内部手势识别机器学习软件。从视频看到，双手都能识别，精度很高。一代只能识别两种手势，特别是鹤嘴式识别成功率低，破坏了用户操作体验。HoloLens 2更精准的手势识别让用户能以最自然的方式进行交互。
眼球追踪
Eye tracking camera
HoloLens 2鼻梁部位有两个相机，负责虹膜识别和眼球追踪。Kipman称，虹膜识别达到了百万分之一的False accept rate以及98%的true positive rate。有了眼球追踪便能够自动测量瞳孔间距Inter-pupillary distance。瞳孔间距对双目式显示设备十分重要，错误的距离会导致画面错位或扭曲，迫使用户不停在脑海里纠正，进而导致用户强烈不适。
声音系统
第一代推出后，很多企业向微软反馈HoloLens麦克风与外发声音，无法在非常嘈杂的生产环境里使用。为了让这些潜在用户买单，微软重新打造了HoloLens 2的声音系统。
环境麦克风在上端标记1、2、3处
HoloLens 2前方上端有三个小孔，它们是收集环境音的麦克风。而收集用户语音的麦克风则隐藏在护目镜的底端，正好在用户嘴唇上端。这一设计使得既是在高达90分贝的环境里，HoloLens 2用户依然能使用语音操作。
手指处为隐藏式麦克风
HPU
有别于CPU这种通用型处理器，HPU是ASIC特殊应用集成电路。前者好比是一把菜刀，可以用来切菜、剔骨、斩肉、削苹果，什么工作都能干，但未必得心应手；后者则是一把刨丝刀，专攻一项技能。它们各司其职，CPU运行应用GPU负责渲染，HPU的工作是：
[*] Fully Ariticulated Hand Tracking
[*] Spatial Audio
[*] 6DOF tracking
[*] Hologram Stability
[*] Eye Tracking
[*] Surface Reconstruction, Spatial Mapping
[*] Scene Understanding (e.g. find floors, walls, ceilings)
简单点说，HPU统领前面提到的所有组件。声频信号要交给HPU上的FFT单元，深度数据要交给HPU上的DNN单元，等等。这些原始数据只有经过HPU处理，得到有用信息，最后传递到CPU提供给具体应用。Hologram显示输出也必须先经过HPU。HPU先从6DOF得来的定位信息中预测用户头部位置，然后交给CPU；CPU和GPU渲染完成hologram后，交回给HPU；HPU再更新用户头部姿势位置，对hologram进行矫正，最后发送到light engine输出。
HPU共有13个计算单元，7个SFP(SIMD Fixed Point)单元来处理frontend processing以及2D processing，6个VFP(Victor Floating Point)单元来处理backend、3D和Geometric processing。它们各管一块，运行专门的算法。这么做看似有些浪费，其设计理念是：用更大的面积来换取更低的延迟。
HPU 1.0 v HPU 2.0
UI
第一代HoloLens只支持两种手势操作，五指张开的boom和鹤嘴式air tap，后者识别失败率高。精准的手势识别和眼球追踪技术，使得操作HoloLens 2从直观的intuitive变成本能的instinctive，在用户交互上重大跃进。
https://www.zhihu.com/video/1193984846320496640
发布会上的演示视频相信很多读者已经看过。顺便说一句，视频作演示的妹子名叫Julia Schwarz。别看她年轻得像个实习生，8年前她在微软研究院Human Computer Interface组就对Kinect骨追踪做了大量工作。在CMU读博时，Schwarz还与人共同创办了Qeexo公司，领队开发出FingerSense技术，被华为用在P8和荣耀7上面。
舒适度
佩戴舒适
第一代HoloLens部分重量由鼻梁承受。这种做法对重约十克左右的眼镜来说问题不大，而HoloLens有五百多克，使用时间稍微一长便给用户带来不适感。为了改进这一点，自然的想法是把设备重量分布开来，由整个头部承担。这么做最大的阻碍是，每个人的头颅骨不一样，如果将压力施加到错误部位，比如太阳穴处，会引起人体强烈不适。
东亚人与欧洲人头骨显著差异
Eye relief，即眼睛到镜片的距离，是另一个影响用户体验的因素。好的头戴式设备应该具备较大的Eye relief，使用户能佩戴眼镜使用AR设备。而东亚人种前额到眼睛的距离比较短，高加索人更深。
亚洲人与欧洲人差异
好在微软财大气粗，对上千人的头颅进行扫描，最终HoloLens设计能满足95%的人群。
为了改进佩戴体验，微软进行大量实验，甚至在实验对象的脖子贴上电极，来测量他们的颈部肌肉压力。第一代HoloLens重量集中在前端，重心位于人眼后12毫米。HoloLens 2则把SOC、通信天线、以及电池都挪到后面，使得重心后移60毫米，约人耳上方。
https://www.zhihu.com/video/1193984996636221440
这一系列改进，效果显著。据用过的人说，戴HoloLens 2就像戴一顶棒球帽般轻松，长时间佩戴毫无不适。
散热
第一代HoloLens最长使用时间约两小时，不是因为电池耗尽，而是散热跟不上，机身过热被迫关机。同样的，Magic Leap虽然是分体式设计，把运算单元拆开，但依然有严重的散热问题，使用十几分钟后眼镜部分就烫手。好的MR设备必须做到良好的散热。
工程师为散热花费大量心血。HoloLens 2肩部两块黑色为烟囱式散热管，
这是覆盖在Snapdragon 850上的钛合金vapor chamber.
https://www.zhihu.com/video/1193985113975816192
HoloLens 2散热设计优秀，通过红外摄像可以看到，在短短几秒内热量就均匀扩散到整个机身，而这一切都是被动散热没有风扇。
https://www.zhihu.com/video/1193985182196150272
碳纤维
HoloLens 2上诸多传感器需要联合作业，保持它们之间的距离稳定不变很重要，否则就无法保证算法结果的正确性。另一方面，各种电子元器件会发热，机身热胀冷缩之下导致各种偏差。
微软工程师尝试了大量材料，最终确定碳纤维才是最佳选择。碳纤维的热胀系数，取决于生产工艺、编排和测量方向，可正可副。如果设计巧妙的话，通过正确的编织，能做到零热膨胀。碳纤维坚固、重量轻、杨氏模量大、强度大，非常适合HoloLens，但是加工塑模难度大。Kipman回忆道，设计HoloLens 2时遇到种种困难，碳纤维是最难的一个。 上篇内容挂了修一下 知乎说视频在审核中。看这个吧，一样的https://www.zhihu.com/question/313551196/answer/608211882 您好，想问下关于软件层面的系统架构，有相关资料可以了解下吗？谢谢 写的太好了，感谢楼主，好人一生平安 厉害了，还能当VR用 问下楼主 那个微软手势机器学习软件是从哪里弄的？ 图片是Alex Kipman演讲里，见文中链接。至于软件，大概是微软自己写的吧。 您好，请问楼主，能告知下文章中人机工学的出处是哪里么？（亚洲人跟欧洲人的区别）
页:
[1]