创新背景

环境中的外部光源与微透镜引起的阴影之间的光学串扰限制了现有光场相机提供准确的图像对比度和3D重建的能力。传统相机没有现有的光场相机小巧，不能够装入智能手机。

创新过程

KAIST研究小组通过将近红外光场相机技术与人工智能（AI）技术相结合来开发面部表情检测技术。

与传统相机不同，光场相机在图像传感器前面包含微透镜阵列，这使得相机足够小，可以装入智能手机，同时允许它通过单次拍摄获取光的空间和方向信息。该技术可以通过多种方式重建图像，包括多视图，重新聚焦和3D图像采集，从而产生了许多潜在的应用。

联合研究团队在近红外范围内应用垂直腔面发射激光器（VCSEL）来稳定以前依赖于环境光的3D图像重建的准确性。当外部光源以0、30和60度角照射在面部时，光场相机可减少54%的图像重建误差。此外，通过在微透镜阵列之间插入可见光和近红外波长的光吸收层，该团队可以最大限度地减少光学串扰，同时将图像对比度提高2.1倍。

通过这种技术，该团队可以克服现有光场相机的局限性，并能够开发基于NIR的光场相机（NIR-LFC），该相机针对面部表情的3D图像重建进行了优化。使用NIR-LFC，该团队获得了高质量的面部表情3D重建图像，无论周围环境的照明条件如何，都能表达各种情绪。通过机器学习区分采集的3D图像中的面部表情，平均准确率为85%，与使用2D图像相比，这是一个具有统计学意义的数字。此外，通过计算3D图像中随面部表情变化的距离信息的相互依赖性，该团队可以识别光场相机用来区分人类表情的信息。

创新价值

研究团队开发的超微型光场相机有潜力成为定量分析人类面部表情和情绪的新平台。它可以应用于各个领域，包括移动医疗、现场诊断、社会认知和人机交互。