相机|Meta眼球追踪研究:采用事件相机,采样率可达kHz级( 二 )


通常 , 眼球追踪方案采用高速率闪烁的光源 。 然而 , 由闪烁光源照亮的场景通常会使事件相机器饱和 , 让整个场景都出现亮度变化 。 因此 , 科研人员让两个LED灯切换闪烁 , 而不是闪烁单个光 , 目的是保持整体照明大致恒定 。



他们还发现 , LED灯之间的最佳距离距离是在眼球反光点刚好接触而不重叠的点处 。 LED灯距离近时 , 两个闪烁在它们相交的地方抵消 , 导致净亮度变化为零 , 并减少闪烁的有效频率 。
解决了哪些问题
Meta指出 , 眼球追踪是AR/VR头显的一项关键功能 , 它可以丰富用户之间的交互 , 同时也可以实现动态注视点渲染效果 , 提升AR/VR视觉观感 。 此外 , 也可以用于实验、医疗、培训等场景 , 通过使用者的眼球运动数据来进行分析 。 可变焦显示系统、焦面显示系统也眼球追踪功能来实现变焦 。



应用在AR/VR头显中 , 眼球追踪系统需要保证低功耗的 , 才能延长续航、降低热量产生 。 同时 , 也需要支持高采样率 , 比如在用户身份验证场景中 , 采样率需高达1kHz 。



目前 , 市面上许多视频眼球追踪系统基于瞳孔角膜反射原理(PCCR) , 通常是在眼球上照射红外光 , 并捕捉角膜上镜面反射回的光线位置/角度 , 来预估角膜的中心位置 , 以及瞳孔(暗黑椭圆形)的位置 。 接着 , 通过瞳孔中心和角膜中心的距离来计算注视点方向 。
【相机|Meta眼球追踪研究:采用事件相机,采样率可达kHz级】相比之下 , Meta的方案更省电 , 每个LED的功耗约5mW , 在低功率下也可以实现亚像素级精度 。 如果将广角的LED换成对准眼球的位置 , 性能会进一步提升 。 而事件相机功耗则为10mW左右 , 整个传感器功耗约为35mW 。 与此同时 , 事件相机的采样率可达到1kHz , 可捕捉到眼球的细微变化 。 参考:scontent

相关经验推荐