Microsoft Research开发了使用智能手机相机读取脉搏，呼吸和心律的技术

在过去的十年中，研究人员发现越来越多可用的网络摄像头和手机摄像头与AI算法相结合可以用作有效的健康传感器。这些方法涉及测量人体随时间变化的非常细微的变化，在许多情况下，肉眼无法察觉的变化可以恢复生理信息。

微软研究公司，华盛顿大学和OctoML的研究人员团队合作创建了一种基于视频的创新型设备上光学心肺生命体征测量方法。该方法使用日常摄像头技术（例如网络摄像头和移动设备）和一种新型的卷积注意力网络（称为MTTS-CAN），以最先进的精度在移动平台上进行实时心肺测量。

随着时间的流逝，血液流动和呼吸等生理过程会非常微妙地改变身体的外观。智能手机摄像头可以拾取这种反射光，并且像素强度随时间的变化可以用来恢复这些变化的潜在来源（即人的脉搏和呼吸）。使用基于这些生理过程知识的光学模型，可以处理一个人的视频以确定他们的脉搏率，呼吸作用，甚至是血液中的氧气浓度。

该技术可用于诸如健身，健康和临床应用之类的世俗事物。对于日常消费者而言，它可以使家庭监控和健身追踪更加便捷。您的跑步机或智能家用健身设备可以在跑步过程中持续追踪您的体力，例如，您无需穿戴设备或同步数据。在临床环境中，基于摄像头的测量可以使心脏病专家通过视频通话更客观地分析患者的心脏健康状况。

基于摄像头的生理感应最明显的应用可能是远程医疗。COVID-19病毒与心肌炎和其他严重心脏（心脏病）风险增加有关，专家建议在治疗期间应特别注意心血管和肺部保护。

但是，在大多数远程医疗场景中，医生无法获得患者状况的客观测量结果，因为无法捕获诸如患者生命体征之类的信号。这使许多患者感到担忧，因为他们担心诊断质量和无需客观测量即可获得的护理。无所不在的传感可以帮助改变远程医疗的实施方式，也可以有助于将远程医疗作为医疗保健的主流形式。

最后，以高帧频运行的功能可以实现机会感应（例如，每次看手机时获取测量结果），并有助于捕获可用于检测心房颤动，高血压和高心率变异性的波形动态-帧速率（至少100Hz）是产生波形动力学精确测量的要求。

所有详细信息都可以在该团队的论文“用于设备上非接触式生命测量的多任务时间转移注意力网络”中阅读，该论文已在第34届神经信息处理系统会议（NeurIPS 2020）上接受，并将在12月7日星期一下午6：15-下午6:30（PT）进行Spotlight演讲。