中国科学家设计外接模块 3块钱让普通耳机变智能耳机

只需不到 50 美分,约合人民币 3.25 元,就能让普通耳机变为智能耳机?28 岁的中国青年范小然实现了,他在罗格斯大学博士毕业前的研究,可让普通耳机智能化,并能让普通耳机实现生理感应、手势识别、身份验证、语音通话四大功能。



图 | 范小然(来源:受访者)

当前,即便是一千多元的苹果耳机,也只是一款耳机。很多冠以 “智能” 的耳机,仅能实现调节音量。

而且,这些智能耳机都建立在嵌入式传感器上。统计数据显示,2019 年,超过 99% 的消费类耳机没有配备嵌入式传感器,43% 以上的消费类耳机甚至没有麦克风。

因此,用户必须额外购买嵌入式传感器,才可让耳机拥有传感功能,但这又费钱又费事。

日前,范小然开发出一项名为 HeadFi 的系统,可让普通耳机在播放音乐的同时,获得感知能力。据悉,HeadFi 是一种可耳听的感应平台,无需麦克风、也无需传感器即可实现智能应用。

相关论文已被移动计算顶会 MobiCom 接受,范小然也将于今年 10 月在新奥尔良的线下会议实地展示该技术。



图 | HeadFi 原型图(来源:受访者)

他告诉 DeepTech,HeadFi 本质上是一个适配器模块,插上耳机后即可连接手机。HeadFi 由两个无源电阻器和一个放大器组成,使用时无需对耳机做任何硬件修改。它能就地取材,依靠耳机内部的驱动器单元,来实现多功能传感作用。

在耳机里,耳机单元可用于播放音乐,原理是把电信号转换为机械信号也就是声波。但是反过来看,从广义来讲,耳机单元也是一个传感器,可用来感知外界刺激如心跳、语音、触碰等,并能把外界刺激转换为电信号。

基于该思路,范小然开始设计 HeadFi,期间也遇到了一些挑战,为了让耳机既能感知、又能播放音乐,就要消除音频输入信号的强干扰。

由于耳机本身播放的声音的信号强度,是耳机能感知到的信号(如心跳、触碰、语音等)的上百倍。因此,直接在耳机端口测量外界感知信号,会让系统在播放音乐时无法工作。



图 | 相关实验(来源:受访者)

研究中,他使用惠斯通电桥来消除音频输入信号的强干扰。具体来说,通过耳机的插口,耳机左右的两个单元可连接到桥的两个臂上。一旦电桥平衡,电桥的输出电压就不再随着音频输入信号的变化而变化。

与此同时,周围的刺激信号仍能被反应到电桥的输出电压上。这个设计巧妙之处在于,耳机厂商在生产耳机时,为保持声道平衡会让左右耳机单元实现电学匹配,而 HeadFi 系统使用这俩配对的耳机单元来代替电桥的两个电阻,这时使用惠斯通电桥,就可获得左右单元相减的一个差分信号。

这正好消除了音频输入信号的强干扰,而耳机左右单元收到的外部刺激通常都不一样,相减之后外部刺激信号依然存在,并且能被感知到。

在论文的评审过程中,评审者一致认为这是 HeadFi 设计的一个非常大的亮点,整个原理简单但是非常巧妙(simple yet elegant)。

此外,由于 HeadFi 是一个外设插件,它能以非侵入方式让耳机和手机实现配对。该外设插件用两个 3.5 毫米立体声插孔连接耳机和智能手机,用户可以手动打开或关闭 HeadFi。

生理感应:心率准确率最高达 99.2%

使用非智能耳机时,HeadFi 可让用户连续且准确地监测生理活动如心跳频率。测量心率变化的原理如下,把搭载 HeadFi 的耳机放在耳朵上,耳洞内立马形成封闭的空间,空间中部是耳道,两端分别是耳机驱动单元和耳膜。

这种封闭空间对气压变化非常敏感,不管是用手触碰耳机外侧,还是耳朵内血管的跳动,都会引起 HeadFi 的电压变化。


图 | 耳机和耳道耦合原理示意图(来源:受访者)

同样,人体心跳等生理活动也会引起耳道血管的变形,进而给封闭空间带来压力,这时就能通过 HeadFi 去检测这种压力,进而得出心率。


图 | 实验中的耳机(来源:受访者)

研究中,他使用 54 对耳机评估心跳频率估计的准确性,并把耳机分为三类,即入耳式、头戴式和半入耳式。结果显示,头戴式耳机在所有三组耳机中都实现了一致的低错误率。其中,包耳式耳机的错误率最低,其次是半入耳式耳机。

概括来说,HeadFi 测试心率的最大错误率约为 3%,而商用心跳监测系统的最大错误率要求是小于 5%,这说明即使在存在音乐等强干扰信号,HeadFi 依然具备测量用户心跳频率的可行性。


图 | 耳机工作原理(来源:受访者)

相关实验涉及 53 名志愿者和 54 副耳机,耳机估计价格从 2.99 美元到 1.5 万美元不等。结果表明,HeadFi 对心率监测的准确率为 96.8%-99.2%。

手势识别:可定义四种触摸手势HeadFi 还可将非智能耳机外壳、转换为虚拟触摸板,其基本原理是同样基于上文提到的特殊惠斯通电桥的输出电压的变化。

研究中,范小然定义了四种基于触摸的手势:轻触左侧外壳,可执行暂停或播放操作;轻触右侧外壳,可执行静音操作;在左侧外壳上滑动,可执行音量增大操作;在右侧外壳上滑动,可执行音量减小操作。

他邀请一位志愿者轻触一对耳机的左右外壳,并从 HeadFi 中录制信号强度。当耳机被敲击时,可观察到多个信号强度峰值。当志愿者轻触左侧外壳时,会出现一个负峰值,后跟一个正峰值;相反,当志愿者点击右外壳时,正峰值出现在负峰值之前。

期间,他们还使用 AKG K240s 耳机作为测试设备,在打开和关闭音频输入信号的情况下,分别重复每个手势 300 次。随后,收集的数据被送到笔记本电脑上进行分析。

分析显示,在安静和噪声条件下,四种手势的总体分类结果一致。在没有音频输入信号的情况下,HeadFi 依然可实现 99% 的分类准确率;在有音频输入信号的情况下,分类结果略微下降到 98% 左右。

身份验证:从海螺得到灵感HeadFi 还可做身份验证,只要戴上耳机就会自动出发身份识别。但是在身份验证之前,系统需要识别耳机是否戴在了头上,他告诉 DeepTech,自己最初从海螺获取了灵感。

当把海螺扣在耳朵上,就会听到回声,这是因为周围噪声在海螺空腔内产生了共振、且音量被放大,因此海螺会发出海浪般的声音。



图 | 海螺(来源:Pixabay)

同样,耳机、耳道和耳膜也会形成共振腔并放大周围的噪声,这种放大的噪声,可让 HeadFi 测量到更高的电压信号输出。基于这一观察,他使用信号强度、及其标准差进行开关检测,当用户戴上耳机时,这两个值会急剧上升。

确认用户已佩戴耳机之后,让插到 HeadFi 组件上的耳机发射扫频信号,这时 HeadFi 即可识别不同的用户,原理是每个人的耳道形状和大小都是独一无二的。

此外,每个人耳道的阻抗也不一样,同一个人的左右耳道的生理结构也不一样,所以 HeadFi 可通过感知左右耳的扫频信号的回音差值来识别用户。



图 | HeadFi 的相关信号(来源:受访者)

由于人脸识别会引起隐私问题,并且对拍照时的光照条件有一定要求,而 HeadFi 可以在不拍照的情况下识别用户,因此能更好保护地用户隐私。

研究中,范小然还演示了 HeadFi 的语音通话功能。语音通话功能是 HeadFi 系统最直接的应用。

他认为,能把普通耳机变成可以打电话的耳机,可能是本次研究中意义最重大的一个智能应用。期间,他客观测试了 54 对耳机的通话质量,并且邀请 26 位测试者进行主观打分实验。

实验结果表明,绝大部分耳机的通话质量都能令测试者满意,有的耳机甚至接近直接使用手机麦克风打电话的通话音质。

已申请专利,并正在苹果、微软等洽谈虽然只在有线耳机上进行了测试,但 HeadFi 也可用在无线耳机上。概括来说,HeadFi 通过简单升级,就可将全球数以亿计的普通耳机转变为智能耳机,并且原件成本极低,批量制造时单价不到 50 美分。

据悉,本次研究成果由范小然和读书期间的导师张燕咏合作,后者目前是中国科学技术大学计算机科学与技术学院副院长。

目前该技术已经申请专利,罗格斯大学也已把该技术放在官网上进行招标。就 HeadFi 的落地,研究团队已跟苹果以及微软接洽过,目前也在和国内企业接洽。

未来主要针对手机、电脑和平板使用,以手机厂商为例,当把 HeadFi 集成到手机上,即使佩戴的是普通耳机,也能实现前文的智能应用。

范小然是四川人,生于 1993 年,目前刚从罗格斯大学博士毕业,并已入职三星人工智能中心工作,担任人工智能与机器人科学家职位。

他告诉 DeepTech,自己本科阶段专业偏向物理和微电子,来罗格斯大学读博后转向电子和计算机工程方向。激励他做本次项目的原因,除了曾经的导师张燕咏发出了合作邀约,也因为他本身是一位耳机发烧友,一直以来都对耳机行业的发展有着浓厚的兴趣。

推荐阅读