有了机器学习,没有软键盘还能照样打字。
凭啥?凭想象。
来自韩国科学技术高级研究院在一项最新研究中,提出了一种完全靠想象的键盘:I-Keyboard,这个界面上看不到软键盘上的字母布局、形状和大小。
通过机器学习技术,你从触摸屏的任何区域进行打字,并且准确率还有点高。
研究人员声称,与传统的虚拟键盘相比,这个新颖的盲打键盘能让大多数人能够达到95.84%的准确度。
构建系统
构建这个系统的第一步,就是先找到不用人类用软键盘打字的触摸位置的数据集。
研究人员招募了43名经常使用QWERTY键盘的志愿者,用他们的数据构建数据集。所谓的QWERTY键盘键盘,就是我们平时电脑和手机26键输入法上的字母布局。
这些志愿者需要在研究人员的指示下输入一些固定句子,包括从推特和20个新闻数据集中随机抽取额150-160个句子,并在正式开始前用15个句子进行了预热。
最终,每个参与者大约花费了15分钟,总共输入了7245个短语,以及196194次键入。
论文中显示的手机装备如下:
△ 数据收集装置
屏幕有一定的输入指引(图a),这个过程中屏幕上除了删除键和输入键以外没有其他提示,黑漆漆的输入界面上看起来是这样的(图b):
收集完位置信息后,研究人员对这些数据进行了归一化处理,并且去除了位置偏移量。
他们发现,志愿者“盲打”时认定的字母排布不是水平对齐的,二是呈现一条特定的分布曲线。
△ 算法“脑补”的键盘分布
于是,在这些调研之后,研究人员设计了I-Keyboard的系统架构,由三个模块组成:
用户交互模块,准备模块和通信层。
首先,系统通过触摸屏或触摸界面接收输入。
同时数据准备模块预处理信息,并格式化原始输入。
最终,紧密集成了机器学习框架和应用程序框架的通信层处理信息,深度神经解码器(DND)负责将输入信息翻译成字符序列,预测打字人输入的到底是什么。
△ I-Keyboard系统架构图
部署系统
系统构建完成后,研究人员在一台MacBook Pro上部署了I-Keyboard,测试系统的性能。
他们在短语集中随机选出了20个短语,参与者需要以每分钟45.47个单词的速度进行键入。
这个输入速度不是固定的,研究人员考虑到,在用物理键盘或者软键盘打字时,每个人的速度本身就不同。因此,为了保证测试质量,测试者也可以用物理键盘打字88.74%的速度进行输入。
结果显示,这种方法的正确率达到了95.84%,超过了基线水平4.06%。
研究人员表示,目前I-Keyboard还不支持所有型号的智能手机,但研究人员的目标是将这个系统扩展到所有触摸屏设备上。
他们表示,这样研究未来前景无限,还可以加入一些手势识别算法,实现对非字母字符的输入,比如胡子,标点符号和功能键等。
总之,是一种全新体验的输入方式。
传送门
VentureBeat报道:
https://venturebeat.com/2019/08/02/ai-may-turn-touchscreen-keyboards-invisible/
论文地址:
https://arxiv.org/abs/1907.13285