首页
业界
前端
运维
建站
软件
生活
后端
创投
运营
游戏
资源
电商
硬件
评测
投稿
首页
业界
前端
运维
建站
软件
生活
后端
创投
运营
游戏
资源
电商
硬件
评测
首页
›
业界
›
正文
人机交互
人脸识别
传感器
张铖
摄像头
耳机
“人脸识别”耳机实现!靠追踪肌肉识别表情
风君子
业界
2020-10-14
345
用AI使蒙娜丽莎动起来,甚至是跟着你的表情一起运动,随着技术的发展,这些都已经不是什么新鲜事了。
这些面部追踪系统,往往都
需要一定精度的
摄像头
。
但是,如果文摘菌告诉你,这些摄像头其实全都可以撤掉呢?
别急着反驳,这已经被康奈尔大学的研究人员实现了,整个过程他们
没有用到过一个面对用户正脸的摄像头
,就成功地实现了面部追踪,至于效果,好像也没有差到哪儿去。
按照惯例,我们还是先看看追踪效果如何:
既然没有用到摄像头,那我们来试试戴上口罩的效果:
这时候可能有人想问了,不用摄像头,怎么追踪到的面部表情?
文摘菌给一个提示,看到他们戴在耳朵上的仪器了吗?是的,他们主要使用的,其实就是那副
耳机
,用户的表情就能被实时转换为表情。
这种方法比用摄像头的“传统方法”更好的一点在于,即使戴着口罩,系统也可以追踪用户的面部表情,这样的话人们就不用专门取下口罩了。
这个系统被取名为
C-Face
(Contour-Face)。
康奈尔大学SciFi实验室主任、C-Face论文的高级作者
张铖
在一份声明中说:“该设备比任何现有的耳挂式可穿戴技术都更简单、更引人注目,功能也会更强大。”
“在以前的旨在识别面部表情的可穿戴技术中,大多数解决方案都需要在面部上安装
传感器
,但即使用了如此多的传感器,不少系统最终也只能识别有限的一组离散面部表情。”
论文链接:
https://www.scifilab.org/c-face
抓取42个特征点,C-Face还支持无声命令和聊天表情发送
在这个项目中,研究人员也不是完全没有用到摄像头,只不过他们用得及其隐蔽。
可能已经有“陈独秀”想要抢答了,注意观察使用者的耳朵下方,
左右分别配备了一个RGB摄像头
,这些摄像头能够在使用者移动面部肌肉时,记录下脸颊轮廓的变化。
除了入耳式耳机,头戴式耳机也同样可以安装摄像头,进行面部识别工作。
在使用计算机视觉和深度学习模型重建图像后,卷积神经网络能够分析2D图像,将面部特征转换为
42个面部特征点
,这些特征点分别代表了使用者的嘴巴、眼睛和眉毛的位置和形状。
有了详细的脸部追踪数据,C-Face可以将这些数据转换成
八种不同表情
,包括中立或愤怒。
不仅如此,C-Face还支持使用面部表情
控制音乐应用程序上的播放选项
。
手机在桌上充电,但是现在只想摊在沙发上不想动,你甚至不用说出声音,就能播放歌曲:
或者,你在聊天的时候想要发送表情,但是死活找不到表情包了,怎么办?
这个时候,你可以
直接做出相关表情,系统就能识别并直接发送出去
,简直不要太方便:
不过,由于受到新冠疫情的影响,研究人员目前只在
9名参与者
的情况下测试了C-Face。尽管数量不大,但表情识别的准确度超过了
88%
,面部提示的准确度超过了
85%
。
同时,研究人员发现,耳机的
电池容量
限制了该系统的持续作用,他们正在计划开发功耗更低的传感技术。
深耕于
人机交互
领域的华人教授张铖
在这个项目的研发团队中,文摘菌发现了一位华人教授的身影——张铖,他也是这个研发团队的负责人。
根据张铖个人网站介绍,他目前是康奈尔大学
计算机和信息科学的助理教授
,同时也是未来交互智能计算机接口(Smart Computer Interfaces for Future Interaction,SciFi)
实验室主任
。
SciFi实验室主页链接:
https://www.scifilab.org/
从南开大学的本科,到以中国科学院软件研究所的优秀毕业生身份毕业,再到前往美国佐治亚理工学院Ubicomp实验室继续深造,张铖始终对
普适计算(ubiquitous computing)和人机交互(HCI)
怀有浓厚的兴趣。
在中国科学院期间,他就针对有形用户界面、儿童人机交互、音乐界面等进行了初步研究,获得了第一手的研究经验。
在张铖的博士论文中,他介绍了10种用于可穿戴设备的新型输入技术,有些利用了商用设备,有些采用了新的硬件。与大多数人不同,张铖习惯于从头到尾建造传感系统,包括理解物理现象、构建硬件原型、设计形式因素、处理数据和设计算法(机器学习或基于物理的建模)。
截至目前,张铖在人机交互和普适计算领域的顶级会议和期刊上发表了
十多篇论文
,还获得了
两项最佳论文奖
,同时他还身怀超过
10项
美国和国际专利。
喜欢
(
0
)
打赏
支付宝扫一扫
微信扫一扫
上一篇
金山云出席网络视听年度盛宴 云+AI让VR从虚拟走向现实
下一篇
胡润中国10强家电企业:美的格力海尔前三 谁最值钱?
最新文章
46分钟前
XeLaTeX: 支持现代字体 LaTeX 编译器
树梅派切换源_树莓派完整详细的换源教
46分钟前
c语言标准库 菜鸟教程,C 标准库 – locale.h | 菜鸟教程
47分钟前
压栈的解析
47分钟前
你听不出是AI在唱歌!这个日本虚拟歌姬,横扫中英日三种语言
48分钟前
Golang多线程下载器(附代码、可执行文件)
48分钟前
中国贸促会:坚决反对欧方对中国电动汽车加征反补贴税,积极支持中欧双方继续对话
52分钟前
蔚来宣布进军中东和北非市场 将在当地开发全新车型
53分钟前
微软天价 Surface Studio 2 终章:6 年创意之旅走到尽头、本周终止支持
2小时前
刀片服务器和机架式服务器的区别(超融合服务器三大品牌)
3小时前
点击排行
2024-09-28
24
int占几个字节(int占几个字节数)
2024-09-28
21
服务器虚拟化的三种方式(kvm虚拟化管理平台)
2024-09-28
20
linux服务器路由配置(linux路由服务器)
2024-09-28
20
ddos 域名 cdn(ddos 域名)
2024-09-28
16
excel如何快速将数值批量扩大10倍? EXcel表格中数字扩大10倍的技巧
标签
AI
AMD
APP
DDoS
iphone
IT资讯
linux
三星
京东
信用卡
利息
华为
密码
小米
微软
快科技
手机
投资理财
支付宝
教程
显卡
汽车
游戏
特斯拉
理财知识
电动汽车
电脑
电脑配置
科技
秘籍
笔记本
系统
美国
股票
腾讯
芯片
苹果
荣耀
谷歌
贷款
路由器
银行
银行卡
额度
马斯克
关注我们 么么哒!
875001151
QQ号
875001151@qq.com
QQ邮箱
关注我们的公众号