深圳生活

移动虚拟现实灯光交互:公司使用移动相机进行手势识别

也许许多公司意识到移动虚拟现实中缺乏交互,今年各种交互方案相继出现。

在一体机上,有一个可以直接定位外部输入空;运动、使用、慢跑等。用于双目摄像机的手势跟踪。还有英特尔的Insideout空定位和RealSense、谷歌的dayreason三自由度手柄等等。

现在国内另一家初创公司已经进入这一领域,并提出了一种基于手机摄像头的移动虚拟现实交互方案。

这家北京初创公司被称为Inmeggie,其产品被称为HandCV。

与上述交互方案相比,HandCV的特点是重量轻,不需要额外的硬件设备,仅通过手机的摄像头和软件来实现,而且也是免费授权的。

轻手势交互所谓的轻手势交互自然是相对于重手势交互而言的。英格丽的首席执行官朱于聪认为,LeapMotion和uSens属于重度手势交互。他们不仅需要额外的硬件帮助,还需要更具体的功耗和实际功能的性能要求。沉重的手势交互跟踪双手手指关节的运动,希望在虚拟世界中重现你的手,如上图中LeapMotion的演示所示。

HandCV的轻手势交互使用不同的手势来实现基本操作,如选择、点击和拖动,如下图所示。

例如,通过LeapMotion,你可以用手拿起虚拟世界中的一个物体扔出去,但是你不能用HandV来做到这一点,因为单目摄像机不能获得精确的深度信息,尽管模糊深度数据可以通过图像识别算法来计算。

据官方介绍,HandCV的实现方法是:通过普通相机采集图片,逐帧检测并分割手掌。

分割后的信息通过k-cos等聚类算法对目标检测对象进行特征提取,最后提取的特征作为手势识别数据。

手势识别部分使用隐马尔可夫模型反复训练大量的识别样本数据。

图像由普通摄像机采集,手掌检测和分割逐帧进行。

分割后的信息通过k-cos等聚类算法对目标检测对象进行特征提取,最后提取的特征作为手势识别数据。

手势识别部分使用隐马尔可夫模型反复训练大量的识别样本数据。

HandCV2.0版本2.0预计支持如下图所示的几种手势类型(暂定),而朱于聪表示,制造商可以根据自己的需求定制手势。

该产品将首先支持iOS设备,主要是因为苹果的硬件相对单一和稳定。

就功耗而言,对于使用A8处理器的设备,它将消耗8%至10%的功耗。

为了降低功耗,它在“待机”状态下每2到3秒提取一张相机图片,同时使用每秒12帧的频率。

该公司计划于9月份在苹果商店(AppStore)推出产品演示,同时将发布软件开发工具包。官方版本预计将在今年年底到明年年初发布。

抓住了移动虚拟现实的痛点?经历了HandCV之后,边肖发现整体操作非常简单,使用起来也非常快。他只需要记住几个手势,手势识别的速度和准确性都不错。

然而,这项技术也会遇到所有计算机视觉技术都会遇到的问题。无论是单眼相机还是双目相机,它都可能遇到在极暗的光线、强光和嘈杂的环境中无法识别的问题。

对此,朱于聪表示,他们正在建立一个包含10万个手势模型的库,希望通过深入学习来提高这项技术的健壮性。

在该产品的推广中,英格丽德采用了免费许可模式,合作厂商包括优酷、哈泽加斯等。

内容制造商只需要将HandCV放入自己的应用程序中,就可以让虚拟现实手机盒用户控制手势。

视频方面是玩、暂停和拖动,而游戏通常是针对一些小游戏,如纸牌。

朱于聪表示,英格的目标是成为ARVR基本互动技术的供应商,他认为VR只是一个整体,其技术在未来的ARR中会更有价值。

目前,该公司已将该技术授权给AR眼镜制造商盈创科技。

除了基本互动,朱于聪还透露,公司正在与万事达卡合作开发虚拟现实支付产品,主要是手势密码。

此外,该公司还希望将技术应用于汽车和机器人等产品。

在收入方面,Imeldi目前不打算从ARVR内容制造商那里赚钱,但希望在获得足够的市场份额后考虑利润问题。

与此同时,该公司还与知识产权机构合作,希望通过一些技术许可来赚取收入,例如允许手机制造商将自己的技术应用到产品中。

英梅杰由首席执行官朱于聪和首席技术官李小波于2014年共同创立。它一直从事计算机视觉技术的发展。它以前开发过AR购物产品,但是今年它把所有的精力都放在了HandCV上。

对于下一个方向,朱于聪表示,手势识别是第一件要做的事情,其他计算机视觉技术也将被探索,但目前没有其他产品方向。

他说,技术不是为了炫耀技能,而是为了有好的应用场景。

此外,他认为Slam对初创公司的价值已经结束,现在这么做为时已晚。

朱于聪认为,他押注于HandCV的原因是该产品抓住了用户在移动虚拟现实体验中的痛点。

他认为轻度互动是一个单一目的的市场,重度互动是一个手柄市场,而基于深度相机的手势跟踪定位错误,市场不够。

在沉浸感看来,用手势去代替目前手机盒子通过“转头+一个点击按键”或是“转头+触摸板”的交互设计看起来是个不错的方案,但是否能受到用户的认可,还需要产品推出后的进一步观察。从沉浸感的角度来看,用手势通过“回头+一键式按钮”或“回头+触摸板”来取代目前手机盒的互动设计似乎是一个不错的解决方案,但在产品推出后是否能被用户接受还需要进一步观察。

You may also like...

发表评论