从 2 份专利文件,一窥 Amazon Go 到底藏了什幺新科技?

从 2 份专利文件,一窥 Amazon Go 到底藏了什幺新科技?

Amazon Go 令人惊豔的地方,就是你可以直接走进超市,选好货品之后立马离开,不用在收银台前排长长的队伍,等待结账。

从 2 份专利文件,一窥 Amazon Go 到底藏了什幺新科技?

甚至还莫名有一种从商店「抢劫」的快感。

从 2 份专利文件,一窥 Amazon Go 到底藏了什幺新科技?

我们说,行动支付颠覆了既有商品交易方式,那幺这种「抢劫式」的 Amazon Go 甚至连「交易感」都消灭了。

总之,人们被这种新奇的似乎隐含了某种黑科技的新型购物方式所吸引。不仅是普通人,就连史丹佛教授李飞飞、着名科技出版公司 O’reilly 创始人 Tim O’Reilly 都特地发推点讚。

李飞飞:电脑视觉十分显着和绝妙的应用!

从 2 份专利文件,一窥 Amazon Go 到底藏了什幺新科技?

Tim O’Reilly:零售业的未来,我对此已经期待很多年了。

从 2 份专利文件,一窥 Amazon Go 到底藏了什幺新科技?Amazon Go的亮点

用户进入商店,穿过闸门的时候打开手机让其辨识,这时手机里的系统启动,并随时準备更新物品清单。令人惊豔的部分就是,在用户拿走或放回物品的一瞬间,手机里的系统会自动更新清单。最后,用户拿着物品满意地离开,手机自动扣款。

从 2 份专利文件,一窥 Amazon Go 到底藏了什幺新科技?

这里面到底有什幺黑科技呢?就官方发表的影片来看,技术亮点有 3 个:机器视觉、深度学习演算法和感测器融合。

从 2 份专利文件,一窥 Amazon Go 到底藏了什幺新科技?

但仅有这几个关键词还是不够的,雷锋网遂向亚马逊在职员工进行採访,但是对方表示 Amazon Go 还属于保密项目,公司要求不能对外透露任何细节。

不过在 Quora 上,有一位名为 Brian Roemmele 的网友挖出了几年前亚马逊提交的两份专利文件,里面描绘的系统跟如今的 Amazon Go 非常相似。这两份文件名称为:「侦测物体互动和移动」(Detecting item interaction and movement)和「物品从置物设备上的转移」(Transitioning items from the materials handling facility),两文件分别于 2013 年和 2014 年申请。

这两份专利文件都描绘了十分庞杂的应用场景,包括:货仓、船运、零售市场等,所以很多人当初在看到这份文件时,都以为这是亚马逊为自己的仓储系统量身定制的,不过今天一切真相大白。

这两份专利分别讲了什幺?

「侦测物体互动和移动」(Detecting item interaction and movement)这份专利的摘要是:

「物品从置物设备上的转移,\(Transitioning items from the materials handling facility)这份专利的摘要是:

总的来说就是,被辨识的物体与用户发生关联,能自动更新清单,并在「转移区」进行自动交易(「转移区」在 Amazon Go 里指的就是商店的出口)。

我们可以从下面一张图里,一窥 Amazon Go 的基本原型。

从 2 份专利文件,一窥 Amazon Go 到底藏了什幺新科技?

图中代号为 208 的物体都是镜头,大约有十多个(有一些被人体挡住)。208 镜头分别置于天花板(如图左右两边各有一个比较大的摄影机)、货架两侧和货架内部。文件里描述到,天花板上的 208 用来採集用户和货品的位置、货架两侧的 208 用来捕捉用户的图像和周围的环境,货架内的 208 用来确定货品的位置或用户手的移动(进入和离开货架)。

而从影片里,我们隐约能够看到安置在货架内部的镜头。

从 2 份专利文件,一窥 Amazon Go 到底藏了什幺新科技?

另外,专利文件里还补充:这里的镜头可以是多种类型的,可以是 RGB 镜头,或深度感知镜头。除了镜头之外,也可以有其他输入设备,比如压力感测器、红外线感测器、体积位移感测器、光幕等。压力感测器可以侦测物品移出和进入的时间,红外感测器可以用来区分用户和的手和物品。

我们具体并不清楚 Amazon Go 到底在多大程度上使用了电脑视觉技术。比如说,当用户进出商店时,都需要对用户进行辨识,文件里反覆提到可以用人脸辨识技术实现,但是又会继续补充说明可以透过手机等行动装置来侦测。

Quora 网友 Anurag Ranjan 是一位机器视觉和深度学习领域的準 PhD,他分析称:

但是根据专利和既有经验来看,在整个过程中用电脑视觉来追蹤用户,代价太高了。我们大致可以确定的是,货架上的一排排镜头应该就是对用户进行「动作辨识」,并且辨识出物体是否被拿走(这里也或许是感测器完成的)。

不过整个过程中的难点是,如何将物品与用户进行唯一绑定?

云从科技高级演算法工程师周翔告诉雷锋网,Amazon Go 具体用到哪些技术,目前我们只能够猜测,他提到可能的实现机制是:

周翔提出,可能 Amazon Go 根本没有用到人脸辨识的技术,「国外对人脸的隐私权是比较高的,未经允许採集他人的人脸会被告的」。雷锋网也关注到,在李飞飞的那篇推文下,有网友对此持抵触态度,认为如果是人脸採集,侵犯了自己的隐私。

Amazon Go 的出现惊豔了很多人,不过并不是所有人对此表示欢迎,除了上文提到的隐私问题外,有不少人担忧,如果这种技术大範围普及(我们知道亚马逊是多喜欢 2B 业务),大量超市收银员将会失去工作,毕竟亚马逊在影片里承诺要在 2017 年初,于西雅图上线第一家 Amazon Go。

不过这种技术究竟有多少「实用性」,还是存在很多的疑惑的,例如:

「所以,这里要求购物的人得非常有水準才行」,周翔对雷锋网说。我们对 Amazon Go 的诸多疑惑,或许过几个月就能在西雅图见分晓。