晋城冰箱价格联盟

【解读】京东智能冰箱图像识别技术

只看楼主 收藏 回复
  • - -
楼主

李鲁

曾经负责京东智能冰箱硬件产品定义、设计开发、供应链管理、厂商合作等方面工作

曾祥云

京东智能冰箱业务组资深产品研发工程师,图像识别技术专家

目前主要负责智能冰箱图像识别相关产品业务,以及智能家电场景场景下的创新创意研发工作

智能冰箱图像识别技术业界概况



随着人工智能领域的技术突破和行业的高速发展,目前不论是国内市场还是国外市场,都在将传统制造+人工智能技术做更多更广的应用,在智能冰箱行业也不例外,从今年年初的国际消费类电子产品展览会(CES)到中国家电及消费电子博览会(AWE)上,智能冰箱中的图像识别技术无疑成为两大博览会的最大看点;


从展会上我们非常直观地了解到,各大冰箱制造企业,都纷纷亮剑,比如三星推出Family hub 2.0系统,采用view inside摄像头来让用户查看冰箱内部食材,随后,这些物品的图像会被添加到购物清单里,用户可以方便地通过应用程序groceries by mastercard订购食材; LG SmartInstaView冰箱拥有一个2.0万像素的全景超广角镜头摄像机,可以从各种不同的角度捕获内部的图像,可通过智能手机访问;通过图像识别技术,不断丰富识别食材的种类,记录用户的日常饮食数据,同时京东和美的早在2016年5月年在CESA上联合发布了冰箱最新智能解决方案,搭载智能体感、图像识别及营养推荐功能的美的智能冰箱;在今年5月22日,京东“多场景多终端智能商业战略发布会——暨京东智能冰箱联盟成立仪式”在北京举行,并在当天推出了一款带图像识别功能的智能冰箱,可实现冰箱开门后0.02度瞬间抓拍,图像识别响应速度200ms内,行业内首次实现了极速实时反馈图像识别结果。


智能冰箱图像识别行业解决方案


硬件上,为了实现图像识别技术,在箱体内部安装获取冰箱内部食材的摄像头和必要的传感器,已获得更好的图片供云端识别引擎来识别,从今年两次博览会和最新智能冰箱市场看,图像识别硬件方案大部分是在冷藏室里每层都安装一个摄像头,冷藏室三到四层就有三到四个摄像头,甚至部分智能冰箱在每层安装两个摄像头(比如美菱的CHIQ就有8个摄像头),当然也有在整个冰箱里,只安装两个摄像头的解决方案,其中京东智能冰箱就是这样的典范,京东智能冰箱拥有全球领先的门箱互拍技术,通过冰箱内置双摄像头可以准确获取冰箱内都有什么食材。


软件上,从识别架构上看,基本采用冰箱客户端采集图片,上传到云端识别,再将识别结果返回到客户端(冰箱端和手机端)展现,从算法框架上讲,图像识别技术大多采用深度学习方法;据了解部分还采用了深度学习+传统方式相结合的方式,更好的解决数据颗粒度问题,而京东图像识别技术就是其中的应用者和实践者;常见的深度学习框架包括不仅限于Theano、TensorFlow、Torch、Caffe、MXNet、Neon 和 CNTK,以下图表展示了各类深度学习工具的优劣。

这组对比参考了多种公开基准评测,希望对大家能有所帮助。


京东在冰箱图像识别技术的突破和尝试


大家都知道,图像识别技术是数据为王的技术,数据多少直接决定图像识别技术的精度,京东在过往的三年智能冰箱研发过程中,积累了大量冰箱场景下优质数据,这些数据是直接从冰箱环境中产生的,是解决冰箱环境下图像识别技术的最关键因素,三年来,京东组建团队,从冰箱数据采集和标注开始,精准环境下累计采集超过50万张图片,数据标注量超过1000万,可覆盖日常家庭冰箱中98%的食材,识别精度高达96%。


深度学习技术大面积运用到智能冰箱场景:食品位置检测、食品识别、过期提醒、图像畸变处理、图像美化等;超过100层的深度检测识别网络,同时能确保识别响应速度在200ms以内,对抗生成网络技术使得智能冰箱自适应的去除图像畸变,风格迁移技术能够让用户家中的食品呈现出广告主图的效果。无论数据标注量和深度学习技术,京东冰箱都做到了业界领先。


京东的企业文化在以客户为先的原则下,不断创新,目前京东还在积极尝试精准识别范畴的品牌识别,更好地为企业主解决精准推荐问题;同时还在异常图片处理上积极探索,彻底解决用户图片隐私问题,让每个购买京东智能冰箱的用户放心使用带摄像头的智能冰箱。


图像识别对用户的价值和未来应用


京东智能冰箱有自己的“眼睛”后,了解“肚子”里装了什么以及“库存”,帮助用户便捷管理、采购食材,更健康地生活。京东图像识别技术结合京东大数据技术,彻底解决数据孤岛问题,能根据用户过往饮食情况精准推荐用户喜欢的菜谱,智能提醒食品缺货补货,食品健康管理,还可通过图片分享做更好亲情关怀,让冷藏区变成有温暖、有情感关爱区。京东图像识别技术结合京东最强的供应链服务,冰箱在完成我们强大供应链的最后一公里的服务同时,从食品溯源、食品安全、食品管理,食品品控等全方面解决用户痛点,用户再也不用担心购买的食材不健康和不新鲜问题。由于京东智能冰箱更懂用户的需求,结合在冰箱场景下推出更多精细化服务,让冰箱成为物联网服务的入口,建立基于厨房环境下的情景化购物,打造一个集美食、购物、娱乐与健康管理于一体的智能冰箱生态圈,既让普通用户得到便捷和实惠,也成为冰箱企业共同的商业愿景。


未来我们还将基于厨房环境下多设备联动和数据共享积极探索,做更多有价值的事情,真正帮助用户更加简单和健康地生活,让多场景多终端智能商业战略落到实处。


注:想了解更多京东前台的前沿技术,敬请关注“手机京东技术团队”

长按,识别二维码,加关注


举报 | 1楼 回复

友情链接