Google 美国总部Android高级架构师梁宇凌:深度学习的处理方式与应用

原创
云计算
2016年8月26-27日,由51CTO.com主办的【WOT2016移动互联网技术峰会】在北京粤财JW万豪酒店隆重召开。自2012年以来,WOT品牌大会秉承专注技术、服务技术人员的理念已经成功举办十一届,不仅积累了大量的专家资源,更获得广大IT从业者和技术爱好者的认可和好评,并成为业界重要的技术分享及人脉拓展平台。
2016年8月26-27日,由51CTO.com主办的【WOT2016移动互联网技术峰会】在北京粤财JW万豪酒店隆重召开。自2012年以来,WOT品牌大会秉承专注技术、服务技术人员的理念已经成功举办十一届,不仅积累了大量的专家资源,更获得广大IT从业者和技术爱好者的认可和好评,并成为业界重要的技术分享及人脉拓展平台。
 
本次【WOT2016移动互联网技术峰会】分为10大技术主题,分别是应用架构、平台技术、创新技术、VR技术、前端技术、性能优化、直播技术、运维与安全、数据分析、APP技术专场。51CTO.com作为本次大会的主办方,将通过快速报道、现场专访与后期视频等多种形式,向广大用户全方位展示这场技术盛宴。
 
下面是大会主会场上来自Google 美国总部的Android高级架构师梁宇凌老师带来的主题为《深度学习(Deep Learning)的处理方式与应用》的演讲实录。
 

大家好,我来自谷歌,我在谷歌工作了4、 5年,我在谷歌工作了3个不同的部门。我现在的工作内容是主动预测助手产品里面的深度学习方面的内容。今天很高兴能为大家分享一下我的一些工作经验,关于深度学习一些心得和经验。
 
首先介绍一下什么是深度学习,然后,我想说一说对大家的产品构建有什么意义。
 
我想在座的各位的产品有用到机器学习的大约应该有10分之一,机器深度学习应该是更少。深度学习,就是现在非常火。如果说今年在硅谷,国内技术圈最火趋势,第一个VR,第二个虚拟现实,第三,就是人工智能。都是为什么这样的火。这个跟之前的有区别和联系?
 
今天我们大概流程就是三大块。第一,讲一下机器学习怎么回事。第二,深度学习原理简介。第三,深度学习产品构建。 
 
到今天为止,硅谷有上百家公司在做不同程度的深度学习。如果把机器学习看成一个简单的过程,这个里面有一些数据,数据进去了以后,一个黑盒子以后,出来一个结果,做持续一个预测。那为什么要关注机器学习?基本上机器学习跟以前的定性编程不一样的地方,我们有效面对大部分的应用程序,不可以覆盖到的情况。什么意思?我们写程序的时候,就是惯用想法就是把一些业务逻辑弄到里面,如果这个人就是有这种喜好,给他一个推荐。这个情况出现的时候,我们给他一个结果。但是,实际上在现在移动的时代,其实数据这个情况太多了。所以,机器学习,通过数据当中学到这个规律,把这个规律在产品当中通过其他方式可以得到一个判断,省去了手动学习的规则的必要。然后,现在都是在讲产品需要做一些个人定制,这个应对当前的用户一个情况,是未来新的用户加进来,还是要不断地迭代跟进。我们从一个数据当中学习到就是会更好。
 
而这个其实更有趣一些东西,其实深度学习,机器学习里面深度学习现在还可以做到很多以前不可以做到的东西。意味着什么?学术界看起来,我们人类的智商进一步地被逼近以外,对于更多从业者来讲,开阔了很多的机会,这些做到的事情里面就可以发现一些商机。这里两个例子,在大家的右手边儿就是用深度学习绘画的例子,那左边就是一张普通的图片,右面就是一个星空像,今天AI可以传一个图片,指定一个艺术风格,要梵高这种风格,就可以把这个照片按照梵高风格画出来,不只是这个。如果大家去外国网站,它还有几十种风格可以选,在半个小时以后,用深度学习画出来一个画像,而右手边实际上就是深度学习,自动配字幕的过程。就是机器描述这个图片,做的就是什么呢?首先就是用图象识别的方法,就是在这个图当中找到各种关键的物件。就是把这些转换成文字,生成一些语句,对这些进行排序,最后得出什么呢?就是给人描述一个结果。这个就是深度学习在理解处理的领域,最近得到的一些非常好的一些结果。大家可以看到,这个基本上最后一行一个女人拿着相机在人群当中,就是原来描述这个图片会写的到的东西。
 
机器学习架构就是这样的,一般分两大部分。第一就是训练,因为要机器学习就是给你一些预测,你必须有一个学习的过程。我们需要有训练的数据。比如说,一般来说,我们数据其实都是来自于用户使用产品的生成日志。这个日志放到一个计算机,放到机器学习的里面,生成一个模型。把这个模型存起来,大部分时间还是存云端,现在有一个新趋势,就是把它向客户端,移动终端推。这个模型经过训练以后可以做到预测。然后,新数据进来的时候,没有看过新数据,还是可以根据以往数据做一个比较类似的判断。基本上就是训练跟预测两个部分。
 
主要的机器学习类型分三大块。第一就是机器学习,大家看一些教科书,都是会看到。监督学习,训练数据有被标记的。例如说,我要做一个预测房价这样一个应用,数据,一边儿说卖房子的记录,这个房子是5环3环以内的,多少平米,这个附近的有什么名胜景点?就是会有一个标记,就是这个房子出售价格多少?这个机器学习就是学习了这些,房子大小。我们预测到房价,最后跟这个实际的房价做一个对比,然后进行一个学习。接下来也是详细看一下无监督学习,现在特定场景就是做一个用户画像。比如说,就像刚刚老师做的Stitch Fix,就是为用户做购买推荐。然后,其实你要把用户进行一个归类跟画像,如果手动就是太慢,这个是什么大妈类型的,这个是毕业生类型的。我们一般的做法就是什么呢?我们搞一个无监督学习的算法,如果可视化以后,这个里面就是有数据的。再进去看,分析具体这些特征是什么?人工发明一个标记,这些其实就是大妈的。
 
第三,就是强化学习,在学界里面有人讲了,这个也算无监督学习,我个人认为,有一个反馈的函数。所以,也不是完全没有标记,什么是强化学习?我们都是知道,AlphaGo下围棋,还有就是自动玩儿游戏,就是再一个固定规则之下,通过不断地做一些行为,然后,得到现场一些反馈进行学习的一个过程。
 
我们实际上在做了一个模型判断以后,我们预测这个房子卖100万。但是,实际售价200万,我们做一个判断,这个判断是错误的挺离谱,差一半。我们用函数反映这个结果的,这个离实际差多远,这个损失模型,这个损失很重要的一个作用,就是用它找到最佳的参数?怎么找到呢?记得吗?就是在大学里面学的高数。给你一个曲线的梯度,我们计算损失函数,因为不断地进行一个梯度下降,我们找到最后的函数。在深度学习里,因为最后不可以成为限性,其实一样的原理,还是可以用的。
 
深度学习又是机器学习里面的分支,通过科学里面的一些人脑构造方法,来构造的一个人工智能一个模型,这个60年代就开始流行。由于当时种种原因没有流行起来,这个是很好的一个想法。但是,这个跑起来不可以的,是需要更多的计算能力。但是,在2012年的时候,图像世界有一个计算,斯坦福一个教授创立的。基本上每年公司跟学校在竞赛里面尝试,把这个错误率降到尽可能很低。12年的时候有一个交换深度学习模型,一下子降到8,当时引起很大的轰动。有一点像在奥运会刷记录那个感觉,接下来深度学习各种竞赛当中说数据。
 
深度学习奇妙的地方,因为就是造物过程模拟这个AI,所以,我觉得实际上是做出智能来。做深度学习的时候,深度模型做出来以后,拿到结果。自己不知道为什么结果这样的。研究一下,自己为什么胜出?然后,解读一下,为什么这个模型可以再发一下呢?深度学习的应用场景,语音识别,计算机数学。所以,就看一下,像大家在云搜索上面的准确率提高了,这个效果也是很好的。
 
那深度学习让人兴奋的地方,我说一下。这个在12年的时候,因为开使用深度学习就是直线下降,今天已经超过人类这个水平。所以,大家可能还记得,计算机里面有一个东西叫做图灵测试,一个人机对话,因为我们把图灵测试广义看一下,只是针对单向用户,人是分不清楚,计算机做的,还是人做的。做一个广义,图像识别,这个计算机为基础的我们通过这个测试。另外就是微软发表的一个,就是这个语音识别上面一个效果,这个就是更加明显了,就是10年没有进步的一个情况深度学习一下子下降了。所以,学界,大家就是疯掉的一个。
 
为什么这个深度学习现在可以火?还在讲为什么可以火?这个是更广为人知,左边就是刚刚讲的,一个杂志的封面。右面就是围棋,李世石打败一个系统。所以,这个情况下,就算是在学界里面,其实已经不只学界,工业界也是在应用,谷歌也是在用,语音,图象数据,也是有很强的能力。所以,他觉得这个是非常适合谷歌应用的一个。所以,在左手边儿一个图片可以看到,谷歌在内部的应用学习,就是深度学习的一个项目的数量。右手边可以看到一堆的产品。
 
为什么深度学习以前不可以,现在可以呢?百度的首席科学家讲过非常好的一个说法,机器学习其实有一点像火箭升空的原理,火箭看起来很简单,就是一个巨大引擎,一个原料把一个东西升空了,需要足够原料,需要足够强大的引擎。没有原料,法国足够引擎就是会掉下来,这个说起来,什么是原料?就是今天的数据。因为有了移动终端以后,我们每天收到大量的数据,这个扩展到智能家居,扩展到车载。今天收集到数据量会增加,不会减少。今天的计算得益于游戏玩儿家,显卡发展了以后,这个显卡可以加速机器学习的。然后,再加上云计算,分布式发展,让大规模地训练成为了可能。之后,在这两个数据跟计算能力都是有了保障情况下,学术界在这个基础上面做了很多的算法改善。
 
那在移动应用深度学习什么意义?今天很流行做聊天机器人,因为深度学习,语音识别正确率大大提高,效果就是更好,就是有更多的数据。可以让用户跟着我们系统做更好更密切的交互。然后,拿到各种各样的数据。
 
接下来,刚刚讲到的方法,也是在推荐系统,也是用户画像可以做到很大的帮助。还有一个,就是深度学习,在今天发展出来了,就是学术界里面,算法上不断进行创新。在工业界里面,硬件上面也是不断地发展。现在已经有几家公司做一些针对端的这种深度学习的芯片,刚刚也是讲的,GPO可以做到很好加速。现在都是把算法写到芯片里面进行直接的硬件加速,所以非常期待以后在手机,还有可穿戴设备做到很好。
 
这个产品可以用上深度学习吗?有几个判断的标准。很多数据,第二,有没有计算的能力?因为有各种各样的开源的框架,谷歌的还有其他的,都是有不同的一些工具。不同的公司业务开放API,问题有这个大数据吗?因为深度学习需要什么呢?就是需要传统机器学习。然后,还有一个很重要的,往往大家会忽略掉的。做一个机器学习了以后,做完以后怎么样?有一套完善的评估的一套体系。有一些东西不可以被评估,我做机器学习评估模型,让用户变得更开心。他怎么开心?这个就是很难定义,通过一些参数,或者其他。
 
未来数据看一下,可能是训练觉得这个好,但是,用户并不买帐,用户活跃度下降,这个什么原因?是不断迭代优化。
 
最后讲一下深度学习的一个行业版图。这个是在分析的,就是硅谷的深度学习的各个领域,我们其实可以看到,从核心技术,其实有密密麻麻的,从大到小,亚马逊,到谷歌这样大巨头,到创业公司都是有的。有很多的创业公司就是用机器学习。像做很多的2B的,2B还没有颠覆,怎么用机器学习,就是让这个流程更高效,还有就是机器学习颠覆这个行业,最著名就是无人驾驶汽车,到今天已经源源不只是谷歌了,百度几家做了。好几家创业公司都是做类似的事情。据我所知,接下来还有创业公司会做这样的技术。这是一件非常好的事情。接下来,无人驾驶汽车的发展非常值得期待的。
 
然后,刚刚讲到VR,更多是AR,机器学习上面有很大的应用,为什么用机器学习?就是回到计算机视觉上面一些应用,也是非常有帮助的。
 
最后总结一下。深度学习,就是神经网络在今天的大数据,80年代,神经网络火一阵子以后,在现在天时地利人和条件下重新复苏,跟以前没有太大的分别。但是,在这个数据跟计算能力保障了以后有很大的发展,接下来学术界在这个基础上面做很多的算法改进。在这个连续数据领域,视觉,语音,语义上面做了颠覆性突破。像CNN,RNN,等深度学习方法,不应该看成学术界里面用。而是保持比较开放的一个态度,学术界在这个方面做出这样的东西,应用到产品当中。这个硬件加速在移动终端的机器学习会做的越来越好。这个是我的一些分享,谢谢大家。
 
以上是51CTO.com记者从【WOT2016移动互联网技术峰会】一线为您带来的精彩报道。一大波精彩内容报道正在袭来,敬请持续关注!
 
责任编辑:关崇 来源: 51CTO
相关推荐

2012-03-26 20:10:58

去哪儿架构师艺术家

2015-07-24 10:54:02

WOT2015情景计算

2011-10-23 11:21:22

DevOpsQcon乔梁

2014-07-26 14:27:31

运维Puppet

2014-05-20 10:25:16

刘宇WOT架构师WOT2014

2011-03-11 15:38:08

Java

2023-07-10 08:00:13

架构Rest返回值

2009-12-15 17:19:23

架构师梁远华聚聚呀

2017-11-03 13:30:41

深度学习TensorFlowGoogle Brai

2010-12-16 11:05:36

数学程序员Google首席Jav

2009-12-31 14:25:19

Silverlight

2017-04-17 10:05:51

Hadoop错误方式

2012-04-13 16:02:01

梁念坚微软

2020-06-28 14:15:52

前端架构师互联网

2011-12-23 15:56:02

2013-04-27 18:03:27

大数据全球技术峰会大数据CIO

2014-08-25 09:03:44

HuluSpark On Y

2023-10-08 20:31:18

React

2021-03-31 09:11:27

URLErrorHTTPError

2010-01-18 16:58:29

VB.NET Over
点赞
收藏

51CTO技术栈公众号