「三清才子」刘铁岩:用好奇心探求AI边界(视频)
编者按:2018年12月28日,由网易智能、清华大学数据科学研究院和25家评审机构共同评出的「2018中国AI英雄风云榜」年度人物榜单揭晓,10位人工智能领域的从业者获奖。其中,微软亚洲研究院副院长刘铁岩凭借多项创新研究获得了本次评选的技术先锋奖。
“我觉得学者的宿命就是终身学习。”
坐在微软大厦的办公室中,没等记者开口,一向健谈的刘铁岩直接进入畅聊状态。
01
从“三清”学生到三次研究转型
从小在黑龙江长大,刘铁岩总是对新事物充满好奇心。1994年,他如愿考上了清华大学电子工程系,回忆起当时的情景,刘铁岩表示,清华大学是理科生梦想的地方,而电子工程系也是当时最理想的院系。
就这样,刘铁岩在清华大学电子系学习了9年,成为了典型的“三清”学生(本科、硕士、博士均在清华大学就读)。据刘铁岩回忆,读博期间,他做了很多关于多媒体信号处理的研究,但加入微软亚洲研究院之后的十几年里,他的研究涉足信息检索、机器学习、博弈论到强化学习等多个领域。“我们所处在的行业飞速发展,唯一不变的就是变化,逆水行舟不进则退,只有不断学习新知识、拥抱变化,才能保持学术青春。”
交叉、跨界、转型是刘铁岩不断探索新领域新技术的主题。
而作为学者,对新知识的好奇心,是刘铁岩敢于研究一个又一个新领域的重大驱动力。
刘铁岩的第一次研究转型在加入微软亚洲研究院之后。据其回忆产品目录,当时多媒体信号处理领域有一个公认的问题就是语义鸿沟。刘铁岩解释说,“我们能处理的多媒体信号,比如图像、视频,这些本身并不是包含语义的,但是我们希望从中得到的信息,比如图像分类,人脸识别、物体跟踪等,都是含有一定的语义信息的。这种底层的简单信号与高层的有语义的目标之间的差别就是语义鸿沟。”刘铁岩认为,当时大量的多媒体领域的研究人员都在做特征工程,用以弥补语义鸿沟,而不是关注算法和模型本身,刘铁岩感觉自己“偏科”了。
因为这些问题,刘铁岩开始关注文本信息处理。2004年,刘铁岩与卡内基梅隆大学的文本分类领域的资深专家杨颐明教授达成合作,他们共同搭建了当时世界上最大的、近三十万类的文本分类系统。此后,他还开展了大量的关于文本信息检索的研究。在信息检索领域,刘铁岩最为出名的就是引入机器学习的思想,创建了“排序学习”这一个学术流派。在2006到2009年,刘铁岩和他的团队在SIGIR、WWW、ICML、NIPS等顶级学术会议上发表了大量的关于排序学习的论文,事实证明,该研究给信息检索领域带来了重大变革。
刘铁岩借由排序学习的研究对机器学习领域有了非常深刻的认识,而随着这种认识的进一步深化,也开启了其第二次研究转型。
“在排序学习领域做了多年之后,我意识到主流的机器学习都会假设数据先于学习过程而存在的,并且不受学习过程的影响,但是这个假设与我们实践中的很多情况都不一致。比如说我们做的网页搜索、广告排序,很多数据都是人为产生的,当你把从这些数据中学到的模型运用到实践中,是会改变人的行为的。而人的行为变了,数据也就变了。”刘铁岩说,我们希望数据独立于模型而存在,但是数据会受到模型影响,这种情况下,我们学到的机器学习模型的效果可能会大打折扣。
为了解决这个问题,刘铁岩和他的团队开始研究博弈论,因为博弈论会考虑多个智能体行为的相互制约,以及机制对于智能体行为的长效影响。他们将博弈论的思想用在互联网广告和云计算的机制设计上,确定了很多研究成果,也为微软的相关产品转化了很多技术。
近几年,刘铁岩发现博弈论本身也存在一些问题,比如只能分析简单的过程、主要关心最坏的情况等。而实际中,我们面临的问题往往非常复杂,而且平均情况比最坏情况更有实际意义。为了解决这些问题,刘铁岩和团队又开始了第三次技术转型,把博弈的思想和基于数据的机器学习方法充分结合,通过深度学习、多智能体强化学习等最新技术手段,来综合解决问题。
刘铁岩自己总结说,“解决原有学科面临的挑战,是刺激我去研究新方向的主要动因。”但他同时表示,主动的学术转型和盲目追逐热点有着天壤之别。主动转型的目的是扩大知识面、开拓学术边界、增大实践价值。为此,常常需要从热点方向上转出来、去学习和研究一些目前相对小众的方向。这种转型是为了使学术实力更强大,为日后做出更了不起的研究打下基础。
02
“指哪打哪”研究流派与对偶学习
如果研究也有风格流派的话,刘铁岩将自己的研究风格总结为有着强烈直觉,“指哪打哪”的研究流派。他总结为以下两个方面:
第一,研究是要去解决重要问题的,要有一个非常明确的目标。
第二,解决问题的技术要有很强的逻辑链路作为支撑,要有规划、有设计,而不是误打误撞、盲目尝试。
他不仅自己践行着这种研究思路,也尽其所能,培养新一代年轻人的研究品味,并不断的影响和渗透。“我能够给与年轻研究员最多的不是研究的想法、写论文的套路,而是培养他们的研究品味,也就是选择什么值得做,什么不值得做,把好钢用到刀刃上。” 比如面对大家都在追的风口,要保持冷静,听从自己内心的声音,不为发论文而发论文,而是要去解真正重要的问题,发明可以推广、可以形成体系的方法。
2017年,刘铁岩同时获选IEEE Fellow以及ACM杰出会员,并晋升微软亚洲研究院副院长。
保持好奇心和不断探索新领域、勇于转变研究方向的心态,让刘铁岩永远不会满足于既有的技术成就,相反微软亚洲研究院刘铁岩,他时刻都在创新与突破的路上。
2018年3月,微软宣布中英机器翻译系统达到与人工翻译媲美的水平,是首个在新闻报道的翻译质量和准确率上可以比肩人工翻译的翻译系统。支撑这项成果背后的重要技术之一,便是刘铁岩和他的团队最新研发的技术——对偶学习。
对偶学习的产生是为了要解决现有深度学习方法过度依赖大量有标签训练数据的问题。据刘铁岩表述,人们关心的绝大部分AI任务都是为人服务的,但凡是需要交流的任务,就会有一个输入和输出,通常都会存在一个对偶结构。“两个任务,一个任务的输入恰好是另一个任务的输出,反之亦然。”刘铁岩举例说,比如机器翻译,中译英是一个任务,英译中是另外一个任务,两个任务互为输入和输出,形成对偶关系。再比如语音识别和语音合成,也是一组对偶任务。
也就是说,很多机器学习任务其实天然有结构对偶性,可以形成天然的闭环。一旦有闭环,就有反馈信号,就可以有效的去训练模型,这样就算只有很少的标注,也可以训练,从而解决了过度依赖数据训练的问题。
除此之外,刘铁岩还向网易智能介绍了自己最新的研究。第一个就是 to Teach「三清才子」刘铁岩:用好奇心探求AI边界(视频),这个研究基于对现在机器学习框架局限性的反思,希望将机器学习的三个要素:训练数据、目标函数、模型空间变成可以优化、学习和改变的对象,从而提升训练效果。
第二个是G-space ,这个研究是为了解决神经网络中由于使用ReLU激活函数带来的“病态”优化问题,告诉大家神经网络的权重空间存在很多冗余,在该空间中直接做优化是不好的,应该在更加紧致的链路空间中做优化,这样可以大幅提高模型的准确率。
03
新的机会
在微软亚洲研究院浸润了16年,对于研究工作本身,刘铁岩颇有感受。在他看来微软亚洲研究院刘铁岩,自己之所以能取得如此多的成就并不断进行着新领域的研究,主要在于微软亚洲研究院的开放的、积极向上的环境。
“研究没有那么明确的KPI,因为它本身就是多元的,更多的时候,我们是靠着自己的研究素养来判断研究的价值。”
刘铁岩认为,作为学者,他们正在迎来一波新的机会。随着微软亚洲研究院成立创新汇,刘铁岩和团队得以在金融科技、物流等领域与国内龙头企业进行合作,真正将AI运用到这些领域,推动其数字化、智能化转型。
对于创新汇的项目,刘铁岩依然保持着强烈的好奇心。在他看来,虽然拥有AI技术的人和拥有领域知识的人来自两个世界,在合作的时候会经历一个痛苦的磨合期,但产业大幕只是刚刚拉开,任何的AI落地都不是那么简单的,双方都需要去了解对方。
“比如,金融市场是动态的,传统机器学习领域的基本假设在这个问题上不再成立。我们只有充分了解金融市场的内在规律,才能研究出全新的机器学习模型。我们有强烈的好奇心去学习金融领域的知识,并且为其量身定做出高效的机器学习方法。过去两年的实践表明,通过和合作伙伴的深入互动,我们已经开发出了行业领先的智能投资方法。”刘铁岩说到。
来源 | 网易智能(公众号 )
【2019-20期】
【本文来源于互联网转载,如侵犯您的权益或不适传播,请邮件通知我们删除】