第一期《从茶园走向世界》之鬲融——兴趣照亮机器学习的黑盒

2021年03月20日

    十年之前,我们天涯四海未相识。十年之后,我们茶园再聚情似海。关于时间,有人说三五年太短,二十年冗长。十年刚刚好,适合怀念,适合希冀。在2021年的春天里,我们回望2011年。那年,交叉信息院在姚期智先生的带领下熠熠诞生。姚先生曾言“人生是为一场大事而来”。交叉信息院在成立之初就本着“为国家培养人才”,引领“中国图灵之路”这般大事而来。十年踪迹十年心,交叉信息院的学子们茁壮成长,从这里出发走向世界。桃李春风恰十载,在交叉信息院建院十周年之际特推出 《从茶园走向世界》 校友访谈系列,十位校友,十个故事,等你来听。

嘉宾简介

 

2002-2004年,鬲融连续两届获得全国信息学奥林匹克竞赛金牌,并于2004年国家代表队,在第16届国际信息学奥林匹克竞赛中,为中国斩获国际金牌。随后鬲融被保送清华,结缘姚班。

 

01 茶园记忆

      现在是否对茶园的某门课、某位老师仍然印象深刻?

       印象比较深的是姚先生教的几门课。当时有一门课上,姚先生留了一个线性规划的问题。后来上课的时候,他问有没有人想过。我想了一下,没做出来。但跟姚先生交流之后,他觉得这个想法很有意思。这件事给了我不少的鼓励,它让我知道了做研究不一定要完全做出来才能跟人讨论。姚先生教的理论计算机当时有两门课,我都是第一次接触,感觉非常新鲜,里面有很多想法也非常有趣。姚先生讲了很多通信复杂性的知识,里面有许多证明非常漂亮,现在依然感觉非常有意思。

 

       姚班的基础课给您的影响?

       基础课确实很有帮助。做研究很重要的一点是联系各种东西。有时候做研究,我感觉某样东西在哪见过,想了很久之后发现以前学过类似的,这种情况挺常见的。最初学的时候可能没有完全理解这些东西有什么用,但是后来做研究做到一定程度才明白这些东西是不可缺少的,比如线性代数、微积分等的内容。计算机不管是研究还是学习中用到的数学与当时课上学到的有所不同。做研究时,对自己没学过的课程,一开始看起来就感觉比较痛苦,比如在看梯度下降,梯度流的内容时,我就希望学过一点微分方程之类的东西,还有做优化的东西的时候碰到微分几何的东西,我也希望当时能学过。这些缺失的东西后面来学就会更麻烦一些,然而很多基础课可以帮我们提前了解这些知识。

 

02  在理论研究路上

      在谈到印象深刻的课程时,您多次提及趣味,是这种趣味让您从事理论研究的吗?

       可以这么说,我之前参加程序设计竞赛,也写过很多程序,但往往在写程序之前算法已经想好了,只要程序写对就肯定是对的。之后就逐渐感觉我的兴趣在算法设计,至于写程序,虽然并不讨厌,但是没那么喜欢,所以很多时候就不太想写了,也渐渐感觉到理论研究更适合我。

 

      请您说说在姚班以及毕业之后做理论研究的感受?

       姚班当时课程要求定得比较严格,因此基本上是在上课。不过姚班的课都挺有兴趣,比如姚先生几门课与陈卫老师的分布式的课,各种证明想法和平时都不太一样,这让我印象深刻。我从姚班毕业后就到普林斯顿跟随Sanjeev Arora做研究,一开始比较迷茫,不太清楚想要做什么。我在普林斯顿上学的第一年常常去听各种演讲,听了许多PCP的东西,也看了很多相关的内容,但是都感觉不太好做,非常的technical。我一开始做了几个小题目,但是彼此之间也不太有关联,一开始也不是很顺利吧。后来Sanjeev对机器学习比较感兴趣,我也对此有兴趣,于是就开始进行机器学习的研究,之后就顺利很多。

 

       您曾在采访中提到“理论上难,现实中有效”的简单算法,不知道您是怎样理解的?

       我研究很多时候就想搞明白为什么这些算法能如此有效。在深度学习中只要做SGD就比较好,虽然有更加fancy的东西,但很难解释为什么那些算法能够找到一个更好的解。除了这个例子,现实中也有很多简单的想法实效很好。这些东西在理论方面虽然各有解释,但解释和具体到现实的实践仍有距离。

 

       这种“深挖”是否算是您的研究哲学?

       我希望知道一个系统为什么能够正常工作,或者至少应该知道改几个参数后它的运行状况。或者说,如果有一天强人工智能实现了,但是实现时做了一个很大的计算机,去完全模仿人脑,通过这样的手段使得机器有人的智能,这样的结果对我来说是很难接受的。它不能回答基本的问题,我们无法知道对系统里稍稍改动后会产生什么影响。有时候人们对神经网络有一些直觉,对结构改造之后可能产生的影响有一些预测。但这些经验可能并不能泛化,有时候人们觉得必要的东西其实未必如此。比如在NLP中,最开始的各种任务人们都用 RNN,但后来发现很多其他结构和模型能做得更好,比如现在大家都在做Transformer。如果不从基础上理解这些东西为什么能做的很好,就难以回答一些之前提到的基本问题,也很难知道如果希望使某方面做得更好,我们应该怎么改进。

 

03  机器学习之我见

       您是如何看交叉学科中机器学习的应用?

       我觉得这是很好的一件事。我们现在有了深度学习、神经网络这些很好的工具,应该应用到更多方向。不过肯定有一些需要注意的东西,比如机器学习学出来的东西不应该被认为是事实,并不是在数据集上实现很高的精度就一定是好的。效果如何还得看应用、数据量、训练数据代表性等等。但如果不开始尝试都不会知道,因此现在开始把机器学习这些东西用在各个方向肯定都是好的尝试。对于交叉学科中的研究,我认为直接用现成算法,跑一下就更相信结果的做法不太好。更值得提倡的是,跑一下得到一些结果,然后想一想结果是不是好的,如果不好,想想为什么。很多情况下,比如医学方面,数据比较少,传统的学习方法就很难做好。此外在数据少、测试数据和训练数据分布差距比较大的情况下,应该怎么做?我的感觉是,虽然很多人在做这方面的研究,但是结果还比较初步,还需要更多的研究。

 

       您曾说“感觉最近机器学习这边热度很高,感觉整个领域都有一点浮躁”,基于此您对学弟学妹做科研有何建议?

       现在的环境是如此,感觉竞争比当初激烈了很多。现在申请者大部分起码都有一两篇论文,牛人四五篇甚至更多。人们发论文越来越多,由此造成的压力也越来越大。比如可能觉得有些什么想法就要赶紧写出来,而不是仔细考虑;或者选题时可能会顾虑这个项目短期是否能做出来。这些对于之后发展的并不是很有利。当然,这不是某个人的问题,也没有什么好的解决方案,现在环境如此。有些时候论文的发表也比较拼运气,感觉这方面对新人还是会造成一些困扰。我觉得我做的最好的工作是在博士后的时候,当时也完全没有想什么其它的因素,就遇见了一个自己感兴趣的问题。有时候很难预测什么样的研究有用,什么样的研究会有影响或有趣,但是如果在选题的时候就特别在意这个题能不能做出来,或者这方面压力太大的话,对后续或许不会有好的影响。

 

《从茶园走向世界》校友访谈组成员:朱追、邱子涵、温凯越、吕欣、谢琴。