02 科研之路：上士问道，勤而行之

Q：您是在什么时候决定走学术这条道路的？

A：在本科的时候，我从大一大二的时候就开始想以后准备读博士，这种想法我觉得也蛮正常。我觉得对大部分本科生来说，读博士其实是一个不错的选择。即使你不把科研作为最终的职业，读博士之后然后找工作也不错。至于什么时候决定留在学术界，其实应该是在读博士的后期才考虑的。刚开始的时候我只是想把自己的科研做好、把博士读好，只是到了四五年级的时候才开始想是要去工业界工作还是找教职。

Q：您的博士导师 Sanjeev Arora和姚先生都是非常重要的计算机科学家，您认为两个人之间的研究风格有没有什么异同，他们两个人分别对您有什么影响？

A：共同点就是我能看到姚先生与Sanjeev都对科研非常执着和热情。姚先生最近还有很多单一作者的工作。我想他肯定是日理万机，但他还在如此活跃地科研，我十分敬佩。有时候我回到院里做讲座的时候，非常荣幸地能看到他也来听。我跟他聊的时候会讨论一些科研问题，他对所有的前沿的问题都非常关心，而且对细节其实都很了解，我觉得这是一种对于科研的执着。Sanjeev也是这种风格。他对他关心的问题会执着地追求，当我们很难在一个研究方向上走下去的时候，他还会一直想新的思路，然后把问题做下去。

Q：本科期间做的工作跟您现在的科研方向好像是有一些不同的，您是如何决定您自己现在的科研方向的？

A：有很多原因，我开始决定做理论机器学习是从读博士的时候开始的，主要是受到当时导师的影响。Sanjeev当时想做理论机器学习算法的问题，所以基本从第一年开始，我就开始跟他做这个方向，最开始的时候可能做的还更偏算法一些，后来就会更偏向机器学习。

Q：讨论一些更加偏向科研哲学的方向的问题。您在之前的采访里面提到过，说您的工作会去追求一种长期效应（long term effect），您是怎么样具体定义这个事情的，然后他在实际的操作中是如何体现的？

A：关注long-term impact主要是希望每个工作都能比较有质量、关注一些比较长期问题，而不是简单的写论文然后发表就大功告成了。即使论文关注的是一些比较技术性的问题，也希望这些技术有比较广的应用。从做科研的方法上来讲也类似，比如说在读博士的时候，多学一些技巧，多关注一些不一定直接用在科研项目上的一些技术。我在读博士的时候也做过挺多方向，有很多东西当时在学了之后，也没有直接发论文的，但是后来慢慢的在研究中，这些技术还是会用到的。当然，不一定说做的每件事情都能有长期的影响力，但至少这是一个值得努力的方向。

Q：您现在科研工作的主线是什么？您认为现在比方说理论机器学习领域里面什么样的问题是最重要的？

A：我现在主要做理论深度学习。理论深度学习的问题有很多，不只是有监督学习，也包含神经网络在无监督学习和强化学习中的使用，还有神经网络的鲁棒性等问题。我的组里每个学生的研究多少有些不同。但是大家的主线都是用在研究深度学习或者说神经网络在不同的领域里面的使用。

Q：您刚刚提到说您现在主要研究的问题是深度学习，然后我们知道说深度学习的实践与理论之间似乎还有比较明显的差距，您是怎么看待这种差距的？它会消失吗？或者说大概都在多长时间内会消失？

A：确实是有些差距，但是我觉得这一定程度是正常的，而且也正是为什么发展深度学习理论有趣有意义的地方。深度学习实践的发展速度非常快，理论想很快理解所有的这些问题，也确实有一些难度，因为我们的理论工具、数学工具可能并不完善。但理论和实践一定程度上也是相辅相成的，在实践很成功的时候，理论可能更多地在提供解释和理论支持。但是当实践遇到瓶颈时，理论反过来可能就会给实践一些灵感。并不是每一个理论都能有这样的效果，但是有一些理论我相信是能对实践有帮助，这也是我希望能够发展的理论。我们之前的一些工作已经有这样的效果。我90%的论文都有一些实验，用来证明理论是有实际的相关性的，而不是纸上谈兵。理论启发了有一个新的方法，我们就用实验去测试这个方法的实际效果和潜力。我希望也觉得这样的理论会越来越多。

Q：您刚刚提到的事情是就是说在理论机器学习这种东西的研究里面需要很多数学工具。之前我们采访鬲融学长的时候，他也提到了这个事情。您对这种现象有什么看法，您对这些工具的掌握大概是在什么时候进行的？

A：我们主要是逐步地发展数学工具，从一些已知的数工具，比如线性的系统，逐步发展到非线性，一点点地变得越来越复杂和更实际。至于对之前的已知的技术学习，我基本都是通过各种科研的项目积累出来的。每个项目都可能需要一些工具，就需要去找一些论文，然后再加上自己想一想， 在理解了已知的技术后，发展一些新的技术。

Q：您认为我们手上已经有的数学工具足以解释神经网络的？

A：对这个问题可能没有一个直接的「是或否」的答案，主要是取决于怎么定义解释或者要解释哪一部分，以及什么叫足够。神经网络里面有不同的问题，比如有优化的问题，有泛化的问题，或者approximation theory的问题。还有刚才提到的把神经网络用在不同的场景上，比如说无监督学习或者强化学习。对于有些问题，工具会更成熟一点。比如对于泛化的问题，有一些统计学工具对非线性并不是很敏感（比如说集中不等式）。而一些其他问题的技术可能就很依赖于线性特点; 比如优化问题, 会受到一些技术的限制。不过现在也有一些进步了。

Q：您现在不仅是一个学者，也是一个老师。我在您的主页上看到说您现在正在执教CS229，这是非常著名的人工智能课程。这种执教经历跟您的科研有什么体验上的不同吗？

A：区别还是很大的。科研的话，目标是为了探索发现。教学的重点是要让学生去理解已知的知识。已知的知识也分熟知的结论和最新刚刚理解的新发现。教学就是要把知识以一个最简单或者说最符合逻辑的方法教给学生。尤其CS229的学生是非常多样的，来自从不同的院系，比如有音乐系的，有商学院的，也有历史系的。所以教学的目标其实跟科研还是有很大区别的。

Q：您除了在高校工作过以外，似乎也在 MSRA 和 Google 等企业研究院做过一些工作，你觉得这两种工作对您而言有什么区别？

A：对于我的实习，和学术界是没有本质区别的。我在MSRA其实就是跟陈卫和王亚军老师做科研。我在Google是和Moritz Hardt and Ben Recht做研究。他们现在都在Berkeley当教授，所以我在Google时的科研从某种意义上讲和学界其实很像。

03“放荡不羁”的茶园时光

Q ：我们之前采访过鬲融学长，他也提到过你们之间有非常多的合作，请问您如何看待院友间的的合作？

A ：我和很多同学在毕业后依然保持经常的联系。我和鬲融学长还有更近的一层关系。我们博士是同一个导师，所以他更多的是一个师兄或者说是一个mentor。我在博士一年级的时候他是五年级，给了我很多帮助，也教了我很多技术，他在博士后的时候，我也是低年级的博士生。他是一个非常好的一个mentor。我在合作中学到了很多东西。我们也一直保持长期合作的关系。我在斯坦福任职之后跟他和他在杜克的学生也有合作，我们关心的问题也比较也比较相像。

Q：作为博士生导师，您指导来自茶园的学生有什么不一样的感受吗？

A：我也没有特别关注每个学生的本科背景，毕竟任何人来了之后都是斯坦福的学生，都是我的学生。但是我确实看到了过去5年到10年，茶园的学生越来越强了。我当时的申请放到现在，我感觉可能要比很多学生差很多。所以说我觉得整体上清华的所有学生的实力都在进步，这是个很好的事情。我现在也带了很多清华的学生，我没记错的话应该张皓辰和董克凡都来自姚班，他们的科研也都做的很好。有一些暑期实习生也是姚班来的。

Q：您对学弟学妹有什么寄语？

A：努力学习珍惜机会。姚先生建立了这么好的一个环境，提供了这么多优质的课程，这个机会是很特殊的。姚班的声望在国际上也很高，比如我们在录取学生的时候，提起姚班，大部分的教授都是了如指掌的。对科研或者学习的建议的话，我喜欢的方法是尽量把问题研究清楚，然后不要太急功近利，一知半解。尽管刚开始的时候可能会效率低很多，但是搞清楚了之后，很多事情就变简单了。

Q：您对于清华大学和茶园的祝福

A：我非常感谢母校跟茶园的培养。我已经看到清华的学生，包括科研在内所有的方面都在非常快速地进步，这其实是非常开心的一件事情，希望清华越来越好！希望茶园越来越好！

《从茶园走向世界》校友访谈组成员：朱追、郑鈜壬、刘鹏宇、温凯越、严彬玮、罗开荣、谢琴