表示学习理论:从对比、掩码到自回归范式

演讲人: 王奕森 北京大学
时间: 2024-06-04 10:00-2024-06-04 11:30
地点:FIT 1-222
内容:

表示学习近年来在多个领域取得了巨大的成功,比如自监督学习无需数据标注即能获得很好的数据表示,成为近期一些列重要工作(CLIP,ChatGPT)中的核心技术之一。本报告将探讨自监督学习中的对比学习(Contrastive Learning)、掩码学习(Mask Image Modeling)、自回归学习(Autoregressive Learning)等背后的工作机理,从理论视角分析其优化过程和下游泛化能力,期望为自监督学习的算法设计提供一些新的见解。

个人简介:

王奕森,北京大学助理教授,博士生导师。主要研究方向为机器学习理论和算法,目前重点关注大模型的理论、安全等。已发表机器学习三大顶会ICML/NeurIPS/ICLR文章50余篇,多篇被选为Oral或Spotlight,获ECML 2021最佳机器学习论文奖、ICML 2021 Workshop最佳论文银奖、CVPR 2021竞赛第一等,研究成果被麻省理工科技评论(MIT Technology Review)和中国中央广播电视总台(CCTV)专题报道。主持基金委“下一代人工智能”重大研究计划项目、科技创新2030“新一代人工智能”重大项目课题。