迈向高效自然语言处理
Speaker
邱锡鹏, 复旦大学
Time
2021-11-17 15:30:00 ~ 2021-11-17 17:00:00
Location
电信群楼3-412会议室
Host
张伟楠、林洲汉
Abstract
近期超大规模预训练模型将很多NLP任务的准确率提升到了前所未有的高度,相比于训练更大的模型去进一步刷新SOTA,越来越多的工作开始追求模型的多维度提升,比如保持一定准确率的同时提升模型推理效率,即追求Pareto SOTA。然而,这些高效推理模型大多仍然在以准确率为中心的评测基准(如GLUE)上评测,这造成了对比不全面、结果不开源、评测不标准、提交不便捷等问题。对此,我们发布了ELUE(http://eluebenchmark.fastnlp.top/),一个针对高效NLP模型的标准化评测平台,它采用性能、参数量、FLOPs等指标对模型进行多维评测,采用ELUE Score对模型进行排序并形成Leaderboard。同时,我们还为高效NLP模型预训练了一个强大的基线模型——ElasticBERT,它既可以直接截取前几层来静态地使用,也可以作为动态早退模型的Backbone来动态地使用,实验表明ElasticBERT在两种使用场景下都取得了极具竞争力的结果。
Bio
邱锡鹏,复旦大学计算机学院教授,国家优青获得者,于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究,发表CCF A/B类论文70余篇,获得ACL 2017杰出论文奖(CCF A类)、CCL 2019最佳论文奖,有4篇论文入选PaperDigest发布的IJCAI/ACL/EMNLP的最有影响力论文(各会议每年10篇)。出版开源专著《神经网络与深度学习》,Github关注数1.4万,豆瓣评分9.4分。主持开发了开源框架FudanNLP和FastNLP,已被国内外数百家单位使用。2015年入选首届中国科协青年人才托举工程项目,2018年获钱伟长中文信息处理科学技术奖青年创新奖一等奖,2020-2021年连续两年入选由清华-中国工程院知识智能联合研究中心发布的"AI 2000人工智能全球最具影响力提名学者"等。培养学生曾获中国中文信息学会优博、中国人工智能学会优博、上海市优博、微软学者、百度奖学金等。