Talk预告 | MSR首席研究员成宇: 自然语言处理预训练模型的压缩和加速

原创让创新获得认可将门创投今天

收录于话题

#持续上新 | Talk合辑

115个

本周为TechBeat人工智能社区第311期线上Talk。

北京时间6月3日(周四)晚8点，微软雷德蒙德研究院Principal Researcher——成宇博士的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “自然语言处理预训练模型的压缩和加速”，届时将介绍有关自然语言处理、预训练模型、模型压缩、训练加速的相关研究与近期的一些进展和思考。

Talk·信息

▼

主题：自然语言处理预训练模型的压缩和加速

嘉宾：微软雷德蒙德研究院

Principle Researcher 成宇

时间：北京时间 6月3日 (周四) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

长按识别二维码，一键完成预约！

Talk·提纲

▼

近年来，大规模训练模型例如BERT，GPT等在自然语言处理各种任务中被广泛使用。在实际应用中，由于计算资源和运行时间的限制，对这些模型进行压缩和提速变得非常关键。Talk将围绕我们相关的一些工作，如知识蒸馏，剪枝和训练加速等进行介绍，并提供一些研究方面的心得和前景展望。

本次分享的主要内容如下：

1. 问题背景和需求；

2. 模型的蒸馏和压缩；

3. 模型训练提速；

4. 相关讨论

Talk·参考资料

▼

这是本次分享中将会提及的资料，建议提前预习哦！

[1]. Patient Knowledge Distillation for BERT Model Compression. EMNLP 2019

https://arxiv.org/abs/1908.09355

[2]. Contrastive Distillation on Intermediate Representations for Language Model Compression. EMNLP 2020

https://arxiv.org/pdf/2009.14167.pdf

[3]. EarlyBERT: Efficient BERT Training via Early-bird Lottery Tickets. ACL 2021

https://openreview.net/forum?id=I-VfjSBzi36

Talk·提问交流

▼

通过以下两种方式提问都将获得微信现金红包奖励哦！

方式 ①

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

方式 ②

在本文留言区直接提出你的问题，或扫描下方二维码提问！

快来提问啦！

Talk·嘉宾介绍

▼

成宇

微软雷德蒙德研究院Principal Researcher

成宇博士，现任微软雷德蒙德研究院Principal Researcher，负责微软在深度学习，计算机视觉，自然语言处理方向研发。在加入微软之前从2015年到2018年，他担任IBM托马斯·J·沃森研究中心和麻省理工/IBM联合人工智能中心的研究员。

成宇博士于2010年在清华大学取得学士学位，并于2015年在美国Northwestern University取得博士学位。研究方向主要在模型压缩/加速和深度生成模型，以及其在计算机视觉和自然语言方面的应用。

他目前已在相关领域发表论文超过100篇并获得十余项专利授权。谷歌学术显示，他目前获得的总引用数为6938，h-index为44，i10-index为97。

长按识别二维码，一键完成预约！

如果你也想成为讲者

▼

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区

收录于话题 #持续上新 | Talk合辑

115个

下一篇 Talk预告 | CMU助理教授徐旻: 基于计算机视觉和机器学习的三维冷冻断层扫描电子显微镜图像分析

Talk预告 | MSR首席研究员成宇: 自然语言处理预训练模型的压缩和加速

发送到看一看