Talk预告 | 阿里达摩院罗福莉: 预训练语言模型体系AliceMind

原创让创新获得认可将门创投今天

收录于话题

#持续上新 | Talk合辑

133个

本周为TechBeat人工智能社区第318期线上Talk。

北京时间7月8日(周四)晚8点，阿里达摩院机器智能实验室研究员——罗福莉的Talk将准时在TechBeat人工智能社区开播！

她与大家分享的主题是: “阿里达摩院预训练语言模型体系AliceMind”，届时将介绍有关在“预训练Pre-training+精调Fine-tune”这一研究过程中所面临的挑战与进展。

Talk·信息

▼

主题：阿里达摩院预训练语言模型体系AliceMind

嘉宾：阿里达摩院机器智能实验室研究员

罗福莉

时间：北京时间 7月8日 (周四) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

长按识别二维码，一键完成预约！

Talk·提纲

▼

自2018年谷歌BERT模型横空出世以来，预训练语言模型一跃成为自然语言处理领域的研究热点，“预训练Pre-training + 精调Fine-tune”也成为NLP任务的新范式，证明了能够显著提高模型性能和算法效果。这个方向也是国内外各大科技公司展现自身技术实力的一大舞台。

AliceMind, ALIbaba's Collection of Encoder-decoders from MinD (Machine intelligence of Damo)是阿里巴巴达摩院机器智能技术实验室倾力打造的具有领先性和系统化的深度语言模型体系。AliceMind在自研通用语言模型StructBERT基础上，拓展到多语言VECO、生成式PALM、多模态StructVBERT、结构化Structural-LM、机器阅读理解UED等方面，并在国内首次发布了百亿参数大规模中文理解和生成统一模型PLUG（Pre-training for Language Understanding and Generation），并对外提供开放体验服务，引发广泛关注，并入选世界人工智能大会SAIL奖项TOP30。目前已完成体系内模型和代码的开源。

本次分享的主要内容如下：

1. AliceMind简介

2. AliceMind体系内模型详解

- 通用语言模型（StructBERT）

- 多语言语言模型（VECO）

- 生成式语言模型（PALM）

- 多模态语言模型（StructVBERT）

- 结构化语言模型（Structural-LM）

- 机器阅读理解模型（UED）

- 超大规模中文理解和生成统一模型（PLUG）

3. AliceMind应用落地情况

4. 总结&展望

Talk·参考资料

▼

这是本次分享中将会提及的资料，建议提前预习哦！

1. 通用预训练模型

StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding

https://arxiv.org/abs/1908.04577

2. 多语言预训练模型

VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation

https://arxiv.org/abs/2010.16046

3. 生成式预训练模型

PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation

https://arxiv.org/abs/2004.07159

4. 多模态预训练模型

E2E-VLP: End-to-End Vision-Language Pre-training Enhanced by Visual Learning

https://arxiv.org/abs/2106.01804

5. 结构化预训练模型

StructuralLM: Structural Pre-training for Form Understanding

https://arxiv.org/abs/2105.11210

6. 阅读理解模型

A Unified Pretraining Framework for Passage Ranking and Expansion. Ming Yan, Chenliang Li, Bin Bi, Wei Wang, Songfang Huang.

https://www.aaai.org/AAAI21Papers/AAAI-9208.YanM.pdf

7. 融合知识的预训练模型

Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models

https://arxiv.org/abs/2104.07204

Talk·提问交流

▼

通过以下两种方式提问都将获得微信现金红包奖励哦！

方式 ①

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

方式 ②

在本文留言区直接提出你的问题，或扫描下方二维码提问！

快来提问啦！

Talk·嘉宾介绍

▼

罗福莉

阿里达摩院机器智能实验室高级算法工程师

罗福莉，北大硕士，现阿里巴巴达摩院机器智能实验室成员，主导AliceMind开源等工作。近期研究方向包含预训练语言模型，主要聚焦于多语言预训练以及超大模型落地系统化建设。同时也致力于文本生成研究，如文本风格转换、带控制的文本生成、双关生成等。早期研究方向是词义消歧。目前已经在ACL、EMNLP、IJCAI等自然语言处理顶会上发表20余篇论文。

- 微信公众号：罗福莉

- B站：AI-小萝莉

- AliceMind主页：

https://nlp.aliyun.com/portal#/alice

长按识别二维码，一键完成预约！