今晚，一起来学习动态神经网络

机器之心 今天

图片


深度神经网络已经在计算机视觉、自然语言处理等领域取得了较大的成功。这些年来我们不断见证越来越强大、高效的神经网络模型设计，如 AlexNet, VGG, GoogleNet, ResNet, DenseNet以及最近很火的Transformer等。而近几年发展起来的网络架构搜索技术 (NAS)也帮助人们建立更加强大的结构。

然而，大多数当前流行的深度网络都具有相同的静态推理范式：一旦完成训练，网络的结构与参数在测试阶段都保持不变，这在一定程度上限制了模型的表征能力、推理效率和可解释性。

如前所述，动态网络则可以在推理阶段根据输入样本自适应地调节自身的结构 / 参数，从而拥有诸多静态网络无法享有的良好特性。

近日，清华大学黄高等人发布论文《Dynamic Neural Networks: A Survey》，对动态神经网络 (Dynamic Neural Networks) 做了一个比较全面和系统的综述。研究者写作本篇综述的动机主要为：
  • 为对此主题感兴趣的研究人员提供领域概述和新的视角；

  • 指出不同子领域之间的紧密关系，并减少重复造轮子的风险；

  • 总结了主要挑战和未来可能的研究方向。


3月29日，机器之心机动组最新一期线上分享邀请到了论文共同一作韩益为大家解读此论文。

图片


嘉宾简介：韩益增，2018年本科毕业于清华大学自动化系，现为清华大学自动化系博士生，导师为宋士吉教授、黄高助理教授。当前研究方向为深度学习与计算机视觉，其中重点为动态神经网络以及高效模型架构设计与搜索。

分享摘要：本次报告我们将结合近日上线的论文《Dynamic Neural Networks: A Survey》，对近年来吸引大量关注的动态神经网络进行综述性的介绍。

与传统静态模型不同的是，动态网络可以在推理阶段根据输入自适应的调节模型结构/参数，从而在运算效率、表达能力等方面展现出卓越的优势。根据自适应计算的方式，我们将动态网络分为三类：样本自适应，空间自适应以及时间自适应。报告中，我们将回顾动态网络中重要的研究问题，并探讨领域内的开放性问题与未来研究方向。

  • 时间：北京时间3月29日19:00-21:00 

  • 直播间：https://jmq.h5.xeknow.com/s/3HkvVS（点击阅读原文直接跳转）


直播交流群：


添加机器之心小助手，备注备注「动态」即可加入。


图片
如以上小助手添加异常，请添加其他小助手：syncedai2、syncedai3、syncedai4或syncedai5。

点击阅读原文，收藏直播间。
    阅读原文