7 Papers & Radios | KDD 2021最佳论文等奖项；Percy Liang、李飞飞等发布200多页综述论文

机器之心 昨天

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周论文包括 KDD 2021 最佳论文等奖项；斯坦福大学的 Percy Liang、Rishi Bommasani（Percy Liang 的学生） 、李飞飞等 100 多位研究者联名发布的一篇关于「基础模型（foundation model）」论文，并系统探讨了基础模型的机遇与风险等内容。


目录：


  1. Fast and Memory-Efficient Tucker Decomposition for Answering Diverse Time Range Queries

  2. Spectral Clustering of Attributed Multi-relational Graphs

  3. Supporting COVID-19 policy response with large-scale mobility-based modeling

  4. Energy-Efficient 3D Vehicular Crowdsourcing For Disaster Response by Distributed Deep Reinforcement Learning

  5.  On the Opportunities and Risks of Foundation Models 

  6.  Are We Ready For Learned Cardinality Estimation? 

  7. Only Train Once: A One-Shot Neural Network Training And Pruning Framework 

  8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）


论文 1：Fast and Memory-Efficient Tucker Decomposition for Answering Diverse Time Range Queries

  • 作者：Jun-Gi Jang 、 U Kang

  • 论文链接：https://dl.acm.org/doi/pdf/10.1145/3447548.3467290


摘要：给定一个时间密集张量和一个任意的时间范围，我们如何有效地在这个范围内得到潜在因子？Tucker 分解是分析密集张量以发现隐藏因子的基本工具，已在许多数据挖掘应用中得到应用。然而，现有的分解方法不提供分析特定范围的时间张量的功能。现有的方法是 one-off 形式，主要集中在对整个输入张量执行一次 Tucker 分解。尽管现有的一些预处理方法可以处理时间范围查询，但它们仍然非常耗时，并且准确率较低。

在该论文中，该研究提出了 Zoom-Tucker，这是一种快速且节省内存的 Tucker 分解方法，可用于在任意时间范围内查找时间张量数据的隐藏因子。Zoom-Tucker 充分利用块结构来压缩给定的张量，支持有效查询并捕获本地信息。Zoom-Tucker 通过精心解耦包含在该范围内的预处理结果并仔细确定计算顺序，快速且高效地回答各种时间范围查询。研究证明，与现有的方法相比 Zoom-Tucker 的速度快 171.9 倍，所需空间少 230 倍，同时提供了相当的准确率。

图片

Zoom-Tucker 预处理过程。

图片

 查询时间和重构误差之间权衡的比较结果。

推荐：KDD 2021 研究方向最佳论文奖。

论文 2：Spectral Clustering of Attributed Multi-relational Graphs

  • 作者：Ylli Sadikaj 、 Yllka Velaj 等人

  • 论文链接：https://dl.acm.org/doi/pdf/10.1145/3447548.3467381


摘要：图聚类旨在发现节点的自然分组，以便将相似的节点分配到一个公共集群。已有一些研究提出了面向多种图的多种算法，包括简单图、节点含有相关属性的图，以及对于边代表不同类型关系的图等。然而，许多领域中的复杂数据可以同时表征为属性网络和多关系网络。在该论文中，研究者提出了 SpectralMix，这是一种用于具有分类节点属性的多关系图的联合降维技术。

SpectralMix 集成了来自属性、关系类型和图结构的所有可用信息，以实现对聚类结果的合理解释。此外，SpectralMix 泛化了现有方法：当仅应用于单个图时，它简化为频谱嵌入和聚类，当应用于分类数据时转换为同质性分析。该研究在几个现实世界的数据集上进行了实验，以检测图结构和分类属性之间的依赖关系，并展示了 SpectralMix 相比于现有方法的优势。

图片


上图是几种模型在 ACM 数据集上实验结果的可视化。从中我们可以观察到 ANRL、CrossMNA、DMGC 和 MARINE 表现不佳，因为属于不同研究领域的节点被混到了一起；而 SpectralMix、DMGI、HAN 和 DGI 能够更好地区分不同类型的节点。

推荐：KDD 2021 研究方向最佳学生论文奖。

论文 3：Supporting COVID-19 policy response with large-scale mobility-based modeling

  • 作者：Serina Chang、Mandy L. Wilson、 Bryan Lewis 等人

  • 论文链接：https://dl.acm.org/doi/pdf/10.1145/3447548.3467182


摘要：移动性限制（Mobility restriction）一直是控制 COVID-19 传播的主要干预措施，但它们也给个人和企业带来经济负担。为了平衡这些相互竞争的需求，决策者需要分析工具来评估不同的移动性措施带来的成本和收益。

在该论文中，研究者介绍了与弗吉尼亚卫生部在决策支持工具上的互动所激发的工作，该工具利用大规模数据和流行病学模型来量化移动性变化对感染率的影响。该研究模型通过使用细粒度的动态移动网络来捕获 COVID-19 的传播，该网络对人们每小时从社区到各个地方的移动进行编码，每小时有超过 30 亿条边。通过扰乱移动网络，该研究可以模拟各种各样的重新开放计划，并预测它们在新感染和每个部门的访问量损失方面的影响。为了在实践中部署这个模型，该研究构建了一个具有鲁棒性的计算基础设施来运行数百万个模型，并且该研究与政策制定者合作开发了一个交互式仪表板（dashboard），用于传达模型对数千个潜在政策的预测。

图片

方法概览。

图片

由 5 部分组成的交互式仪表板，分别是 POI 导航栏（左）、地图面板（右上）、表格面板（中下）、数据面板（右下）和移动性历史面板（弹出窗口）。

推荐：KDD 2021 应用数据科学方向最佳论文奖。

论文 4：Energy-Efficient 3D Vehicular Crowdsourcing For Disaster Response by Distributed Deep Reinforcement Learning

  • 作者：Hao Wang 、 Chi Harold Liu 、 Zipeng Dai

  • 论文链接：https://dl.acm.org/doi/pdf/10.1145/3447548.3467070


摘要：快速有效地访问环境和生活数据是成功应对灾害的关键。由无人机和无人驾驶汽车等无人驾驶交通工具 (UV) 组成的车辆众包 (VC) 从兴趣点 (PoI) 收集数据，例如可能有幸存者的地点和火灾现场，这提供了一种有效的方式来协助灾难救援。在该论文中，研究者考虑了在 3D 灾难工作区中导航一组 UV，以最大限度地提高收集的数据量、地理公平性、能源效率，同时最大限度地减少由于传输速率有限而导致的数据丢失。

该研究提出了一种分布式深度强化学习框架 DRL-DisasterVC(3D)，该框架带有重复经验回放 (RER) 以提高学习效率，并使用裁剪目标网络来提高学习稳定性。该研究使用具有多头关系注意力 (MHRA) 的 3D 卷积神经网络进行空间建模，并且添加辅助像素控制 (PC) 进行空间探索。研究者设计了一种名为「DisasterSim」的新型灾难响应模拟器，并进行了大量实验，以表明当改变 UV、PoI 和 SNR 阈值的数量时，DRL-DisasterVC(3D) 在能效方面优于实验中所有 5 个基线方法。

图片

研究者提出的 DRL-DisasterVC(3D)。

推荐：KDD 2021 应用数据科学方向最佳论文亚军。

论文 5：  On the Opportunities and Risks of Foundation Models

  • 作者：Percy Liang、李飞飞等

  • 论文链接：https://arxiv.org/pdf/2108.07258.pdf


摘要：最近，斯坦福大学的 Percy Liang、Rishi Bommasani（Percy Liang 的学生） 、李飞飞等 100 多位研究者联名发布了一篇论文。在论文中，他们给大模型取了一个名字——「基础模型（foundation model）」，并系统探讨了基础模型的机遇与风险。「基础」代表至关重要，但并不完备。

论文正文分为四个部分，分别阐述了基础模型的能力、应用、相关技术和社会影响，其具体内容如下：

  • 能力：语言、视觉、机器人学、推理、交互、理解等；

  • 应用：医疗、法律、教育等；

  • 技术：建模、训练、适应、评估、系统、数据、安全与隐私、稳健性、理论、可解释性等；

  • 社会影响：不平等、滥用、环境、法规、经济、伦理等。


图片


图片


 这篇论文的问世将为负责任地发展、部署基础模型提供一些借鉴。

推荐：Percy Liang、李飞飞等发布 200 多页综述，阐述大模型机遇与风险。

论文 6：Are We Ready For Learned Cardinality Estimation?

  • 作者：Xiaoying Wan、Changbo Qu、 Weiyuan Wu、王健楠、Qingqing Zhou

  • 论文链接：https://arxiv.org/pdf/2012.06743.pdf


摘要：基数估计是查询优化中一个基本但长期未解决的问题。本文研究者提出了一个前瞻性的问题：「我们是否准备好在生产中部署这些 learned 的基数模型？」研究包括三个主要部分：

  • 首先，关注静态环境 (即没有数据更新) 并在统一的工作负载设置下，对四个真实世界的数据集比较了五种新的 learned methods 和九种传统方法。结果表明，learned models 确实比传统方法更准确，但是它们往往需要较高的训练和推理成本；

  • 其次，探索这些 learned models 是否适用于动态环境 (例如频繁的数据更新)。研究发现，它们无法跟上快速数据更新并返回由于不同原因造成的重要错误。对于不太频繁的更新，它们可以表现得更好，但它们之间没有明确的赢家；

  • 第三，更深入地研究了 learned models，并探索它们何时可能出错。结果表明，learned methods 的性能可以很大程度上受到变化的影响，比如偏斜或领域大小。更重要的是，其行为很难解释，而且常常难以预测。


图片

Learned Method 工作流程。

推荐：数据管理顶会 VLDB EA&B 最佳论文奖。

论文 7：Only Train Once: A One-Shot Neural Network Training And Pruning Framework

  • 作者：Tianyi Chen 、 Bo Ji 、 Tianyu Ding 等人

  • 论文链接：https://arxiv.org/pdf/2107.07467.pdf


摘要：来自微软、浙江大学等机构的研究者提出了一种 one-shot DNN 剪枝框架。它可以让开发者无需微调就能从大型神经网络中得到轻量级架构。这种方法在保持模型高性能的同时显著降低了其所需的算力。

图片

图片


OTO 的结构非常简单。给定一个完整的模型，首先将可训练的参数划分为 ZIG 集，产生了一个结构化稀疏优化问题，通过一个新的随机优化器 (HSPG) 得出高度组稀疏的解。最后通过剪枝这些 zero group 得到一个压缩模型。

团队提出的 HSPG 随机优化算法是针对非光滑正则化问题而设计的，与经典算法相比，该算法在保持相似收敛性的同时，能够更有效地增强群体稀疏性搜索。为了评估 OTO 在未经微调的 one-shot 训练和剪枝中的性能，研究者在 CNN 的基准压缩任务进行了实验，包括 CIFAR10 的 VGG16，CIFAR10 的 ResNet50 和 ImagetNet (ILSVRC2012)，研究者比较了 OTO 与其当前各个 SOTA 算法在 Top-1 精度和 Top-5 精度、剩余的 FLOPs 和相应的 baseline 参数。

图片

表 1:CIFAR10 中的 VGG16 及 VGG16-BN 模型表现。

推荐：微软、浙大等研究者提出剪枝框架 OTO，无需微调即可获得轻量级架构。


ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：
10 NLP Papers.mp3 19:46


本周 10 篇 NLP 精选论文是：


1. Active Learning for Massively Parallel Translation of Constrained Text into Low Resource Languages.  (from Alex Waibel)
2. SAPPHIRE: Approaches for Enhanced Concept-to-Text Generation.  (from Eduard Hovy)
3. TSI: an Ad Text Strength Indicator using Text-to-CTR and Semantic-Ad-Similarity.  (from Yifan Hu)
4. Integrating Dialog History into End-to-End Spoken Language Understanding Systems.  (from Brian Kingsbury)
5. Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval.  (from Jimmy Lin)
6. Complex Knowledge Base Question Answering: A Survey.  (from Jing Jiang, Ji-Rong Wen)
7. Fine-Grained Element Identification in Complaint Text of Internet Fraud.  (from Lei Chen)
8. AdapterHub Playground: Simple and Flexible Few-Shot Learning with Adapters.  (from Iryna Gurevych)
9. MeDiaQA: A Question Answering Dataset on Medical Dialogues.  (from Yan Liu)
10. Accurate, yet inconsistent? Consistency Analysis on Language Understanding Models.  (from Thomas Lukasiewicz)

10 CV Papers.mp3 21:22


本周 10 篇 CV 精选论文是：


1. Fully Convolutional Networks for Panoptic Segmentation with Point-based Supervision.  (from Jian Sun, Jiaya Jia)
2. Clustering augmented Self-Supervised Learning: Anapplication to Land Cover Mapping.  (from Vipin Kumar)
3. Finding Representative Interpretations on Convolutional Neural Networks.  (from Jian Pei)
4. Towards unconstrained joint hand-object reconstruction from RGB videos.  (from Ivan Laptev, Cordelia Schmid)
5. Pixel Difference Networks for Efficient Edge Detection.  (from Qi Tian, Matti Pietikäinen, Li Liu)
6. Federated Multi-Target Domain Adaptation.  (from Ming-Hsuan Yang)
7. Generalized and Incremental Few-Shot Learning by Explicit Learning and Calibration without Forgetting.  (from Bernt Schiele)
8. Variational Attention: Propagating Domain-Specific Knowledge for Multi-Domain Learning in Crowd Counting.  (from Wangmeng Zuo, Lei Zhang)
9. SynFace: Face Recognition with Synthetic Data.  (from Wei Liu, Dacheng Tao)
10. Structure-Aware Feature Generation for Zero-Shot Learning.  (from Wei Liu, Dacheng Tao)


10 ML Papers.mp3 20:18

本周 10 篇 ML 精选论文是：


1. Learning Equilibria in Matching Markets from Bandit Feedback.  (from Michael I. Jordan)
2. Weakly Supervised Classification Using Group-Level Labels.  (from Vipin Kumar)
3. Continual Backprop: Stochastic Gradient Descent with Persistent Randomness.  (from Richard S. Sutton)
4. Understanding Structural Vulnerability in Graph Convolutional Networks.  (from Liang Chen, Yang Liu)
5. A physics-informed variational DeepONet for predicting the crack path in brittle materials.  (from George Karniadakis)
6. Towards Understanding Theoretical Advantages of Complex-Reaction Networks.  (from Zhi-Hua Zhou)
7. Effective and Efficient Graph Learning for Multi-view Clustering.  (from Xinbo Gao, Dacheng Tao)
8. Provable Benefits of Actor-Critic Methods for Offline Reinforcement Learning.  (from Martin J. Wainwright)
9. Panoramic Learning with A Standardized Machine Learning Formalism.  (from Eric P. Xing)
10. Incremental cluster validity index-guided online learning for performance and robustness to presentation order.  (from Donald C. Wunsch II)


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com