7 Papers & Radios | IJCAI 2021杰出论文公布；斯坦福大学「食盐」电池登上Nature

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周重要论文包括 IJCAI 2021 杰出论文最佳论文以及斯坦福大学登上 Nature 和 Science封面的两篇论文。

Why is self-driving always 5 years away?
Learning Generalized Unsolvability Heuristics for Classical Planning
AdvDrop: Adversarial Attack to DNNs by Dropping Information
Rechargeable Na/Cl2* *and Li/Cl2* *batteries
Optimizing In-memory Database Engine for AI-powered On-line Decision Augmentation Using Persistent Memory
Geometric Deep Learning of RNA Structure
Dynamic Multi-scale Convolution for Dialect Identification
ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：Why is self-driving always 5 years away?

作者：Ashesh Jain、Luca Del Pero、Hugo Grimmett 等
论文地址：https://arxiv.org/pdf/2107.08142.pdf

摘要：过去十年，尽管机器学习已经在图像识别、决策制定、NLP 和图像合成等领域取得很多成功，但却在自动驾驶技术领域没有太多进展。这是哪些原因造成的呢？近日Lyft 旗下 Level 5 自动驾驶部门的研究者对这一问题进行了深入的探讨。他们提出了自动驾驶领域的「Autonomy 2.0」概念：一种ML优先的自动驾驶方法。Autonomy 2.0 是一种 ML 优先的自动驾驶方法，专注于实现高可扩展性。它基于三个关键原则：i) 闭环模拟，即模型从收集的真实驾驶日志中学习；ii) 将 SDV 分解为端到端的可微分神经网络；iii) 训练规划器和模拟器所用的数据是使用商品传感器大规模收集的。

Autonomy 1.0 与 Autonomy 2.0 的开发流程对比，Autonomy 1.0 的可扩展性低、SDV 行为由工程师赋予、验证方法为路测、硬件成本高，而 Autonomy 2.0 的可扩展性高、SDV 行为从人类驾驶中学得、验证方法为离线模拟、硬件成本在可负担范围内。

完全可微的 Autonomy 2.0 堆栈架构，可以从数据进行端到端的训练，而无需设计单个块和接口。

推荐：全民自动驾驶 5 年内真的会来吗？这是 Lyft 的自动驾驶 2.0

论文 2：Learning Generalized Unsolvability Heuristics for Classical Planning

作者：Simon Stahlberg、Guillem Frances、Jendrik Seipp
论文地址：https://www.ijcai.org/proceedings/2021/0574.pdf

摘要：近来经典规划方面的研究提出了一些专用方法来检测无法解决的状态，即无法达到目标状态的状态。在本篇获奖论文中，研究者从广义规划的角度处理问题，并学习描述整个规划领域不可解性的一阶公式。此外，该研究还展示了如何将这个问题转换为一个自监督分类任务。训练数据是通过对每个域的小实例进行详尽的探索而自动生成和标记的，候选特征是根据用于定义域的判断自动计算出来的。研究者研究了三种具有不同属性的学习算法，并将它们与文献中的启发式算法进行比较。实验结果表明，所提方法能够捕获重要的不可解状态类别，并具有较高的分类准确率。此外，启发式的逻辑形式使它们易于解释和推理，并且可以用来展示在某些域中学得的特征，可以精确地捕获域的所有不可解状态。

训练与测试集。

左：测试集上标准启发式的召回率；右：测试集上泛化不可解性启发式的精度与召回率。

推荐：本文是 IJCAI 2021 杰出论文之一。

论文 3：AdvDrop: Adversarial Attack to DNNs by Dropping Information

作者：Ranjie Duan、 Yuefeng Chen、 Dantong Niu 等
论文地址：https://arxiv.org/pdf/2108.09034.pdf

摘要：来自阿里安全人工智能治理与可持续发展实验室（AAIG）等的研究者提出了一个新的机制来生成对抗样本，即与增加对抗扰动相反，他们通过扔掉一些不可察觉的图像细节来生成对抗样本。这项研究成果已被 AI 顶会 ICCV 2021 收录。

PGD 与 AdvDrop 方法的局部色彩丰富度对比。

AdvDrop 算法流程。

推荐：给图片打「马赛克」可骗过 AI 视觉系统，阿里安全新研究入选 ICCV 2021。

论文 4：Rechargeable Na/Cl₂ and Li/Cl₂ batteries

作者：Guanzhou Zhu、Xin Tian、Hongjie Dai 等
论文地址：https://www.nature.com/articles/s41586-021-03757-z

摘要：在近日的一项研究中，斯坦福大学团队开发了一种可充电的碱金属 - 氯（alkali metal-chlorine）电池，其可存储的电量是当前市售常见可充电锂离子（lithium-ion）电池的 6 倍。该研究相关论文登上了《Nature》，共同一作是斯坦福大学化学系的博士生 Guanzhou Zhu 和 Xin Tian，通讯作者是斯坦福大学化学系教授戴宏杰（Hongjie Dai）。据介绍，这种碱金属 - 氯电池可以加速可充电电池的使用，并让电池研究人员更进一步接近实现该领域的最高目标：开发一种高性能的可充电电池，使得手机可以每周一充而不再每天充电，电池汽车在一次充电时实现当前电动车 6 倍的行驶距离。

无定形纳米球（约 60nm，1a）和首次放电时的高性能氯化钠（Na/Cl_2）电池。

共同一作之一 Guanzhou Zhu 和通讯作者

推荐：手机一周一充不再是梦：斯坦福大学「食盐」电池登上 Nature，电量达锂电池六倍

论文 5：Optimizing In-memory Database Engine for AI-powered On-line Decision Augmentation Using Persistent Memory

作者：Cheng Chen、 Jun Yang、 Mian Lu 等
论文地址：http://vldb.org/pvldb/vol14/p799-chen.pdf

摘要：第四范式与新加坡国立大学及英特尔的最新联合研究成果——基于持久内存优化的 AI 实时决策系统数据库 OpenMLDB（Open Source Machine Learning Database）被国际数据库顶级会议 VLDB 2021 录用。

机器学习数据库 OpenMLDB 架构图。

OpenMLDB 存储引擎的两层跳表结构。

推荐：AI 驱动的实时决策系统，第四范式 OpenMLDB 数据库入选顶会 VLDB。

论文 6：Geometric Deep Learning of RNA Structure

作者：Raphael J. L. Townshend、Stephan Eismann、Ron O. Dror 等
论文地址：http://science.sciencemag.org/content/373/6558/1047

摘要：确定生物分子的 3D 形状是现代生物学和医学发现中最困难的问题之一。许多公司和研究机构花费数百万美元来确定分子结构，却也常常无果。来自斯坦福大学的研究团队利用机器学习的方法解决了这个难题。在计算机科学系副教授 Ron Dror 的指导下，斯坦福大学博士生 Stephan Eismann 和 Raphael Townshend 巧妙地使用机器学习技术开发了一种通过计算预测生物分子准确结构的方法。并且即使仅从少数已知结构中学习，他们的方法也能成功，使其适用于结构最难通过实验确定的分子类型. 8 月 27 日，该团队与斯坦福大学生物化学系副教授 Rhiju Das 合作的研究论文在《Science》上发表并登上封面。

训练集中包含的 18 种已知 RNA 结构。

ARES 网络。

推荐：深度学习精确预测 RNA，仅需训练 18 种已知结构：斯坦福研究登上 Science 封面。

论文 7：Dynamic Multi-scale Convolution for Dialect Identification

作者：Tianlong Kong、 Shouyi Yin、 Dawei Zhang 等
论文地址：https://arxiv.org/pdf/2108.07787.pdf

摘要：为了有效捕获音频中的上下文语种信息，进一步提升语种识别性能，快手研究团队 MMU 联合清华大学研究人员提出了一种基于音频信号的语种识别新方法。该方法自研一种动态多尺度卷积的新型网络结构，通过动态卷积核、局部多尺度学习和全局多尺度池化技术来捕获全局和局部上下文的语种 / 方言信息。具体来说，引入动态卷积核的方法，模型能够自适应地捕获短期和长期上下文之间的特征；局部多尺度学习在细粒度级别表示多尺度特征，能够增加卷积运算的感受野范围，同时使模型参数量大幅下降；全局多尺度池化用于聚合来自模型不同瓶颈层的语种 / 方表征。

动态多尺度卷积架构图。

动态核卷积模块。

推荐：清华、快手联合提出语种识别新方法，研究入选 Interspeech 2021。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

10 NLP Papers.mp3

本周 10 篇 NLP 精选论文是：

1. Semantic-Preserving Adversarial Text Attacks. (from Dacheng Tao, Wei Liu)

2. Open Relation Modeling: Learning to Define Relations between Entities. (from Kevin Chen-Chuan Chang, Wen-mei Hwu)

3. Reducing Exposure Bias in Training Recurrent Neural Network Transducers. (from Brian Kingsbury)

4. A Framework for Neural Topic Modeling of Text Corpora. (from Majid Sarrafzadeh)

5. One Chatbot Per Person: Creating Personalized Chatbots based on Implicit User Profiles. (from Ji-Rong Wen)

6. A Hierarchical Entity Graph Convolutional Network for Relation Extraction across Documents. (from Hwee Tou Ng)

7. Exploring the Promises of Transformer-Based LMs for the Representation of Normative Claims in the Legal Domain. (from Siegfried Handschuh)

8. Prompt-Learning for Fine-Grained Entity Typing. (from Juanzi Li)

9. LayoutReader: Pre-training of Text and Layout for Reading Order Detection. (from Furu Wei)

10. Just Say No: Analyzing the Stance of Neural Dialogue Generation in Offensive Contexts. (from Alan Ritter)

10 CV Papers.mp3

本周 10 篇 CV 精选论文是：

1. Airbert: In-domain Pretraining for Vision-and-Language Navigation. (from Ivan Laptev, Cordelia Schmid)

2. Region-level Active Learning for Cluttered Scenes. (from Trevor Darrell)

3. A Synthesis-Based Approach for Thermal-to-Visible Face Verification. (from Rama Chellappa)

4. Discriminative Region-based Multi-Label Zero-Shot Learning. (from Ling Shao, Mubarak Shah)

5. Learning Motion Priors for 4D Human Body Capture in 3D Scenes. (from Yan Zhang, Marc Pollefeys)

6. Glimpse-Attend-and-Explore: Self-Attention for Active Visual Exploration. (from Tinne Tuytelaars)

7. BlockCopy: High-Resolution Video Processing with Block-Sparse Feature Propagation and Online Policies. (from Tinne Tuytelaars)

8. Layer-wise Customized Weak Segmentation Block and AIoU Loss for Accurate Object Detection. (from Lei Zhang)

9. Reconcile Prediction Consistency for Balanced Object Detection. (from Lei Zhang)

10. Recall@k Surrogate Loss with Large Batches and Similarity Mixup. (from Jiri Matas)

10 ML Papers.mp3

本周 10 篇 ML 精选论文是：

1. DSKReG: Differentiable Sampling on Knowledge Graph for Recommendation with Relational GNN. (from Philip S. Yu)

2. Explaining Bayesian Neural Networks. (from Klaus-Robert Müller)

3. SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm. (from Yoav Freund)

4. Latent Space Energy-Based Model of Symbol-Vector Coupling for Text Generation and Classification. (from Bo Pang)

5. sigmoidF1: A Smooth F1 Score Surrogate Loss for Multilabel Classification. (from Maarten de Rijke)

6. Adaptive Control of Differentially Private Linear Quadratic Systems. (from Ness Shroff)

7. PASTO: Strategic Parameter Optimization in Recommendation Systems -- Probabilistic is Better than Deterministic. (from Yang Liu)

8. Plug and Play, Model-Based Reinforcement Learning. (from Svetha Venkatesh)

9. Integer-arithmetic-only Certified Robustness for Quantized Neural Networks. (from Cyrus Shahabi)

10. SemiFed: Semi-supervised Federated Learning with Consistency and Pseudo-Labeling. (from Cyrus Shahabi)

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com