能量守恒、达西定律，如何让机器学习模型严格符合这些物理机理？

机器之心 今天

图片


机器学习在工业场景的应用面临模型精准度与鲁棒性不足、迁移与拓展能力差的问题，这主要是数据稀缺和场景复杂所导致的。从本质上讲，机器学习模型就是提取输入数据中的信息，并用于推断与预测。常规数据驱动算法的信息来源以观测数据为主，制约了相关算法在工业实际中的运用。然而，经过上百年的发展，每个领域内都积累了大量的领域知识（如控制方程）。如果能够在机器学习模型中活化利用此部分知识，就可以扩充输入信息来源，有望打破模型效果提升的瓶颈。

为了嵌入领域知识，学界提出了PINN和TgNN等多种科学机器学习模型，通过扩充损失函数的方式将控制方程嵌入训练过程。上述方法只能保证模型预测结果在平均意义上符合物理机理，本质上是「软约束」。为了保证模型预测结果严格符合物理机理（如能量守恒、达西定律），鹏城实验室在最新的一项研究工作中提出了一种「硬约束」知识嵌入方法。
 
方法

本研究提出的理论指导的硬约束映射（HCP）的核心在于构建物理机理所约束的超平面，然后将神经网络的预测值投影到约束超平面内，保证预测结果严格符合物理约束。由于真解一定处于约束平面内，所以沿着约束面进行优化避免了对违背物理机理的空间的寻优（图1），可以提高求解效率与精度。

图片

图1：硬约束模型、软约束模型和数据驱动模型的优化过程

 
构建硬约束映射需要三个步骤，分别是控制方程离散化、矩阵分解和构建投影矩阵。基于严格的数学证明，通过引入领域知识，HCP可以确保模型预测结果在局部严格符合给定的物理机理。HCP中的投影过程可以视为在神经网络中引入了一个特殊的基于物理机理构造的激活函数。HCP的模型架构如图2所示。
图片
图2：HCP模型架构
 
结论

实验表明，HCP相比于常规的ANN或者嵌入领域知识的PINN/TgNN等神经网络，具有更快的收敛速度，同时观测值、边界条件以及配点数的数据量需求更低，预测精度更高。相比于传统数值模拟方法，HCP推断过程更快（计算耗时不会随着网格数增加而显著增加）。


9月1日，机器之心最新一期线上分享邀请到鹏城实验室博士后、瑞莱智慧联合创始人陈云天为大家带来本项研究的详细解读。
图片

分享主题：如何构建严格符合物理机理的机器学习模型

嘉宾介绍：陈云天，鹏城实验室博士后、瑞莱智慧联合创始人。他本科毕业于清华能源动力系统及自动化，同时获得北大经济学双学位。博士提前毕业于北大工学院，获优秀毕业生称号。研究方向为领域知识与机器学习算法的融合，关注知识嵌入与知识发现。注重产学研结合，致力于机器学习在工业中的落地。以第一作者/通讯作者发表论文11篇，获得授权专利10项。曾主持或以第一完成人负责课题5项，累计经费294万元，另有参与完成课题4项，累计经费1472万元。

分享概要：机器学习在工业场景的应用面临数据稀缺等原因导致的模型精准度与鲁棒性不足的问题。通过嵌入领域知识可以扩充输入信息来源，有望打破模型效果提升的瓶颈。学界提出了PINN和TgNN等多种科学机器学习模型，通过扩充损失函数的方式将控制方程嵌入训练过程。上述方法只能保证模型预测结果在平均意义上符合物理机理，本质上是「软约束」。为了保证模型预测结果严格符合物理机理（如能量守恒、达西定律），本研究提出了一种「硬约束」嵌入方法，该方法与常规的软约束方法兼容，可以视为一种基于物理机理构造的激活函数。该模型相比于嵌入领域知识的PINN和TgNN等模型，具有更快的收敛速度和更低的数据需求。相比于传统数值模拟方法，推断速度更快。

分享时间：9月1日19:00-20:00

直播间：https://jmq.h5.xeknow.com/s/2jFV43（点击阅读原文直达）。

论文与代码：

  • https://www.sciencedirect.com/science/article/pii/S0021999121005192

  • https://github.com/YuntianChen/Hard_constraint_projection_HCP

直播交流群：本次分享设有QA环节，欢迎大家进群交流提问。

图片

点击阅读原文，收藏直播间。

    阅读原文