IDRLnet: 基于内嵌物理知识神经网络的开源求解框架

机器之心 前天

以下文章来源于红山开源 ，作者彭伟

红山开源
红山开源

红山开源隶属于北京大数据先进技术研究院，是集开源项目、创客空间和开放竞赛于一体的在线协同创新平台。


编者按

为解决飞行器设计优化过程中物理场快速仿真问题和运行监测阶段物理场精确反演问题，国防科技创新研究院无人系统技术研究中心智能设计与鲁棒学习团队推出微分方程智能求解框架IDRLnet。该框架是国内首款基于内嵌物理知识神经网络的开源框架。IDRLnet作为该团队自主研发IDaaS平台的一个重要解算单元，与平台其他工具协同提升智能设计水平。IDRLnet已在红山开源平台上发布，旨在助力相关学术成果涌现，推动相关技术迭代，促进相关应用落地。
注：
① IDRLnet框架以智能设计与鲁棒学习团队命名，Intelligent Design and Robust Learning，简称IDRL；
② IDaaS平台全称为Intelligent Design as a Service，致力于提供智能设计优化的一站式解决方案；
③ 开源代码托管地址：
https://forge.osredm.com/projects/p94628173/idrlnet；
https://github.com/idrl-lab/idrlnet；
④ 关联论文地址：
https://arxiv.org/abs/2107.04320。

01 学科与开发背景简介

数据与知识混合驱动下的多物理场仿真与反演。物理场的快速仿真与精确反演是飞行器设计和运行监测中会面临的两个重要课题。在设计过程中，对设计方案的物理场数值仿真需要消耗大量时间，导致整体设计周期大大延长；飞行器运行阶段，性能监测涉及物理场反演，往往受限于传感器数量和精度，纯粹数据驱动的方式并不能满足物理场的重建需求。因此，数据与物理知识混合驱动的智能新范式是同时解决这两个重要问题的新方向。内嵌物理知识神经网络（Physics-Informed Neural Network，PINN)是近年伴随人工智能热潮的新兴技术，保持了神经网络对数据的高效利用特性的同时，在神经网络中内嵌物理知识，从而实现数据与物理知识混合驱动。


国内外PINN相关软件开发情况。由布朗大学Karniadakis教授团队的Lu博士领衔开发的DeepXDE是第一款PINN求解库，该算法库对于PINN的学术研究起了重要推动作用；在2020年的GTC大会上，英伟达公司发布了另一款计算框架NVIDIA Simnet。该框架至今尚未开源，但已经在芯片散热快速仿真问题与颅内血液流场反演问题中进行了成功的尝试探索；除此之外，从不同需求出发，国外还发布了若干各具特色的PINN求解库。由此可见，PINN作为通用微分方程求解技术受到了跨学术界和工业界的广泛重视。在IDRLnet发布之前，尚没有国内机构发布PINN相关开源软件，IDRLnet是第一款由国内机构发布的PINN开源求解框架。

02 IDRLnet设计架构

几何辅助模块及功能。为便利PINN学术研究，IDRLnet提供了二维与三维的基本几何对象，并支持这些几何对象之间的集合运算。PINN方法的基本思路是对采样配点上的数据和方程残差进行拟合，因此，根据PINN学术研究中的常见需求，IDRLnet同时提供了几何对象内部的采样配点方法及其对应符号距离场（SDF）、边界上的采样配点方法及其对应法向量。以下是二维几何对象的简单例子。
图片

图1 左图为四阶Kohn雪花，具有分形特性的复杂边界，在对海岸线相关问题进行建模时会遇到类似的复杂几何对象。右图是IDRLnet在Kohn雪花上的几种不同采样，其中蓝色点为边界采样配点；IDRLnet对内部点进行采样时，会同时计算采样配点的SDF，因此可以通过SDF的值筛选得到靠近边界的采样配点（橙）；通过配置过滤函数，可得内部的结构网格采样（绿）。


通过定义多边形等几何对象，利用集合运算，可以逼近复杂二维对象。
图片

图2 用集合运算构造的几何区域，蓝色为边界采样配点，其上的箭头为法向量方向，法方向随边界采样自动生成。


定义非耦合结点，构建计算图。处理复杂物理场时可能涉及较多对象，物理方程与采样点数据之间的耦合较为复杂。为了应对潜在的复杂关联问题，IDRLnet在架构设计上解耦了数据源、物理方程、神经网络之间的依赖，各个计算对象可以进行单独定义。基于给定数据源，自动获取需要的依赖结点；构建计算图，利用拓扑排序构造计算流水线；整合多个流水线，得到最终损失函数，进而利用反向传播对神经网络完成训练。
图片

图3 单个数据源构建损失。

图片

图4 单个数据源构建计算图与流水线。


自定义算法接口，促进PINN研究。尽管PINN有不少的成功应用案例，但其本身仍没有发展成熟，更多高效算法亟待开发。IDRLnet提供了回调机制，可在保持框架的系统结构下，支撑用户自定义算法。 
图片

图5 训练过程中，用户可在以上步骤结点处自定义操作，实现现有的各类PINN算法。

03 测试案例说明

物理场对设计变量调整的实时反馈。在设计参数的寻优过程中，利用PINN代理模型可以得到设计参数的实时响应，大幅压缩“设计参数-数值仿真”迭代循环的周期。值得注意的是，PINN的训练过程与一般代理模型训练过程不同，由于内嵌了物理知识，PINN并不依赖外部数值仿真提供训练数据。下图两个案例中，分别使用IDRLnet训练了三维流场和二维热流密度场的代理模型，实现物理场对设计变量的实时响应。

图片

图6 方形通风管道内部流速场对鳍片的几何参数变化的响应。 

图片

图7 上下边绝热、左右边导热的二维穿孔元件，对多个几何设计变量的热流密度场实时响应预测。


参数鲁棒反演。对于一类物理场重建问题，其核心是从带噪声的数据中反演识别出已知方程的特定参数。IDRLnet提供了多种方法来完成这一任务。对包含异常传感数据的情形，可使用IDRLnet提供的鲁棒优化方法对该参数进行反演识别。下图考虑在含异常传感数据情形下，波动方程系数的识别问题(数据生成系数为c=1.54)。
图片

图8 采用传统的平方损失未能识别出系数，这是由于u=3处的多个测点数据为异常值，干扰了参数识别。

图片

图9 尽管有异常值的干扰，IDRLnet在鲁棒损失下识别出系数（c=1.5245）。


极小曲面形状优化。IDRLnet并不局限于对物理场的仿真和反演，也可直接对优化问题进行建模求解。IDRLnet可以将函数作为优化变量，求解变分问题。下图是求解三维空间中极小曲面的案例。

图片

图10 固定上下两端圆环，寻找面积最小的曲面连接上下圆环；IDRLnet对初始值进行了预训练，加速了后续IDRLnet对变分问题寻优。

04 结语

‍
IDRL团队推出了国内首款基于内嵌物理知识神经网络的自主开源框架IDRLnet。内嵌物理知识神经网络是近年来的研究热点之一，IDRLnet框架将助力该领域的学术研究和应用落地。IDRL团队将基于飞行器设计相关课题展开研究，把IDRLnet框架投入到智能设计的应用中，形成“需求-研究-开发-应用”的正反馈循环。随着内嵌物理知识神经网络相关研究不断深入，团队将对IDRLnet的功能和性能进行不断完善和改进。

IDRL团队介绍
国防科技创新研究院无人系统技术研究中心智能设计与鲁棒学习团队致力于人工智能与飞行器设计的基础前沿和交叉研究，面向飞行器多学科高效分析与优化，发展了系列数据和知识混合驱动的深度学习方法，形成了全自主知识产权的智能辅助飞行器设计优化云平台IDaaS（Intelligent Design as a Service）原型系统、集成卫星组件热布局温度场近实时预测基准工具箱STEP（Satellite Temperature fiEld Prediction of heat source layout）、内嵌物理知识神经网络算法框架IDRLnet等前沿成果，并正在推动多物理场数字孪生、结构与材料设计等交叉应用研究。近3年团队发表相关学术论文30余篇，其中高影响因子SCI检索20余篇，申请专利30余项。相关成果列表如下：
[1] Peng, W., Zhang, J., Zhou, W., Zhao, X., Yao, W., Chen, X., (2021). IDRLnet: A Physics-Informed Neural Network Library, arXiv preprint arXiv:2107.04320.
[2] Xiang, Z., Peng, W., Zheng, X., Zhao, X., Yao, W., (2021). Self-adaptive loss balanced Physics-informed neural networks for the incompressible Navier-Stokes equations, arXiv preprint arXiv:2104.06217.
[3] Chen, X., Zhao, X. Gong, Z., Zhang，J., Chen, X., Yao, W., (2021) A Deep Neural Network Surrogate Modeling Benchmark for Temperature Field Prediction of Heat Source Layout, Science China-Physics, Mechanics & Astronomy.
[4] Chen, X., Chen, X., Zhou, W., Zhang, J., Yao, W.,(2021). The heat source layout optimization using deep learning surrogate modeling. Structural and Multidisciplinary Optimization.
[5] Zheng, X., Yao, W., Xu, Y., Chen, X., (2020). Algorithms for Bayesian network modeling and reliability inference of complex multistate systems: Part I–Independent systems. Reliability Engineering & System Safety.
[6] Zhao., X, Gong, Z., Zhang, J., Yao, W., Chen, X., (2021). A surrogate model with data augmentation and deep transfer learning for temperature field prediction of heat source layout. Structural and Multidisciplinary Optimization.(to appear)
[7] Luo, J., Li, Y., Zhou, W., Gong, Z., Zhang, Z., Yao, W., (2021). An Improved Data-Driven Topology Optimization Method Using Feature Pyramid Networks with Physical Constraints. Computer Modeling in Engineering & Sciences.(to appear)
[8]黄奕勇,李星辰,田野,张翔（2020）,Comsol多物理场耦合仿真入门指南,机械工业出版社.
（联系方式：idrl_hr@163.com）