По-хорошему опубликованных статей у меня пока нет: есть только препринт и статья на воркшопе ICLR.
Про PDE есть библиотека с дифференцируемыми солверами на JAX`е:
https://github.com/IvanYashchuk/jax-fenics-adjoint. Её автор говорит по-русски, и его можно найти в opendatascience.
Сам я пока только ODE в контексте нейросетей занимался. И давно применял автодифференцирование для улучшения решателя PDE, но это скорее применение DL в PDE, а не наоборот.
Поэтому не очень разбираюсь в теме :(