С оптимизациями сложно то, что если не известен способ, каким получена оптимизированная программа (а с нейросеткой это так), то в общем случае невозможно доказать эквивалентность исходной и оптимизированной программы. Нужна ещё одна нейросетка, которая будет строить машинно-проверяемое доказательство эквивалентности. А с этим пока проблемы.