Подумал, раз оно как и обычный open (которым оно и оказалось) возвращает "поток" а не экземпляр файла (или вроде того), то логично предположить что файл остаётся открытым
¯\_(ツ)_/¯
Так не работает. Считай, что внутри with своя локалка. Как только действие with заканчивается, переменная файла выходит из области видимости и закрывается