Нет, проблема оказалась в другом. Мне уже было смешно писать, что проблема появилась снова))
Кнопка для подгрузки была <button> элементом и при нажатии получала фокус. От этого скролл удерживал viewport на ней и новый контент уходил вверх.
Сменив на элемент <span> проблему решил, но семантика ушла, потому что должно быть кнопкой, думаю.