так как придется ждать пока сайт загрузится и потом парсить html tree, то это забьет cpu. Поэтому автоскейлить веб сервер дорого будет.
Если мы говорим про клауд, то можно юзать aws kinesis или google pubsub которые сами скейлят батчи, и выходит обычно дешевле чем самому мейнтейнить свой стриминг