Я спарсил все эти страницы в наглую, не забанили, так что лимита видимо никакого Плюс они столько плюшек приятных туда запихали, своего рода флаги для регулярных выражений, что честно говоря не думаю что они вообще будут банить за активность
Допустим у тебя есть список данных уже спарсины и лежат в файлеке на компе, пишешь парсер которые чекачет сраницу и списко постов(возможно там есть табуляция), собирает этот список до того как наткнется на совпадение первый пост из данных которые у тебя есть. Потом передает спарсенный список постов а именно их url ворому парсеру который непосредсвенно парсит каждый пост и записывает их в список который у тебя на компе хранится! И все это дело можно запускать в бесконечном цикле с задержкой по времени на час! Можно настроить cron или supervisor чтобы он запускал скрипт сам, без бесконечного цикла! Незабудь про try except потому что сеединения обычно подают чтобы все поднималось и не сыпалось об консоль
Если все на долговременной основе то делай генератор заголовков, и используй пару прокси хотябы чтобы не забанили! Скорее там все же есть ограничения на любом сервере они по дефолту стоят только какие знает только админ
Посмотри может быть на какой то запрос прилетает json с колличеством постов, тогда еще проще, чекаешь этот url получаешь json сравниваешь значения, если есть изменения парсишь данные. Проверяя если они новые!