в целом алогритм работы практически всегда одинаковый
- проводим разведку, смотрим есть ли ваф, трекалки, идем в роботс
- проверяем запросы в девтулзах, вполне возможно что ничего делать не надо т.к. оно или прямо жсоном передается, или есть незадокументированное апи
- проверяем на жс, если много всякого жс зависимого говна, то используем селениум. меньше жс говна или нет жс - скрэпи
- смотрим что тригерит капчу, делаем так чтобы капча не тригерилась. всегда если есть возможность не тригернуть капчу, то лучшее ее не тригерить, чем постоянно тыкаться в антигейты и ocr
- запасаемся региональными прокси, юа ротейтом, вычисляем делей
селениум умирает же, сейчас хедлесс хром юзают