Прошу ответить максимально развернуто, если возможно

Ну яндекс трудно обмануть, можешь попробовать через заголовки.

Можно пример кода или ссыль где посмотреть, почитать

Буду премного благодарен

Спасибо

Start URL принимает список стартовых урл, можешь передать туда функцию, возвращающую список сразу всех урл. В функции обычное чтение из файла.

Прикольно, скинь плиз ссылочку на чат

Посмотри в истории чата про копирование curl из chrome. Если они не выполнят никаких js проверок, то пройдёт.

Добрый день, пытаюсь запарсить личный кабинет спутникового провайдера (захожу по своему логину)
Запускаю сессию, отправляю запрос с логином и паролем и с хедерем через request, при правильном вводе пароля выдаёт страницу вообще какую то странную, вроде js. Кто поможет и подскажет вот ссылка на личный кабинет https://lk.rtcomm.ru/login
Что за страница такая страница, получаю ответ 200 хотя должен был быть редирект, но перехода дальше в личный кабинет не производится. Прошу помочь хотя бы советом, по scrapy, к сожалению такого пока не умею, может есть ссылка на пример с видео или в доках что читать

Посмотри в дев панели , какие запросы идут. Если админ панель то очень вероятно сделана на js фреймворке

Вырубайте js в браузере и пытайтесь зайти.
Если невозможно то да, как написали выше,смотрите в девтулзах куда идут запросы

Вот запросы

Ну всё, оно установило тебе куки сессии, дальше запрашивай другую страницу

Content-Type: application-json

как бы намекает, что в ответ json прилетел. И еще, "/api/" в ссылке на то же самое намекает. Пользуете внутренний API сервиса? Скорее всего, HTML не увидите

а они выполнят буквально через пару заросов

Так в итоге как можно прятаться при парсинге от дядюшки майора? Что нужно подменивать/подключать?

ВПН стоит?

ты вот сейчас прям серьезно спрашиваешь у людей, которых ты в жизни никогда не видел - как защититься от товарища майора?