ок буду делать чистый дефолт+как написано+pr

Есть у кого пример Scrapy crawler вместе с splash? Что то он после первого реквеста останавливается

да не будет оно по дефолту работать)

вам в луа надо прописать проксю

будет оно по дефолту работать, миделвер в сплеш и прописывает

если splash получит proxy просто в args он ничо с ним делать не будет

почему?

и куда его передавать или в не в аргс сплеша?

Нужно делать кастомный скрипт луа

на примере кравлеры делается примерно так

ну ток вам надо передавать уже не апикей а собственно хост, порт и прочее

я не могу утверждать про execute, в нём только на доки опираюсь, но с render работает

а вы уверены, что у splash менялся IP? вы проверяли на каком нить myip.com?

уверен, я ozon парсил, просто так я бы его не получал, он заблочен для Украины

А не помнишь в каком виде у тебя прокси были в файле?
Так ругается
2019-07-29 16:46:51 [scrapy_splash.middleware] WARNING: Bad request to Splash: {'error': 400, 'type': 'BadOption', 'info': {'type': 'bad_argument', 'argu
ment': 'proxy', 'description': 'Invalid proxy URL format.'}, 'description': 'Incorrect HTTP API arguments'}
2019-07-29 16:46:51 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://atomurl.net/myip/ via http://localhost:8050/execute> (failed 1 times
): 400 Bad Request
На прокси http://139.59.53.106:3128

такой же, просто файл, на каждой строке новый прокси

ну похоже, я давно последний раз проверял документацию по проксям на splash.
Действительно щаз просто можно передать в любой endpoint аргумент proxy и он будет работать.

и да, проверил, и правда работает