Size: a a a

2019 July 29

JW

John Wayne in Scrapy
ок буду делать чистый дефолт+как написано+pr
источник

VP

Valera Pupkin in Scrapy
Есть у кого пример Scrapy crawler вместе с splash? Что то он после первого реквеста останавливается
источник

E

Evgen in Scrapy
да не будет оно по дефолту работать)
источник

E

Evgen in Scrapy
вам в луа надо прописать проксю
источник

К

Кирилл in Scrapy
будет оно по дефолту работать, миделвер в сплеш и прописывает
источник

E

Evgen in Scrapy
если splash получит proxy просто в args он ничо с ним делать не будет
источник

К

Кирилл in Scrapy
почему?
источник

К

Кирилл in Scrapy
и куда его передавать или в не в аргс сплеша?
источник

E

Evgen in Scrapy
Нужно делать кастомный скрипт луа
источник

E

Evgen in Scrapy
на примере кравлеры делается примерно так
источник

E

Evgen in Scrapy
local host = 'proxy.crawlera.com'
   local port = 8010
   local proxy = splash.args.crawlera_apikey

   splash:on_request(function (request)
       request:set_timeout(360.0)
       request:set_proxy(host, port, crawlera_apikey, '')
   end)
источник

E

Evgen in Scrapy
ну ток вам надо передавать уже не апикей а собственно хост, порт и прочее
источник

К

Кирилл in Scrapy
я не могу утверждать про execute, в нём только на доки опираюсь, но с render работает
источник

E

Evgen in Scrapy
а вы уверены, что у splash менялся IP? вы проверяли на каком нить myip.com?
источник

К

Кирилл in Scrapy
уверен, я ozon парсил, просто так я бы его не получал, он заблочен для Украины
источник

JW

John Wayne in Scrapy
Кирилл
уверен, я ozon парсил, просто так я бы его не получал, он заблочен для Украины
А не помнишь в каком виде у тебя прокси были в файле?
Так ругается
2019-07-29 16:46:51 [scrapy_splash.middleware] WARNING: Bad request to Splash: {'error': 400, 'type': 'BadOption', 'info': {'type': 'bad_argument', 'argu
ment': 'proxy', 'description': 'Invalid proxy URL format.'}, 'description': 'Incorrect HTTP API arguments'}
2019-07-29 16:46:51 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://atomurl.net/myip/ via http://localhost:8050/execute> (failed 1 times
): 400 Bad Request
На прокси http://139.59.53.106:3128
источник

К

Кирилл in Scrapy
такой же, просто файл, на каждой строке новый прокси
источник

E

Evgen in Scrapy
ну похоже, я давно последний раз проверял документацию по проксям на splash.
Действительно щаз просто можно передать в любой endpoint аргумент proxy и он будет работать.
источник

E

Evgen in Scrapy
источник

E

Evgen in Scrapy
и да, проверил, и правда работает
источник