К
Size: a a a
2019 August 15
2019 August 16
МС
нет , пока созраняю самое гео в json от медиа
слух, ты инсту через проксю парсишь?
просто у меня скарпи внезапно отказался через проксю инсту прасить.... отдает 502 ошибку.
через рексвест - все Ок....
просто у меня скарпи внезапно отказался через проксю инсту прасить.... отдает 502 ошибку.
через рексвест - все Ок....
МС
кстати, народ, у кого есть хорошая (не халявная) прокся с незакрытой инстой?
я своего паучка брошу - тестанете.
а то ппц какой-то, на прошлой неделе работало. Щас написал чекер акков. Хотел данные спарсить старым пауком - и тут болт.
Причем сейчас попробовал вообще древнего паука - не работает через проксю.... На прямую все Ок.
я своего паучка брошу - тестанете.
а то ппц какой-то, на прошлой неделе работало. Щас написал чекер акков. Хотел данные спарсить старым пауком - и тут болт.
Причем сейчас попробовал вообще древнего паука - не работает через проксю.... На прямую все Ок.
A
Ставлю я анаконду. Делаю я анакондой венв, активирую его, потом ставлю скрапю.
Хочу я такой сделать павука, а оно мне такое какое на скрине. Уже правда есть мысль попробовать через pip накатить скрапю в обычный питон. Какие подводные?
conda install -c conda-forge scrapy
Хочу я такой сделать павука, а оно мне такое какое на скрине. Уже правда есть мысль попробовать через pip накатить скрапю в обычный питон. Какие подводные?
МС
что выдает, если просто ввести "scrapy"
МС
A
А я уже все снес, поставил в обычный питон и все решило заработать.
DD
))
s
Ставлю я анаконду. Делаю я анакондой венв, активирую его, потом ставлю скрапю.
Хочу я такой сделать павука, а оно мне такое какое на скрине. Уже правда есть мысль попробовать через pip накатить скрапю в обычный питон. Какие подводные?
conda install -c conda-forge scrapy
Хочу я такой сделать павука, а оно мне такое какое на скрине. Уже правда есть мысль попробовать через pip накатить скрапю в обычный питон. Какие подводные?
У тебя 32 битная винда?
A
У тебя 32 битная винда?
64.
К
кто-то пользуется? https://github.com/TeamHG-Memex/scrapy-rotating-proxies
интересует задержка между запросами и число конкурентных запросов, в доке написано что оно на каждую проксю отдельно действует, но я меняю число прокси, а количество итемов в минуту примерно одинаковое, такое ощущение что задержка общая
интересует задержка между запросами и число конкурентных запросов, в доке написано что оно на каждую проксю отдельно действует, но я меняю число прокси, а количество итемов в минуту примерно одинаковое, такое ощущение что задержка общая
Если кому вдруг интересно, после чтения исходников выяснилось, что настройки:
работают на каждую проксю отдельно, но
CONCURRENT_REQUESTS_PER_DOMAIN
CONCURRENT_REQUESTS_PER_IP
DOWNLOAD_DELAY
CONCURRENT_REQUESTS_PER_IP не будет привязан к ip и сработает так же как и CONCURRENT_REQUESTS_PER_DOMAIN, разницы нетCONCURRENT_REQUESTS ставит ограничение на всё вместе, а не на каждую проксюiz
слух, ты инсту через проксю парсишь?
просто у меня скарпи внезапно отказался через проксю инсту прасить.... отдает 502 ошибку.
через рексвест - все Ок....
просто у меня скарпи внезапно отказался через проксю инсту прасить.... отдает 502 ошибку.
через рексвест - все Ок....
Да через прокси
МС
Да через прокси
чья прокся? в смысле, где брал
iz
чья прокся? в смысле, где брал
Ты можешь и ipv6 взять они же дешевые , я брал на proxy.house
МС
блин, у меня какой-то маразм... Через реквест работает, скрапи - нихрена....
буду завтра пинать
буду завтра пинать
МС
первый раз такое
МС
Хедер мб ?
если выключить проксю - всре работает