Телеграмм чат группы scrapy

Size: a a a

Scrapy

848 membersпожаловаться на группу

2021 April 23

Пастырь in Scrapy

Объясни задачу, может помогу

источник

16:13пожаловаться #1

Boris Litvyakov in Scrapy

а разве есть открытые и качественные геокодеры? я как-то раз 500к адресов прогонял через openstreetmap, добился тип 95% результата по Москве (после долгих танцев с бубном), по России хуже было

для России норм зашла dadata но там 0.1₽/запрос

источник

16:14пожаловаться #2

SoHard 🎄 in Scrapy

ввести фирму в поиск, собрать каждого результата координаты, сайт, плюскод

источник

16:17пожаловаться #3

Пастырь in Scrapy

А если 2гис? Там свободно данные отдаются

источник

16:41пожаловаться #4

Пастырь in Scrapy

Есть, у меня 99% пробовало

источник

16:42пожаловаться #5

Пастырь in Scrapy

Даже регионы, я в нем живу :)

источник

16:42пожаловаться #6

Пастырь in Scrapy

Welcome to GeoPy’s documentation! — GeoPy 2.1.0 documentation
https://geopy.readthedocs.io/en/stable/#module-geopy.geocoders

источник

16:44пожаловаться #7

Пастырь in Scrapy

Вот этой либо пользовался. Номинализм справляется, правда медленный достаточно

источник

16:44пожаловаться #8

Максим in Scrapy

Подскажите пожалуйста, как сделать так чтобы в скрапи выполнялся запрос на страничку до тех пор, пока не получит нужный ответ(долбить одну и ту же страничку проще говоря)?

Знаю, что можно банить прокси задав нужную логику в response_is_ban. Есть что-то подобное для моего случая, но не баня прокси?

источник

17:02пожаловаться #9

Andrey Rahmatullin in Scrapy

RETRY_TIMES=10000000000000

источник

17:11пожаловаться #10

Andrey Rahmatullin in Scrapy

толку-то

источник

17:11пожаловаться #11

Максим in Scrapy

Нет, не то.
Как мне задать политику, при которой страничка должна заново загружаться? Ответ то всегда 200, но контент разный