Size: a a a

2019 August 18

К

Кирилл in Scrapy
А почему не поставить виртуальное окружение и там выбирать нормальные версии?
источник

К

Кирилл in Scrapy
izzz zzi
а куки он от паука подтянет?
Да
источник

iz

izzz zzi in Scrapy
req = yield Request('https://1/ajax/misc/contact/phone/{}/?pt={}'.format(id,pt),headers={'Referer':response.url})

верно?
источник

К

Кирилл in Scrapy
izzz zzi
req = yield Request('https://1/ajax/misc/contact/phone/{}/?pt={}'.format(id,pt),headers={'Referer':response.url})

верно?
Это только если с декоратором inline_requests , если без него, тогда убери присвоение, просто yield
источник

iz

izzz zzi in Scrapy
Кирилл
Это только если с декоратором inline_requests , если без него, тогда убери присвоение, просто yield
а если у меня ротатор сверху , он прокси будет отдавать сам?)
источник

iz

izzz zzi in Scrapy
@inline_requests
def parse_item(self, response):
   try:
       id = re.search('ad_id":"(\d+)"', response.text)
       if id:
           id = id.group(1)
           req = yield Request('https://1/api/v1/offers/{}/phones/'.format(id),
                               headers={'Referer': response.url,
                                        'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E304 Safari/602.1',
                                        'Authorization': 'Bearer 2',
                                        'Version': '1.19',
                                        'X-Client': 'MWEB',
                                        'X-Device-Id': 'b4075b4a-9450-4a9d-9a82-702e715dde5f',
                                        'X-Platform-Type': 'mobile-html5'})
           Item = 1()
           Item['url'] = response.url

получается что сам Request долго делается
источник
2019 August 19

К

Кирилл in Scrapy
izzz zzi
а если у меня ротатор сверху , он прокси будет отдавать сам?)
Отдавать прокси?
источник

iz

izzz zzi in Scrapy
паук
источник

К

Кирилл in Scrapy
Куда отдавать?) и какой именно ротатор
источник

i

ildar in Scrapy
я тож не понял, но ткну пальцем в небо предположив, что это зависит от того, какой приоритет какой мидлваре выставить
источник

A

AstralRomance in Scrapy
Насколько адекватно спроектировано: есть тг бот, который через апи обращается к чужой базе, с помощью результатов запроса формируется линк на сайт, который передается в павука, а павук мне дает цены по моему запросу
источник

К

Кирилл in Scrapy
AstralRomance
Насколько адекватно спроектировано: есть тг бот, который через апи обращается к чужой базе, с помощью результатов запроса формируется линк на сайт, который передается в павука, а павук мне дает цены по моему запросу
Если сайт большой, то все правильно. Если небольшой то лучше настроить регулярный парс сайта, чтоб в бд были актуальные данные, и ботом запрашивать бд. Это уменьшит время отклика
источник

A

AstralRomance in Scrapy
Кирилл
Если сайт большой, то все правильно. Если небольшой то лучше настроить регулярный парс сайта, чтоб в бд были актуальные данные, и ботом запрашивать бд. Это уменьшит время отклика
У меня нет доступа напрямую к бд к которой я обращаюсь. Это чужой апи к которому я не имею отношения.
источник

К

Кирилл in Scrapy
Тогда вообще нет вариантов) можно еще заморочиться с кэшированием линков, но это уже от ситуации зависит, я подробностей не знаю
источник
2019 August 20

A

AstralRomance in Scrapy
Вот хочу я достать данные из такого элемента сайта:
<td class="deckdbbody search_results_9">

Вот этот тег я взял из того, что получил из павука. Дальше делаю как в доке, но когда я пытаюсь выполнить:
response.css("td.deckdbbody search_results_9")
|
Возвращается пустой список. Что со мной не так?
источник

М

Мак in Scrapy
AstralRomance
Вот хочу я достать данные из такого элемента сайта:
<td class="deckdbbody search_results_9">

Вот этот тег я взял из того, что получил из павука. Дальше делаю как в доке, но когда я пытаюсь выполнить:
response.css("td.deckdbbody search_results_9")
|
Возвращается пустой список. Что со мной не так?
полность покажи строчку
источник

A

AstralRomance in Scrapy
Мак
полность покажи строчку
Какую из?
источник

М

Мак in Scrapy
AstralRomance
Какую из?
целевую, понятное дело... откуда ты достать что то хочешь
источник

A

AstralRomance in Scrapy
Если про вторую, то это строка полностью. Я по стартовому гайду прохожу.
Вот результат copy element из спавученой страницы:
<td class="deckdbbody search_results_9">$34.99</td>
источник

М

Мак in Scrapy
цену надо достать?
источник