Size: a a a

2021 May 06

AR

Andrey Rahmatullin in Scrapy
например да
источник

AR

Andrey Rahmatullin in Scrapy
или редко выставляемые
источник

r

rink0 in Scrapy
Баксов?
источник

МС

Михаил Синегубов... in Scrapy
либо прогнуть конкурета, ботами резервировать товар, что бы не было в наличии
оно же, часто, при добавлении в корзину товар резервируется, а снимается с резерва не сразу
источник

r

rink0 in Scrapy
Скупают редкие модели кроссовок. Либо новые модели какие-то. И потом перепродают
источник

A

Andrii in Scrapy
3грн сайт?
источник

A

Andrii in Scrapy
источник

r

rink0 in Scrapy
Ахахахпхппх
источник

DF

DOG FATHER in Scrapy
Спасибо за ответы, теперь понятно ещё одно направление парсинга
источник

S

SoHard 🎄 in Scrapy
Там он потом писал 30
источник

S

SoHard 🎄 in Scrapy
Но спасибо конечно
источник

S

SoHard 🎄 in Scrapy
Это скорее автоматизация, причем вредная
источник

E

EFS in Scrapy
так или иначе, это направление цветет и пахнет
источник

AA

An Allford in Scrapy
Может кто-то знает как можно просто реализовать: мне нужно йелдить инфу, если начальная ссылка из start_urls возвращает 404 статус. Проблема в том, что есть несколько спайдеров и следующие по вызову функции могут отличаться (то есть где-то parse, где-то parse_items, где-то parse_item). Вариант только приводить к единым названиям все функции-генераторы второй ступени к единому типу и пихать промежуточную функцию? Или есть проще вариант?
источник

МС

Михаил Синегубов... in Scrapy
Я понял, что вообще нефига не понял🤨
источник

МС

Михаил Синегубов... in Scrapy
Как реакция на 404 код связана с именем метода?
источник

G

Georgiy in Scrapy
В объектах Response от запросов из start_urls  meta параметр depth всегда будет 0.

Что бы это реализовать необходимо в SpiderMiddlewares подключить что-нибудь такое:
class FromStartUrlsSpiderMiddleware:
   def process_spider_output(self, response, result, spider):
       for x in result:
           yield x
       if response.status == 404 and not response.meta.get('depth'):
           yield {'some_info':'404'}
источник

S

SoHard 🎄 in Scrapy
источник

S

SoHard 🎄 in Scrapy
спасибо, всё сразу понял
источник

AA

An Allford in Scrapy
Ну вот Георгий вроде понял вопрос. Нужно наверное мидлвейром решить. Суть типа в том, что у меня допустим 100 спайдеров, а мне из каждого надо йилдить объект, если ссылка для парсинга оказалась недоступной и ответ 404.
Ну и сделать это правильно и с минимальными телодвижениями в коде
источник