Size: a a a

2018 July 04

A

Artuchka in Scrapy
Ну лично по моей задумке
источник

AS

Alexander Serebrov in Scrapy
Я имею в виду, что не нужно нажимать кнопку стоп)) он просто поскрейпит нужные урлы и сам остановится
источник

A

Artuchka in Scrapy
Alexander Serebrov
Я имею в виду, что не нужно нажимать кнопку стоп)) он просто поскрейпит нужные урлы и сам остановится
погоди
а как мне понять, когда юзер нажмёт кнопку стоп?)
там же может быть 2к элементов наскрейпит, а дело в том, что юзер не будет их  все читать)
источник

AS

Alexander Serebrov in Scrapy
Ну самый простецкий вариант, который я могу с ходу придумать - убивать процесс
источник

B

Bulatbulat48 in Scrapy
источник

B

Bulatbulat48 in Scrapy
Не то что нужно?
источник

AS

Alexander Serebrov in Scrapy
Artuchka
погоди
а как мне понять, когда юзер нажмёт кнопку стоп?)
там же может быть 2к элементов наскрейпит, а дело в том, что юзер не будет их  все читать)
Так в этом и задумка, чтобы он собирал только то, что юзеру нужно
источник

AS

Alexander Serebrov in Scrapy
А не все подряд
источник

B

Bulatbulat48 in Scrapy
источник

A

Artuchka in Scrapy
сейчас посмотрю оба поточнее
источник

A

Artuchka in Scrapy
Alexander Serebrov
Ну самый простецкий вариант, который я могу с ходу придумать - убивать процесс
мб и это хороший вариант
источник

A

Artuchka in Scrapy
Alexander Serebrov
Так в этом и задумка, чтобы он собирал только то, что юзеру нужно
ну дело в том, что юзер вводит поисковой запрос для ебей
ебей например выдает 81k результатов
источник

A

Artuchka in Scrapy
мне кажется почему-то юзер будет не в состоянии ждать пока напарситься всё + это будет нагружать систему, если юзеру хватило первых 100 результатов, ибо паучок не остановиться
источник

A

Artuchka in Scrapy
сейчас буду читать про paused state тогда и тп
источник

AS

Alexander Serebrov in Scrapy
Тогда вариант ставить его на паузу после первых 100 и спрашивать))
источник

A

Artuchka in Scrapy
ну можно и так конечно)))
источник

AS

Alexander Serebrov in Scrapy
Но потом все равно надо будет его вбить, если продолжать не надо 😅😅😅
источник

AS

Alexander Serebrov in Scrapy
И мы возвращаемся к изначальному вопросу 😂
источник

A

Artuchka in Scrapy
ахаххаха, да, дааааа))))
источник

A

Artuchka in Scrapy
paused state было бо норм по идее
только разобраться бы сейчас)
источник