Size: a a a

2018 July 05

EB

Elisei Badanin in Scrapy
загрузили страницы, вытянули элементы, отобразили пользователю?
источник

A

Artuchka in Scrapy
он проходит по тем страницам, которы в start_urls + может переходить по тем страницам, которые захочешь

например на странице сесть кнопка "next page" находиошь элемент по css\xpath берёшь @href переходишь на страницу другую с помощью yield scrapy.Requests(.....)
источник

A

Artuchka in Scrapy
Elisei Badanin
загрузили страницы, вытянули элементы, отобразили пользователю?
отобразил?
только если ты напишешь, чтобы он отобразил
источник

A

Artuchka in Scrapy
он возращает reponse объект
источник

EB

Elisei Badanin in Scrapy
я не совснм понимаю кейс, когда нужно останавливыать
источник

A

Artuchka in Scrapy
пхпхпхпххп
остановить паука?))
источник

A

Artuchka in Scrapy
я с этим разбираюсь уже около 6 часов в сумме, со вчерашнего дня начал
источник

A

Artuchka in Scrapy
пытался через потоки, но потокам пофиг на то, что у меня ещё tkinter робит на фоне и они его поток лочат
источник

EB

Elisei Badanin in Scrapy
еще раз, а зачем его останавливать?
источник

A

Artuchka in Scrapy
если тебе его не надо останавливать, то не останавливай
он у тебя всё просканит и сделает как ты ему сказал
источник

A

Artuchka in Scrapy
но дело в том, что у меня юзер может нажать кнопку стоп и тогда паук должен остановиться и не выводить больше инфы с сайта
источник

EB

Elisei Badanin in Scrapy
ну тут скорее нужно или делать скрапер, в который аргументом передается страница, или вообще не использовать скрапи(раз уж нужно загрузитть всего одну страницу)
источник

A

Artuchka in Scrapy
та неее
у меня то не одна страница парситься

ебей у меян парситься с товарами, там и 81к страниц может быть
источник

A

Artuchka in Scrapy
Elisei Badanin
ну тут скорее нужно или делать скрапер, в который аргументом передается страница, или вообще не использовать скрапи(раз уж нужно загрузитть всего одну страницу)
а как первый вариант сделать?
источник

A

Artuchka in Scrapy
точнее
источник

A

Artuchka in Scrapy
как сделать знаю
источник

EB

Elisei Badanin in Scrapy
ну вариант или ограничить глубину и сохранаять все в бд
источник

EB

Elisei Badanin in Scrapy
ну или еще как-то кешировать
источник

A

Artuchka in Scrapy
но как сделать так, чтобы не лагало окошко tkinter
источник

A

Artuchka in Scrapy
Elisei Badanin
ну вариант или ограничить глубину и сохранаять все в бд
глубину поиска ограничить вроде как не могу
юзер ведь сам нажмёт стоп парсинга кнопку
источник