Size: a a a

2020 March 20

Ф

ФСБ in Scrapy
сам проходил недавно
источник

AR

Andrey Rahmatullin in Scrapy
Vitalii
Ну типо как собрать вообще все товары что есть на сайте, а не отдельно женские, мужские и тд
Обойти все страницы категорий да собрать
источник

МС

Михаил Синегубов in Scrapy
Vitalii
Ну типо как собрать вообще все товары что есть на сайте, а не отдельно женские, мужские и тд
понимаешь, от такого тут у людей когнитивный диссонанс случается. Ибо именно это обычно и делается, именно собирается ВСЕ, а вот по отдельности что-то, это уже лишние движения в кодинге...
так что Сергей правильно посоветовал, пройди тутор, тогда уже появится куча других вопросов, но это уже другой разговорю
да, и не кидайся сразу парсить серьезные сайты, поиграйся с http://quotes.toscrape.com/ это как раз сайт для обучения парсингу.
источник

V

Vitalii in Scrapy
Понял, спасибо
источник

AB

Artur Borkov in Scrapy
BeautifulSoup4. При парсинге возвращает None, если делать это напрямую через URL. Если скачать сайт и копать с локалки - все хорошо. Почему так?
источник

AB

Artur Borkov in Scrapy
Копает только до определённого тэга. Дальше None
источник

AB

Artur Borkov in Scrapy
Использую urllib
источник

AR

Andrey Rahmatullin in Scrapy
Сохрани ответ на диск и сравни
источник

AB

Artur Borkov in Scrapy
Проблема может быть в том, что данные эти динамические?
источник

К

Кирилл in Scrapy
Проблема в том, что bs, это Парсер, а не кравлер, он не умеет скачивать
источник

AB

Artur Borkov in Scrapy
Что тогда можно использовать?
источник

К

Кирилл in Scrapy
Сначала нужно  скачать, то что ты собрался парсить, с bs обычно requests используют. Или бери полностью scrapy
источник

К

Кирилл in Scrapy
Почему в доке не написаны доступные опции для crawl?  -o -t -a
источник

К

Кирилл in Scrapy
Хотя для genspider прописана опция
источник

AR

Andrey Rahmatullin in Scrapy
шлите пулл реквесты
источник

AB

Artur Borkov in Scrapy
Так я использую urllib + когда сайт скачаный, то все отлично копает. А вот напрямую None возвращает
источник

AR

Andrey Rahmatullin in Scrapy
скачанный чем?
источник

AB

Artur Borkov in Scrapy
Просто правой кнопкой по сайту и скачать
источник

AR

Andrey Rahmatullin in Scrapy
што
источник

AB

Artur Borkov in Scrapy
Это имею ввиду
источник