B
Пройдет по урлам
//div[@class="grid-nav__items-list"]//@hrefSize: a a a
2018 June 21
B
Разве это не создатели "скрапи"?
Вроде они
C
и лучше не указывать callback на parse, callback='parse_item'
Почему?
B
Почему?
вообще я не уверен, надо доку читнуть, но оно обычно юзается как дефолтная функция
MS
Misha принимай ответ)))
Да, я понимаю, что это все коммерческое но мало ли, раз уж scrappinghub так добры может есть ещё энтузиасты))
NK
Пройдет по урлам
//div[@class="grid-nav__items-list"]//@hrefи что дальше?
B
И закинет в твою функцию эти страницы
B
parse
NK
И закинет в твою функцию эти страницы
не думаю, там ведь колбэк не указан)
2018 June 22
B
Rule(LinkExtractor(
restrict_xpaths='//*[@class="product-grid__col--major"]//@href'
), callback='parse'),
по-идеи Scrapy отдаст в parse эти страницы
restrict_xpaths='//*[@class="product-grid__col--major"]//@href'
), callback='parse'),
по-идеи Scrapy отдаст в parse эти страницы
Вот же указан
NK
👍
DD
Подскажите, пожалуйста. Есть несколько вопросов:
1. В чем преимущество Xpath против того же bs4?
2. Вместо selenium'a кто-то использовал nightmare? Есть преимущества какие-то?
3. Какую БД лучше использовать, если нужно хранить данные?
4. Я обычно писал отдельные пауки. Если нужно делать целый проект, где будет множество сайтов, и соответственно пауков. Как это делается?
1. В чем преимущество Xpath против того же bs4?
2. Вместо selenium'a кто-то использовал nightmare? Есть преимущества какие-то?
3. Какую БД лучше использовать, если нужно хранить данные?
4. Я обычно писал отдельные пауки. Если нужно делать целый проект, где будет множество сайтов, и соответственно пауков. Как это делается?
DD
Спасибо:)
NK
Подскажите, пожалуйста. Есть несколько вопросов:
1. В чем преимущество Xpath против того же bs4?
2. Вместо selenium'a кто-то использовал nightmare? Есть преимущества какие-то?
3. Какую БД лучше использовать, если нужно хранить данные?
4. Я обычно писал отдельные пауки. Если нужно делать целый проект, где будет множество сайтов, и соответственно пауков. Как это делается?
1. В чем преимущество Xpath против того же bs4?
2. Вместо selenium'a кто-то использовал nightmare? Есть преимущества какие-то?
3. Какую БД лучше использовать, если нужно хранить данные?
4. Я обычно писал отдельные пауки. Если нужно делать целый проект, где будет множество сайтов, и соответственно пауков. Как это делается?
1. никаких, кому как удобнее. по крайней мере не нужно лишний раз пип инсталл делать) а так разницы нет.
NK
2. нет, думаю, что преимуществ и нет как таковых. но погуглю ради любопытства
MS
ID:507308625
2. нет, думаю, что преимуществ и нет как таковых. но погуглю ради любопытства
малость перебил, извиняюсь, надеюсь сразу поправишь))
MS
Подскажите, пожалуйста. Есть несколько вопросов:
1. В чем преимущество Xpath против того же bs4?
2. Вместо selenium'a кто-то использовал nightmare? Есть преимущества какие-то?
3. Какую БД лучше использовать, если нужно хранить данные?
4. Я обычно писал отдельные пауки. Если нужно делать целый проект, где будет множество сайтов, и соответственно пауков. Как это делается?
1. В чем преимущество Xpath против того же bs4?
2. Вместо selenium'a кто-то использовал nightmare? Есть преимущества какие-то?
3. Какую БД лучше использовать, если нужно хранить данные?
4. Я обычно писал отдельные пауки. Если нужно делать целый проект, где будет множество сайтов, и соответственно пауков. Как это делается?
Может отвечу несовсем корректно, надеюсь если что поправят..
1)xpath-язык запросов к xml (ну и следовательно к html) bs4(не использовал) - написано что библиотека для получения данных из html и xml, то есть не совсем понимаю как их можно сравнить))
2)не использовал не могу сказать
3)зависит от данных, если просто каталог и связей нет, то nosql (в случае со скрапи там есть модуль с mongodb) если есть отношения между данными то любую реляционную, однако в сами бд я не силен, есть еще разновидности (например колоночные) тут нужно более конкретно поставить вопрос
4)я точно не уверен, но слышал есть связка с django и видос на ютубе где чел показывает что-то типо окружения (scrapy django item вроде называется)
1)xpath-язык запросов к xml (ну и следовательно к html) bs4(не использовал) - написано что библиотека для получения данных из html и xml, то есть не совсем понимаю как их можно сравнить))
2)не использовал не могу сказать
3)зависит от данных, если просто каталог и связей нет, то nosql (в случае со скрапи там есть модуль с mongodb) если есть отношения между данными то любую реляционную, однако в сами бд я не силен, есть еще разновидности (например колоночные) тут нужно более конкретно поставить вопрос
4)я точно не уверен, но слышал есть связка с django и видос на ютубе где чел показывает что-то типо окружения (scrapy django item вроде называется)