DD
а у тебя сколько будет?)
Size: a a a
2018 June 11
B
хз
B
может сразу буду спецов искать
B
пока не понятно
DD
Понял. Пиши , если что
B
ок
C
а где ГО вообще используется?
В высоконагружденных серверных решениях где нужно задействовать все мощности железа
C
Короче хай лоад
C
у меня возможно скоро стажировки по скрапи будут
Есть вакансии конкретно под скрепи?)
B
Есть вакансии конкретно под скрепи?)
возможно скоро будут
C
возможно скоро будут
А я как раз вчера подумал о создании опен сорса , - сайт, который принимает ссылку на другой сайт и парсит его
C
Находит все теги. Ты простогалочки ставишь что тебе нужно спарсить
B
а так да под скрепи
N
Коллеги, есть небольшой вопрос.
Есть сайт с примерно такой структурой:
site.ru
site.ru/catalog/ - список разделов
site.ru/catalog/12345 (страница раздела)
site.ru/catalog/12345/?PAGEN_1=2 (пагинация)
site.ru/catalog/12345/12345 - товар.
Я написал спайдер, спарсил категории и понял(возможно ошибаюсь), что достучаться до товара можно и без предварительного парсинга каталога с помощью
rules = (
Rule(LinkExtractor(allow=('',)), callback='parse_page'),
)
Но не могу понять как именно.
Пример того, что написал:
https://gist.github.com/wavedocs/ee02500a61234f50055a931d7329e66e
Есть сайт с примерно такой структурой:
site.ru
site.ru/catalog/ - список разделов
site.ru/catalog/12345 (страница раздела)
site.ru/catalog/12345/?PAGEN_1=2 (пагинация)
site.ru/catalog/12345/12345 - товар.
Я написал спайдер, спарсил категории и понял(возможно ошибаюсь), что достучаться до товара можно и без предварительного парсинга каталога с помощью
rules = (
Rule(LinkExtractor(allow=('',)), callback='parse_page'),
)
Но не могу понять как именно.
Пример того, что написал:
https://gist.github.com/wavedocs/ee02500a61234f50055a931d7329e66e
B
Коллеги, есть небольшой вопрос.
Есть сайт с примерно такой структурой:
site.ru
site.ru/catalog/ - список разделов
site.ru/catalog/12345 (страница раздела)
site.ru/catalog/12345/?PAGEN_1=2 (пагинация)
site.ru/catalog/12345/12345 - товар.
Я написал спайдер, спарсил категории и понял(возможно ошибаюсь), что достучаться до товара можно и без предварительного парсинга каталога с помощью
rules = (
Rule(LinkExtractor(allow=('',)), callback='parse_page'),
)
Но не могу понять как именно.
Пример того, что написал:
https://gist.github.com/wavedocs/ee02500a61234f50055a931d7329e66e
Есть сайт с примерно такой структурой:
site.ru
site.ru/catalog/ - список разделов
site.ru/catalog/12345 (страница раздела)
site.ru/catalog/12345/?PAGEN_1=2 (пагинация)
site.ru/catalog/12345/12345 - товар.
Я написал спайдер, спарсил категории и понял(возможно ошибаюсь), что достучаться до товара можно и без предварительного парсинга каталога с помощью
rules = (
Rule(LinkExtractor(allow=('',)), callback='parse_page'),
)
Но не могу понять как именно.
Пример того, что написал:
https://gist.github.com/wavedocs/ee02500a61234f50055a931d7329e66e
Это crawlspider, по allow - разрешает парсить, у тебя вроде все можно
B
И callback в функцию отправляет
N
Это crawlspider, по allow - разрешает парсить, у тебя вроде все можно
Тут мне не понятен момент, как по ссылкам ходить.
B
В allow ставишь куда ходит
B
Рядом disallow куда не ходит
B
Пример кину попозже