Size: a a a

2020 April 16

L

Lex in Scrapy
олимп самый элементарный для парсинга )
селениум и скрапи - будет тебе счастье
источник

VB

Vladyslav Babych in Scrapy
Andrey Rahmatullin
ну так start_requests не так процессится, как коллбэки
Извини что тегаю, я уже с ума сошёл наверное. Но правильно ли я тебя понял?
источник

r

r4khic in Scrapy
Lex
олимп самый элементарный для парсинга )
селениум и скрапи - будет тебе счастье
у них апи закрытый ?
источник

r

r4khic in Scrapy
Lex
олимп самый элементарный для парсинга )
селениум и скрапи - будет тебе счастье
вместо скрапи могу ли я юзать суп?
источник

L

Lex in Scrapy
я не заведую этой конторой )
смысл им свои данные отдавать, они на этом зарабатывают
источник

AR

Andrey Rahmatullin in Scrapy
Vladyslav Babych
    def start_requests(self):
       for url in self.start_url:
           yield scrapy.Request(url)
типо это вынести в отдельную функцию?
нет, сунуть это в коллбэк
источник

L

Lex in Scrapy
r4khic
вместо скрапи могу ли я юзать суп?
пользуйся чем хочешь, динамический контент подтягивается через selenium, разбирай супом )
источник

AR

Andrey Rahmatullin in Scrapy
r4khic
вместо скрапи могу ли я юзать суп?
Суп строго хуже, но можешь
источник

r

r4khic in Scrapy
Lex
пользуйся чем хочешь, динамический контент подтягивается через selenium, разбирай супом )
окей понял благодарю
источник

r

r4khic in Scrapy
Andrey Rahmatullin
Суп строго хуже, но можешь
просто я к супу привык )
источник

AR

Andrey Rahmatullin in Scrapy
r4khic
Я хотел по-обычному спарсить .Но не все так просто.Тот сайт который я хочу спарсить,данные подгружает их не на прямую а ajax'ом как я понял.И вот вопрос как лучше парсить такие сайты?
источник

r

r4khic in Scrapy
и он как-то былиже
источник

r

r4khic in Scrapy
но пойду прощупаю скраппи
источник

r

r4khic in Scrapy
благодарю за ссылку
источник

L

Lex in Scrapy
Andrey Rahmatullin
Суп строго хуже, но можешь
ну что ж так категорично? суп - библиотека, скрапи - фреймвор
это как говорить, что requests хуже джанги )
источник

AR

Andrey Rahmatullin in Scrapy
Реквестс клиент, джанга сервер, а что реквестс строго хуже скрапи в вопросах парсинга так я и так скажу
источник

AR

Andrey Rahmatullin in Scrapy
К тому же есть parsel
источник

VB

Vladyslav Babych in Scrapy
Andrey Rahmatullin
нет, сунуть это в коллбэк
Совсем непонял
источник

AR

Andrey Rahmatullin in Scrapy
сунуть это в def parse, а в start_requests реквестить какой-нибудь ненужный урл
источник

AR

Andrey Rahmatullin in Scrapy
и сравнить
источник