EB
он загружает страницы, выполняет луа скрипт и отдает результат
Size: a a a
2020 February 16
VB
Я просто новичёк) Вот к примеру стандартный паук работает асинхронно, так как скрапи асинхронный верно?
AR
наверно
EB
в луа скрипте можно что-то сделать, поменять и результат поменять
VB
А вот если мы запросы делаем через сплэш то всё время выполнение сплэше наш паук ждёт?
AR
нет, там хттп обычный
AR
пауку это такой же Request как всё
EB
сплеш, это что-то типа прокси, которое рендерит жс итд
VB
тобишь он не сильно затормаживает общий процесс?
EB
сильно
VB
И как тогда можно ускорить это всё?
EB
он рендорит всю страницу(грузит картинки, ксс, если не отключить)
EB
зависит от ситуации
AR
вы про разное
AR
запрос к сплешу остальным запросам не мешает
VB
запрос к сплешу остальным запросам не мешает
Спасибо большое, понял
2020 February 17
AB
пишу спайдер, на последнем генераторе собираю item уже, но понадобилось от туда джойнить url, сходить по нему, распарсить и вернуться в генератор с полученной инфой и дособрать item. делаю например так:
description = scrapy.Request(
url=f'{response.url}?description',
callback=self._parse_description
)
и оно возвращает мне реквест вместо результата колбека, как правильно замутить не юзая другие модули типа requestsМС
пишу спайдер, на последнем генераторе собираю item уже, но понадобилось от туда джойнить url, сходить по нему, распарсить и вернуться в генератор с полученной инфой и дособрать item. делаю например так:
description = scrapy.Request(
url=f'{response.url}?description',
callback=self._parse_description
)
и оно возвращает мне реквест вместо результата колбека, как правильно замутить не юзая другие модули типа requestsнихрена не понял, но, помоему это inline_requests
AR
да