В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

757 membersпожаловаться на группу
2020 December 03

i

i in Scrapy
Ruslan aka DUDE
я кстати перешел на scrapy не потомучто он круче
а потомучто bs4 подвел
он съедает данные (исчезают блоки тегов) если страница немного не валидная
тогда как хром нормально справляется с ней
на самом деле ты мог просто другой парсер подключить в bs5, например html5lib, но вообще молодец, что на скрапи ушел, все-равно css/xpath лучше в качестве селекторов)
источник
01:18пожаловаться#1

Ra

Ruslan aka DUDE in Scrapy
i
на самом деле ты мог просто другой парсер подключить в bs5, например html5lib, но вообще молодец, что на скрапи ушел, все-равно css/xpath лучше в качестве селекторов)
Ха! не знал что можно другой парсер подключить
благодарю, буду знать

для мелких задач bs хорошо подходит
но благодаря тому что в srapy можно импортировать только сам селектор (не городить классы) - bs под вопросом)))
источник
01:28пожаловаться#2

РТ

Ренат Турсунбаев... in Scrapy
Для мелких задач requests + lxml 🤘.
источник
07:37пожаловаться#3

D

Dmitry in Scrapy
Georgiy
Не утверждаю что этот вариант ("подкрутить" scrapy.downloader) правильный, но он вполне рабочий:
https://github.com/scrapy/scrapy/issues/802#issuecomment-500245345
GitHub
Per request delay · Issue #802 · scrapy/scrapy
Sometimes I feel like scrapy is missing per request delays. Any reasons why they weren't implemented? Where can per request delays be used: to add exponential backoff for the retry request ...
Спасибо, увлекательное чтиво на 15 минут, как issue тянется с 2014 года, все высказывают крайне умные мысли (включая представителей из Уругвая :), предлагают решения, а воз и ныне там. Поставил лайк на фичу, приятно что я не один такой косой оказывается! Пока самым продуктивным решением мне все еще кажется тупо воткнуть asyncio sleep в колбэк.
источник
15:58пожаловаться#4

МС

Михаил Синегубов... in Scrapy
у тебя прокси жестко назначены запросам и их сменить нельзя?
источник
16:01пожаловаться#5

D

Dmitry in Scrapy
У меня прокси - это сервис. Я кидаю им по апи запрос на смену, если он оказывается в бане. Намного удобней, чем в скрапи вручную все эти ротации менеджить
источник
16:03пожаловаться#6

МС

Михаил Синегубов... in Scrapy
с твоей стороны один адрес а снаружи сервиса уже смена?
источник
16:05пожаловаться#7

D

Dmitry in Scrapy
Ага
источник
16:05пожаловаться#8

МС

Михаил Синегубов... in Scrapy
тогда я не пойму, в чем проблема послать сигнал, когда понял что попал под бан...
те запросы что улетели - один хрен улетели
те запросы что новые - пойдут с новыми IP
источник
16:06пожаловаться#9

A

Andrii in Scrapy
🤷‍♂
источник
16:07пожаловаться#10

D

Dmitry in Scrapy
Фишка в том, что после отправки запроса на смену прокси, надо подождать минуту
источник
16:07пожаловаться#11

МС

Михаил Синегубов... in Scrapy
😐, ох... и чем же но лучше ротатора...
ну, Ок, это уж как хочешь
источник
16:08пожаловаться#12

МС

Михаил Синегубов... in Scrapy
хотя, я бы проста влепил блокирующую паузу, один фиг все что ушло, улетит на помойку 😂
источник
16:09пожаловаться#13

A

Andrii in Scrapy
Ждать на новую проксю 1м ето круто
источник
16:10пожаловаться#14

D

Dmitry in Scrapy
Andrii
Ждать на новую проксю 1м ето круто
Условно минуту - там несколько секунд пауза
источник
16:10пожаловаться#15

D

Dmitry in Scrapy
Михаил Синегубов
хотя, я бы проста влепил блокирующую паузу, один фиг все что ушло, улетит на помойку 😂
Ну вот я и спросил, блокинг слип там ничего не поломает в этих реакторах ваших. А так да, "не отлично, но и не ужасно" :)
источник
16:11пожаловаться#16

К

Кирилл in Scrapy
Почему бы он должен поломать?
источник
16:12пожаловаться#17

МС

Михаил Синегубов... in Scrapy
Dmitry
Ну вот я и спросил, блокинг слип там ничего не поломает в этих реакторах ваших. А так да, "не отлично, но и не ужасно" :)
хз, я как кто ставил тупейший слип, вроде работало, прям ничего ужасного вреде не увидел, кроме дичайшего падения скорости. Так что тогда забил и купил прокси 😆
источник
16:13пожаловаться#18

A

Andrii in Scrapy
Кстати по люминати ничего не понимаю, то пол проксяк в бане, а последнюю неделю ну прям все в вайт листе
источник
16:15пожаловаться#19

К

Кирилл in Scrapy
Сложно там что-то понять, на то это и пул, кто и как его юзает ты не узнаешь
источник
16:15пожаловаться#20