В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 July 03

МС

Михаил Синегубов in Scrapy
вообще, основы прохода защит примитивных на офф сайте есть :)
источник
16:58пожаловаться#1

I

Ivan in Scrapy
вчера забирал нормально, сегодня уже не отдает ничего
источник
16:58пожаловаться#2

Y

Yurii in Scrapy
Скопируй хедер из браузера и воткни в скрапи
источник
17:00пожаловаться#3

I

Ivan in Scrapy
Yurii
Скопируй хедер из браузера и воткни в скрапи
я использую scrapy_user_agents
источник
17:02пожаловаться#4

I

Ivan in Scrapy
через requests ответ приходит
источник
17:04пожаловаться#5

Y

Yurii in Scrapy
DEFAULT_REQUEST_HEADERS
источник
17:10пожаловаться#6

I

Ivan in Scrapy
4 сайта из 5 норм парсятся
источник
17:32пожаловаться#7

I

Ivan in Scrapy
я вот доделал 5 парсеров и сижу понимаю что их можно было за один день сделать а не за неделю
источник
17:49пожаловаться#8

s

serhii in Scrapy
Ivan
я вот доделал 5 парсеров и сижу понимаю что их можно было за один день сделать а не за неделю
Сделаешь за день, скажешь, что можно было бы за три часа
источник
17:57пожаловаться#9

s

serhii in Scrapy
serhii
Сделаешь за день, скажешь, что можно было бы за три часа
Совершенству нет предела
источник
17:57пожаловаться#10

Y

Yurii in Scrapy
Смотря какой сайт и какие требования
источник
17:57пожаловаться#11

I

Ivan in Scrapy
ну я первый раз на скрапи делал
источник
18:04пожаловаться#12

AM

Alexey Markovski in Scrapy
Парни, как парсить сайты, в которых надо логиниться? При запросах пакеты какие-то отправлять7
источник
19:43пожаловаться#13

B

Bulatbulat48 in Scrapy
Alexey Markovski
Парни, как парсить сайты, в которых надо логиниться? При запросах пакеты какие-то отправлять7
FormRequest чаще всего
источник
19:54пожаловаться#14

s

serhii in Scrapy
Алексей Нагорский
Как-то получилось, надо только капчу как-то вывести для решения и надеюсь что все таки получится получить урл до эксельника
Поборол капчу?
источник
20:00пожаловаться#15

АН

Алексей Нагорский in Scrapy
serhii
Поборол капчу?
Пока просто вывожу урл и жду ответа в input() :)
источник
20:02пожаловаться#16

АН

Алексей Нагорский in Scrapy
serhii
Поборол капчу?
У тебя с request получилось?
источник
20:02пожаловаться#17

PA

Phantom Assasin in Scrapy
Yurii
От платных прокси смысл небольшой особенно если в больших количествах. Мб и есть хорошие сервисы. А так дофига забанено. А небольшие сайты можно и халявными покачать тк скорость не столь важна. Без большого количества заказов по крупным сайтам смысл прокси покупать сомнителен.
я каждый проверяю 👁 если есть проблемы мне его меняют 👲🏼
ну у меня объем меленький 20 - 40 штук
источник
20:23пожаловаться#18

s

serhii in Scrapy
наксколько я понимаю, работая с одним сайтом, состояние прохождения капчи привязывается к айпи.
ибо посылаю курлом - не отвечает, решаю капчу на сайте и посылаю тем же самым курлом - получаю ответ.
правильна ли моя мысль? а то впервые борюсь с капчей =)
источник
22:10пожаловаться#19

МС

Михаил Синегубов in Scrapy
в целом да, только надо не забывать о captcha_id/session_id или что то вроде того. Когда ответ капти отправляется на сервак, где-то должен быть идентификатор, что бы потом понять, к какой каптче ответ проверяется
источник
22:21пожаловаться#20