В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

378 membersпожаловаться на группу
2018 August 06

E

Evgen in Scrapy
если не требуется спарсить тыщи страниц, я бы на селениуме делал.)
источник
11:35пожаловаться#1

DD

Danil Denysenko in Scrapy
источник
11:35пожаловаться#2

DD

Danil Denysenko in Scrapy
вот такое вот)
источник
11:35пожаловаться#3

B

Bulatbulat48 in Scrapy
Evgen
если не требуется спарсить тыщи страниц, я бы на селениуме делал.)
его ж тащить надо в проект, потом на сервер
источник
11:35пожаловаться#4

E

Evgen in Scrapy
вниз промотайте, там же внизу параметры
источник
11:35пожаловаться#5

DD

Danil Denysenko in Scrapy
да
источник
11:35пожаловаться#6

B

Bulatbulat48 in Scrapy
я уже и сам думаю в киджиджи заюзать селениум, задолбался(
источник
11:35пожаловаться#7

B

Bulatbulat48 in Scrapy
единственное останавливает это установка его на сервера
источник
11:36пожаловаться#8

DD

Danil Denysenko in Scrapy
источник
11:36пожаловаться#9

DD

Danil Denysenko in Scrapy
это параметры послежнего пост запроса,  тут нету всех тех параметров которые надо
источник
11:36пожаловаться#10

E

Evgen in Scrapy
так он их в несоклько делает
источник
11:37пожаловаться#11

E

Evgen in Scrapy
у вас каждый шаг - пост запрос
источник
11:37пожаловаться#12

E

Evgen in Scrapy
в один запрос вы не упакуете это
источник
11:37пожаловаться#13

E

Evgen in Scrapy
нужно 5 пост запросов или сколько там писать
источник
11:37пожаловаться#14

B

Bulatbulat48 in Scrapy
для этого, берешь requests session
источник
11:38пожаловаться#15

DD

Danil Denysenko in Scrapy
а теперь другой вопрос: если я буду использовать прокси для запросов, они же обрабатываться тогда не будут? Если я зайду с под другого IP он меня вначало перекинет, или воообще страицу не отгрузит. Верно?
источник
11:40пожаловаться#16

DD

Danil Denysenko in Scrapy
Bulatbulat48
для этого, берешь requests session
ты скидывал ссылку на request session. Можно в двух предложениях написать, как мне найчиться пользоваться такими ссылками? То что я вижу исходный код либы, мне мало чем помогает(
источник
11:42пожаловаться#17

E

Evgen in Scrapy
врядли. По практике редко сессия привязывается к IP
источник
11:42пожаловаться#18

B

Bulatbulat48 in Scrapy
Тебе надо понять, что прокси привязывается сессия или каждый запрос будешь слать с новым проксиком
источник
11:43пожаловаться#19

E

Evgen in Scrapy
http://docs.python-requests.org/en/master/user/advanced/
источник
11:43пожаловаться#20