Телеграмм чат группы scrapy

Size: a a a

Scrapy

861 membersпожаловаться на группу

2021 June 01

EV in Scrapy

подскажите, как проставить амазону ZIP код?

источник

11:45пожаловаться #1

EV in Scrapy

для того чтобы спарсенные результаты были специфичны именно для определенного домена амазона и страны

источник

11:45пожаловаться #2

(

(o_O) in Scrapy

POST https://www.amazon.com/gp/delivery/ajax/address-change.html, параметры см. в devtools

источник

11:48пожаловаться #3

Victor in Scrapy

А есть тут кто с опытом парсинга Амазона? Может кто подсказать как у них капчу обходить?

источник

11:54пожаловаться #4

(

(o_O) in Scrapy

смена ip или решение сервисом или нейронкой

источник

11:55пожаловаться #5

Victor in Scrapy

Да там не очень помогает смена ip и решение капчи. Нужно еще js похоже подключать

источник

11:56пожаловаться #6

Victor in Scrapy

У меня на запросах парсер

источник

11:57пожаловаться #7

(

(o_O) in Scrapy

фигня. не надо js. все работает со сменой ip в масштабах десятков тысяч страниц

источник

11:58пожаловаться #8

(

(o_O) in Scrapy

ну, если ip тухлые, с открытых источников, то сложнее

источник

11:59пожаловаться #9

Victor in Scrapy

Мне нужно на два порядка больше. Там и капча лезет и Амазон 403 ошибку пуляет на плохое IP

источник

11:59пожаловаться #10

Victor in Scrapy

прокси мобильные

источник

11:59пожаловаться #11

(

(o_O) in Scrapy

ну так решай капчу

источник

12:00пожаловаться #12

Andrii in Scrapy

Вообще нет проблем с амазоном

источник

12:00пожаловаться #13

Andrii in Scrapy

Норм прокси и вперед

источник

12:00пожаловаться #14

Victor in Scrapy

ну 100к товаров за день я спарсил. Но очень много капчи и т.п

источник

12:02пожаловаться #15

(

(o_O) in Scrapy

сколько ip в пуле?

источник

12:03пожаловаться #16

Victor in Scrapy

5к в пуле в сутки - носок.орг

источник

12:03пожаловаться #17

(

(o_O) in Scrapy

А ротация при работе как часто?

источник

12:05пожаловаться #18

Victor in Scrapy

На каждый запрос новый IP

источник

12:06пожаловаться #19

Victor in Scrapy

Но скрапи же еще куки сохраняет

источник

12:06пожаловаться #20