В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

706 membersпожаловаться на группу
2020 November 20

S

SoHard 🎄 in Scrapy
Кто парсил яндекс-маркет, подскажите.. юзерагент менял толку ноль, прокси есть. С самого первого запроса летит 403
источник
22:03пожаловаться#1

l

linuxoid in Scrapy
SoHard 🎄
Кто парсил яндекс-маркет, подскажите.. юзерагент менял толку ноль, прокси есть. С самого первого запроса летит 403
Хеадер
источник
22:03пожаловаться#2

S

SoHard 🎄 in Scrapy
linuxoid
Хеадер
беру с браузера и тоже 403
источник
22:05пожаловаться#3

S

SoHard 🎄 in Scrapy
i
ну а так да, шифры отправлять не надо, достаточно
scrapy shell https://www.avito.ru -s DOWNLOADER_CLIENT_TLS_METHOD='TLSv1.2'
www.avito.ru
Авито — объявления в России — Объявления на сайте Авито
Выгодно покупайте и продавайте авто, недвижимость и вещи в России. Находите надёжных исполнителей и работу. Самый популярный сервис объявлений в России.
спасибо
источник
22:11пожаловаться#4

S

SoHard 🎄 in Scrapy
SoHard 🎄
Кто парсил яндекс-маркет, подскажите.. юзерагент менял толку ноль, прокси есть. С самого первого запроса летит 403
раздуплил
источник
22:12пожаловаться#5
2020 November 21

S

SoHard 🎄 in Scrapy
https://pastebin.com/BrDeursu
Pastebin
class CustomRetryMiddleware(RetryMiddleware):    def process_response(self, re - Pastebin.com
Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
источник
12:09пожаловаться#6

S

SoHard 🎄 in Scrapy
SoHard 🎄
https://pastebin.com/BrDeursu
Pastebin
class CustomRetryMiddleware(RetryMiddleware):    def process_response(self, re - Pastebin.com
Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
пытаюсь сделать мидлварь которая будет запрос повторять если заредиректило на капчу, правильно я это делаю?)
источник
12:10пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
нет, потому что ты выкинул код от оригинала
источник
12:10пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
и вообще при чём тут ретрай если ты урл меняешь
источник
12:11пожаловаться#9

A

Anton in Scrapy
Приветствую всех!

Пробовал кто-нибудь парсить Ашан?
Парсился нормально до сегодняшнего дня.
Сегодня приходит статус 200
title есть в headers
а на странице товара нет, то есть нет заголовка h1, цены нет и тд.
Например, этот товар https://www.auchan.ru/product/leshch-vyalenyy-flanderr-300-g/
Пробовал user-agent менять, cookies разные. Не помогает.
Ума не приложу, что ещё можно сделать.
www.auchan.ru
Купить Лещ вяленый Flanderr, 300 г с доставкой по цене 106.99 руб в интернет-магазине Ашан
Лещ вяленый Flanderr, 300 г - купить по цене 106.99 с доставкой в интернет-магазине Ашан. Огромный выбор, выгодные цены, доставка по Москве и другим городам России.
источник
12:24пожаловаться#10

S

SoHard 🎄 in Scrapy
Anton
Приветствую всех!

Пробовал кто-нибудь парсить Ашан?
Парсился нормально до сегодняшнего дня.
Сегодня приходит статус 200
title есть в headers
а на странице товара нет, то есть нет заголовка h1, цены нет и тд.
Например, этот товар https://www.auchan.ru/product/leshch-vyalenyy-flanderr-300-g/
Пробовал user-agent менять, cookies разные. Не помогает.
Ума не приложу, что ещё можно сделать.
www.auchan.ru
Купить Лещ вяленый Flanderr, 300 г с доставкой по цене 106.99 руб в интернет-магазине Ашан
Лещ вяленый Flanderr, 300 г - купить по цене 106.99 с доставкой в интернет-магазине Ашан. Огромный выбор, выгодные цены, доставка по Москве и другим городам России.
Отключи js в браузере и посмотри на сайт
источник
12:31пожаловаться#11

A

Anton in Scrapy
Не загружается )
источник
12:36пожаловаться#12

S

SoHard 🎄 in Scrapy
Anton
Не загружается )
вот скрапи видит тоже самое
источник
12:36пожаловаться#13

A

Anton in Scrapy
В Scrapy никак не включить его?
источник
12:36пожаловаться#14

S

SoHard 🎄 in Scrapy
Anton
В Scrapy никак не включить его?
нет
источник
12:37пожаловаться#15

S

SoHard 🎄 in Scrapy
смотри во вкладке network что куда шлёт браузер и делай так же
источник
12:38пожаловаться#16

A

Andrii in Scrapy
Anton
Приветствую всех!

Пробовал кто-нибудь парсить Ашан?
Парсился нормально до сегодняшнего дня.
Сегодня приходит статус 200
title есть в headers
а на странице товара нет, то есть нет заголовка h1, цены нет и тд.
Например, этот товар https://www.auchan.ru/product/leshch-vyalenyy-flanderr-300-g/
Пробовал user-agent менять, cookies разные. Не помогает.
Ума не приложу, что ещё можно сделать.
www.auchan.ru
Купить Лещ вяленый Flanderr, 300 г с доставкой по цене 106.99 руб в интернет-магазине Ашан
Лещ вяленый Flanderr, 300 г - купить по цене 106.99 с доставкой в интернет-магазине Ашан. Огромный выбор, выгодные цены, доставка по Москве и другим городам России.
На сайте ничего не изменилось?
источник
12:40пожаловаться#17

A

Anton in Scrapy
Визуально ничего
источник
12:41пожаловаться#18

S

SoHard 🎄 in Scrapy
хотя стоп
источник
12:42пожаловаться#19

S

SoHard 🎄 in Scrapy
источник
12:43пожаловаться#20