AR
а, там ещё и капча
Size: a a a
2020 October 22
AR
ну энивей, не в логике проблема
A
народ, всем драсть.
про авито, переписал на реквесты. Вообще ничего не перенастраивал по заголовкам и прочему - работает, сцука.
так что собака роется где то в скрапи....
про авито, переписал на реквесты. Вообще ничего не перенастраивал по заголовкам и прочему - работает, сцука.
так что собака роется где то в скрапи....
Кукис?
D
они свои ip будут банить/каптчи выкидывать если сильно их нагружать?
ну если устроишь там ддос, то скорее всего они тебя просто в aws блокнут
МС
Andrii
Кукис?
шо, "кукис"?
это код получения страницы
сразу говорю, мне надо обработать 15-20 старниц. Но скрапи и эти не может получить...
response = requests.get(url=_data['url'])
это код получения страницы
сразу говорю, мне надо обработать 15-20 старниц. Но скрапи и эти не может получить...
A
шо, "кукис"?
это код получения страницы
сразу говорю, мне надо обработать 15-20 старниц. Но скрапи и эти не может получить...
response = requests.get(url=_data['url'])
это код получения страницы
сразу говорю, мне надо обработать 15-20 старниц. Но скрапи и эти не может получить...
В сетинг, куки на фелс попробуй
МС
Andrii
В сетинг, куки на фелс попробуй
найн, ПЕРВЫЙ запрос выдает 403
СТ
народ, всем драсть.
про авито, переписал на реквесты. Вообще ничего не перенастраивал по заголовкам и прочему - работает, сцука.
так что собака роется где то в скрапи....
про авито, переписал на реквесты. Вообще ничего не перенастраивал по заголовкам и прочему - работает, сцука.
так что собака роется где то в скрапи....
у авито сейчас такая тема что они cipher suits которые из tls1.3 не принимают видимо
AR
Connection - secure connection settings
The connection to this site is encrypted and authenticated using TLS 1.3, X25519, and AES_256_GCM.
The connection to this site is encrypted and authenticated using TLS 1.3, X25519, and AES_256_GCM.
СТ
если скрапи шлёт что-то из новых сьютов то будет фэйл. если шлёшь что-то из старых то ок
AR
не принимают, как же
AR
в 2020
СТ
хз, рассказываю что мне помогло починить
ЛГ
а, там ещё и капча
кек, DOWNLOAD_DELAY = 2
i
найн, ПЕРВЫЙ запрос выдает 403
попробуй поиграться с версиями скрапи, вдрух поможет! А то у меня было как-то кодом, связанным с кукисами, в предыдущей версии код не работал, в следующей - заработал.
МС
'DOWNLOADER_CLIENT_TLS_METHOD': 'TLSv1.1',
по крайней мере под виндой - заработало
МС
вечером под убунтой гляну
агроменный сенкс @floitet за волшебный пинок в верном направлении :)
агроменный сенкс @floitet за волшебный пинок в верном направлении :)
A
смотрю что есть на фрилансе, один тик-ток, инстаграм и линкедин...:(