Size: a a a

2021 May 11

S

Shieldy in Scrapy
@Toni_Montana_S, please, press the button below within the time amount specified, otherwise you will be kicked. Thank you! (60 sec)
Powered by Todorant
источник

ОС

Олександр Супрун... in Scrapy
Парни
источник

ОС

Олександр Супрун... in Scrapy
Подскажите, а как функцию всунуть, которая обрабатывает сохранение значений которые соскрапил  в каком то формате?
источник

МС

Михаил Синегубов... in Scrapy
куда "всунуть"?
источник

AR

Andrey Rahmatullin in Scrapy
что за обработка требуется?
источник

ОС

Олександр Супрун... in Scrapy
def get_vs_record(list_with_value):
   get_vs_value = []
   for teams in list_with_value['parent']['participants']:
       get_vs_value.append(teams.replace(' ', '-'))
   return f'{teams[0]}-vs-{teams[1]}'
источник

AR

Andrey Rahmatullin in Scrapy
в output processor
источник

ОС

Олександр Супрун... in Scrapy
Хочу вот такую функцию в spider вснуть
источник

ОС

Олександр Супрун... in Scrapy
А если это мета данные?
источник

AR

Andrey Rahmatullin in Scrapy
в каком смысле?
источник

ОС

Олександр Супрун... in Scrapy
Я их спарсил, но это еще не вся информация которая мне нужна, исходный json сохраняю ниже
источник

AR

Andrey Rahmatullin in Scrapy
тогда в колбэк
источник

ОС

Олександр Супрун... in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
если ты спрашиваешь куда положить функцию, которую потом вызывать руками, то куда угодно
источник

SS

Sergey Sergey in Scrapy
Михаил, а руспрофайл парсили открытые данные или из под пароля?
источник

МС

Михаил Синегубов... in Scrapy
Ууух, два года назад писал...
Они с тех пор поменяли защиту, так что, можно сказать "не парсил вообще"😕
источник

SS

Sergey Sergey in Scrapy
никак не могу залогиниться к ним. Логин пароль есть, но форму не принимает
источник

BL

Boris Litvyakov in Scrapy
полгода назад делал логин и около 200к запросов тупо селениумом, вся защита что встретилась это капча раз в 300 запросов
источник

SS

Sergey Sergey in Scrapy
Там фотма логина через мультипарт реализована. С помощью реквеста смог сделать, а из под скрейпи не выходит.
источник

SS

Sergey Sergey in Scrapy
Если можешь кусок с логином показать - было бы здорово.
источник