Size: a a a

2020 February 17

AR

Andrey Rahmatullin in Scrapy
или руками
источник

AB

Alexander B in Scrapy
ок, попробую этот декоратор
источник

М

Мак in Scrapy
кстати засадная штука, этот инлайн реквест
источник

МС

Михаил Синегубов in Scrapy
Мак
кстати засадная штука, этот инлайн реквест
нууу, как то так и "ага"
я его сам в боевом режиме так и не сповадился пользовать 😄
источник

МС

Михаил Синегубов in Scrapy
кстати, народ, есть кто не из RU зоны?
источник

М

Мак in Scrapy
Михаил Синегубов
нууу, как то так и "ага"
я его сам в боевом режиме так и не сповадился пользовать 😄
а чего ж тогда сватаешь всем)))
я то пользовал. если один метод в нем - вроде бы работает. а если несколько методов в цепочке - тогда уже лажа начинается
источник

AR

Andrey Rahmatullin in Scrapy
там вроде прямо в ридми написано что он ниоч
источник

АП

Агент Печенька in Scrapy
Михаил Синегубов
кстати, народ, есть кто не из RU зоны?
А RU зона это кто? Я например не в РФ.
источник

МС

Михаил Синегубов in Scrapy
Агент Печенька
А RU зона это кто? Я например не в РФ.
источник

МС

Михаил Синегубов in Scrapy
внизу страницы, сколько лейбаков производителей?
источник

AR

Andrey Rahmatullin in Scrapy
но больше ничего нет и иногда он очень сильно упрощаэ
источник

АП

Агент Печенька in Scrapy
Михаил Синегубов
внизу страницы, сколько лейбаков производителей?
источник

МС

Михаил Синегубов in Scrapy
мля, поздравьте, еще один сайт обиделся на RU зону IP 😂
.... и опять я "пошалил"
источник

АМ

Алексей Мелолян in Scrapy
товарищи, помогите пожалуйста. скраплю сайт https://yweb.ymcaboston.org/SpiritWeb/SearchClass , он выдает Doc с названием SearchClass с данными для скрапинга, для этого надо нажать на кнопку Search. я уже убился, и формреквесты делал, и хэдеры прописывал, в чистом скрапи ничего не получается, селениум решает все проблемы, но шеф хочет чистый скрапи(либо скрапи\сплэш), подскажите, через какой запрос вбить, чтобы оно нажалось? вот код https://pastebin.com/XXBkaSp2
источник

М

Мак in Scrapy
Алексей Мелолян
товарищи, помогите пожалуйста. скраплю сайт https://yweb.ymcaboston.org/SpiritWeb/SearchClass , он выдает Doc с названием SearchClass с данными для скрапинга, для этого надо нажать на кнопку Search. я уже убился, и формреквесты делал, и хэдеры прописывал, в чистом скрапи ничего не получается, селениум решает все проблемы, но шеф хочет чистый скрапи(либо скрапи\сплэш), подскажите, через какой запрос вбить, чтобы оно нажалось? вот код https://pastebin.com/XXBkaSp2
попробуй в постмане запрос нужный собрать
источник

AR

Andrey Rahmatullin in Scrapy
если сплэш можно то в чём проблема
источник

АМ

Алексей Мелолян in Scrapy
Andrey Rahmatullin
если сплэш можно то в чём проблема
прописать нажатие через скрипт типа?
источник

AR

Andrey Rahmatullin in Scrapy
да
источник

AR

Andrey Rahmatullin in Scrapy
а вообще курл же работает
источник

AR

Andrey Rahmatullin in Scrapy
curl -k 'https://yweb.ymcaboston.org/SpiritWeb/SearchClass' -H 'Content-Type: application/x-www-form-urlencoded' -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.17 Safari/537.36' -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' -H 'Referer: https://yweb.ymcaboston.org/SpiritWeb/SearchClass' --data '_EXECEVENT=ONSEARCH&BRANCH_IDENTIFIER=&SELECT_AGE=&PPG_PROGRAM_IDENTIFIER=&POF_CLASS_IDENTIFIER=&_BRIEF_DESC=&SELECT_MONTH=&_CLASS_OFFERING_IDENTIFIER=&SORTBY=AGE' --compressed
источник