AR
да там странно сайт работает, с 0,5 сек - запросов 100 проходит, а потом 500. Хотя не банит и если опять паука запустить можно дальше парсить
ичо? ставить делей
Size: a a a
2020 November 16
AR
ты ж хотел делей
S
спс, сейчас гляну
2020 November 17
SS
https://apps.sfc.hk/edistributionWeb/api/news/content?refNo=9PR84B&lang=EN
Нужно сохранить значение "html" который содержится в подобных ответах в отдельный файл.
Какой метод для этого переписать в FilesPipeline? Подменить buf в file_downloaded()?
Нужно сохранить значение "html" который содержится в подобных ответах в отдельный файл.
Какой метод для этого переписать в FilesPipeline? Подменить buf в file_downloaded()?
МС
а при чем тут файловый пайп? не проще переписать экспортер?
SS
К сожалению, на остальных пауках используется pipeline, а их в проекте уже под сотню
SS
плюс есть еще обычные html и pdf файлы, которые сохраняются из того же паука.
МС
вообще, сохранение в файл сидит в MediaPipeline.file_downloaded
МС
а тебе пааа жопе, это в сырцах за 3 мин находится :)
ЕJ
Всем привет, всем добра 🤟🌴😎
кто работал с getcourse.ru -
(пробовал stream-video-downloader.com SaveFrom.net helper - не помогло)
есть возможность качать отдельный огрызок видео длинной 3секунды (если руками перейти по ссылке из вкладки network - скрин)
кто работал с getcourse.ru -
как скачать видео mp2p ?(пробовал stream-video-downloader.com SaveFrom.net helper - не помогло)
есть возможность качать отдельный огрызок видео длинной 3секунды (если руками перейти по ссылке из вкладки network - скрин)
B
Всем привет, всем добра 🤟🌴😎
кто работал с getcourse.ru -
(пробовал stream-video-downloader.com SaveFrom.net helper - не помогло)
есть возможность качать отдельный огрызок видео длинной 3секунды (если руками перейти по ссылке из вкладки network - скрин)
кто работал с getcourse.ru -
как скачать видео mp2p ?(пробовал stream-video-downloader.com SaveFrom.net helper - не помогло)
есть возможность качать отдельный огрызок видео длинной 3секунды (если руками перейти по ссылке из вкладки network - скрин)
на одном стриминговом сервисе получалось найти первую запись и последную и соеденив их в запросе (уже не помню как) - получить полную запись. Возможно тут тоже самое. Например ..ch/первая запись/вторая запись(ее поменять)/…
2020 November 18
СТ
всем привет! подскажите плз, если кому-то приходилось краулить сайты написанные с webassembly: какие есть варианты рабочие? у меня чот ни селениум ни пупитр не взлетают
AR
прикольно, ни разу не слышал о такой проблеме (или о таких сайтах, чоуж)
AR
поиск там обычным XHR, никакого селениума поди не надо
AR
правда капча может быть