A
websocket кто то парсил?) чет я уже второй день туплю
https://github.com/scrapy/scrapy/issues/2007#issuecomment-628166243
Андрей кому то этот линк кидал, я не пробовал
Size: a a a
2021 May 20
A
Да я даже так не могу получить что то
A
Без скрапи
A
Ок еще вопрос, сайт с вебсокетом можно селениумом парсить?
(
То что фронтенд из вебсокетов отрендерил - да.
SS
Нужно нормализовать название языка на сайте к стандарту https://en.wikipedia.org/wiki/ISO_639-1.
Например,
Можете посоветовать какие-то более подходящие альтернативы?
Например,
"English" => "en"Я пока смотрю в строну https://github.com/LuminosoInsight/langcodes
"Spanish" => "es"
"eng" => "en"
"en" => "en"
"Engelsk" => "en"
"en-US" => "en"
Можете посоветовать какие-то более подходящие альтернативы?
2021 May 21
AR
ох колдстарт в контексте scrapyRT кто-то у нас оптимайзил, но я нихрена не помню какие компоненты при этом улучшали
AR
да и поди всё равно всё что сделали уже смержено
AR
от себя скажу что большАя часть колдстарта паука это импорт всех модулей всех пауков в проекте, так что ну вы поняли
NZ
Всем привет, использую селениум и хром драйвер для парсинга, хром драйвер с каждым запросом съедает оперативную память и в итоге падает (по task manager видно что память жрет именно хром), подскажите, пожалуйста, что нужно очищать в нем что бы такого не было?
A
1. Driver.quit(), 2. Не использовать селениум
NZ
Подскажешь хороший аналог для парсинга js страниц?
A
Что такое джс страница?
NZ
Страница с динамическим контентом, который загружается средствами js
A
Ну дай линк, посмотрим
NZ
Страницу любого товара открой, поймёшь о чем я
AR
чуть менее тривиально чем обычно, но вроде всё в аякс-запросах лежит нормально
A