A
С одного устройства такие объемы не скрапят обычно тем более рабочего/домашнего. По-хорошему арендовать мощности бы.
если нереально такое, то как мне задали такой задание)?
Size: a a a
2020 February 24
E
Единоразовая затея или регулярно это нужно делать?
GS
да вот такая задача, веб-скраппинг
Если хотя бы один из этих сайтов - SPA без SSR, то ещё и не решить её просто получив html.
倫岡
Если хотя бы один из этих сайтов - SPA без SSR, то ещё и не решить её просто получив html.
js творит страшные вещи
GS
js творит страшные вещи
Откроем миллион сайто в пуппетире!
倫岡
Откроем миллион сайто в пуппетире!
ПИТЕР, ОНИ ЖЕ ЕЩЁ ДЕТИ ©
АП
если нереально такое, то как мне задали такой задание)?
Так может тебя таким образом вежливо послали?
A
короче ребят, есть подсказка , как получить такое количество данных?
СВ
Посмотрите mikro orm
смотрел, но не видно там готовой реализации деревьев (. Но не может такого быть, чтобы для каждого проекта с нуля писалась реализация.
GS
короче ребят, есть подсказка , как получить такое количество данных?
Точно также, как и маленькое количество, просто запуская процесс параллельно.
А тут подходов куча.
Надо по простому глупому и один раз?
Просто раздели данные на N частей и запусти на N машин.
Можно на какой-нибудь comedy глянуть, чтобы просто запускать узлы для вычислений и собирать результат.
Можно.. Да кучу всего можно...
А тут подходов куча.
Надо по простому глупому и один раз?
Просто раздели данные на N частей и запусти на N машин.
Можно на какой-нибудь comedy глянуть, чтобы просто запускать узлы для вычислений и собирать результат.
Можно.. Да кучу всего можно...
М
Всем привет , у меня есть файл в нем где-то находится список сайтов , где-то миллион , я должен проверить каждый сайт на наличие даты. Как получить такое большое количество данных да еще и чтоб проверить каждый сайт, может есть подсказки?
Интересная задача. Может просто чекать на наличие паттернов весь хтмл? Ну там на паттерн даты
L
какую либу лучше всего юзать для парса html xpath'ем?
A
Интересная задача. Может просто чекать на наличие паттернов весь хтмл? Ну там на паттерн даты
вообще-то насчет проверки , делаю так, получаю innerhtml и по регуляркам проверяю
A
Ага
проблема насчет получения такого большого объема, пока не совсем понимаю как реализовать
М
По массиву что ли не можешь пройтись
М
Бери файл, список сайтов запарси в массив и пройдись пл массиву
М
Для парсинга большинства форматов есть готовые библиотеки
JG
День добрый всем, подскажите пожалуйста, есть rate limiter основанный на fingerprint'е, а не на ip?
SS
Что используют как стор при работе с сокетами? Redis? У меня сейчас effector, это что то из ряда redux , mobx.