К
Size: a a a
2020 March 16
МС
Спасибо за мысли, третий вариант точно работает
ты первые два попробуй, если глазками смотреть, похоже на то, что алгорритм постоянный.
а там, только куки сгененить и все
а там, только куки сгененить и все
SS
Ну, у меня не получается с высокой скоростью парсить на пяти прокси... вопрос именно в скорости. Поэтому большой поток и нужен
A
ты первые два попробуй, если глазками смотреть, похоже на то, что алгорритм постоянный.
а там, только куки сгененить и все
а там, только куки сгененить и все
Понял)
B
А можешь посоветовать ротатор с динамическим подключением новых прокси а не из списка?
crawlera попробуйте
SS
И потом добавляешь прокси
Кирилл, а ты используешь scrapyd и веб интерфейсы для регулярного парсинга? И как потом воедино данные со всех серверов собираешь?
К
Кирилл, а ты используешь scrapyd и веб интерфейсы для регулярного парсинга? И как потом воедино данные со всех серверов собираешь?
Использую, то, что больше под задачу подходит, иногда и scrapyd. Собираю в бд
SS
Использую, то, что больше под задачу подходит, иногда и scrapyd. Собираю в бд
Собираешь в бд на стороннем сервере или на том-де, с которого парсишь?
SS
С которого паршу, зачем куда-то еще
Ну, когда парсинг идет на нескольких серверах например)
SS
Ну, тут какая задача, то и делаю
Понял, спасибо
МС
люди, пните в верном направлении:
есть куча html страниц с сайта. Надо найти одинаковые блоки, к примеру меню.
Но это надо сделать без явного указания. Все на что меня хватило "как-то" найти одинаковые куски html. Но меня не хватает даже на "как найти одинаковые куски" :). Есть какие варианты?
есть куча html страниц с сайта. Надо найти одинаковые блоки, к примеру меню.
Но это надо сделать без явного указания. Все на что меня хватило "как-то" найти одинаковые куски html. Но меня не хватает даже на "как найти одинаковые куски" :). Есть какие варианты?
AR
нет, это творческая задача