L
Там вроде по условиям задачи список уже есть. Фрог имеет режим обхода по списку без краулинга
список взят из БД
Size: a a a
2019 September 10
VK
На большую часть этих страниц не ссылается ни одна страница.. категория в архиве. Фрог не найдёт их просто
Ну там же есть режим списка, загрузите только нужные URL и посмотрите исходящие ссылки и нет нюансов :)
KB
список взят из БД
Если есть список,тогда просто Ctrl+C и Ctrl+V в краулер, или вы не знали, что можно по заготовленному списку страниц только пройтись?
L
Если есть список,тогда просто Ctrl+C и Ctrl+V в краулер, или вы не знали, что можно по заготовленному списку страниц только пройтись?
без необходимости краулить весь сайт? Чёт не знал.. я только учусь
VK
без необходимости краулить весь сайт? Чёт не знал.. я только учусь
JT
Spider frog спокойно тянет у меня полмиллиона страниц, вы о чем?
скока оперативы потребляет при этом. еще есть и моменты по краулингу, я например вытаскиваю еще и периодически описания, цены и т.п... ресов хавает он мама не горюй..(
KB
без необходимости краулить весь сайт? Чёт не знал.. я только учусь
Век живи...
L
Век живи...
Спасибо )) Всем спасибо большое! =)
VK
скока оперативы потребляет при этом. еще есть и моменты по краулингу, я например вытаскиваю еще и периодически описания, цены и т.п... ресов хавает он мама не горюй..(
Планка на 16 стоит 5000 руб, купи и не мучайся, бывает ещё глюк с джава надо 64бит и в переменных окружения больше памяти ей дайте и жизнь наладится :)
VN
Spider frog спокойно тянет у меня полмиллиона страниц, вы о чем?
А миллион-два чем бы прогнал? Какая скорость стоит, сколько потоков?
VK
А миллион-два чем бы прогнал? Какая скорость стоит, сколько потоков?
А че вы с этим миллионам будите делать? :) прогнать эта большая задача, а че делать дальше?
VN
А че вы с этим миллионам будите делать? :) прогнать эта большая задача, а че делать дальше?
Да даже базовую инфу получить, грубые ощибки
JT
А миллион-два чем бы прогнал? Какая скорость стоит, сколько потоков?
скорость и потоки больше зависят от сервака. краулил один и 30 в сек на 5 потоках, а другой на 5 урл сек на 3 потоках дох полностью) 5хх получал.
VK
Да даже базовую инфу получить, грубые ощибки
Какую оттуда можно инфу получить, как этот миллион обработать? Я не понимаю, чтобы получить миллион IDF у меня
1. У меня должен быть свой миллион страниц, для которых это делается
2. Если у меня есть миллион, то какие-то и так отлично стоят, чего их трогать... Вообщем задача больше теоретическая...
1. У меня должен быть свой миллион страниц, для которых это делается
2. Если у меня есть миллион, то какие-то и так отлично стоят, чего их трогать... Вообщем задача больше теоретическая...
JT
Планка на 16 стоит 5000 руб, купи и не мучайся, бывает ещё глюк с джава надо 64бит и в переменных окружения больше памяти ей дайте и жизнь наладится :)
да не вэтом дело. я на том магазе инхаус и покупать я точно ничего не буду), сервак поднимут под мой нужды кроят 64 оперативы, вопрсо был сколько жрет оперативы поллимона, при чем тут купить \ некупить...
VK
да не вэтом дело. я на том магазе инхаус и покупать я точно ничего не буду), сервак поднимут под мой нужды кроят 64 оперативы, вопрсо был сколько жрет оперативы поллимона, при чем тут купить \ некупить...
Хз не пробовал, дай списке попробую отвечу, ну по идеи должно нормально все быть, а не хранить все это в памяти, но тут я не знаю точно...
VK
Списке == список
YC
p.s. сообщения редачить можно.
JT
Хз не пробовал, дай списке попробую отвечу, ну по идеи должно нормально все быть, а не хранить все это в памяти, но тут я не знаю точно...
забей, этот диспут не имеет отношение к моему первичному вопросу который я задал другому человеку.
AД
А миллион-два чем бы прогнал? Какая скорость стоит, сколько потоков?
у меня и7 интел 16гб памяти, знаю что на проектах где много миллионов страниц как-то на сервере паралелили, thenextweb.com