Е
Size: a a a
2020 July 31
M
Maksim
Я это понял. Сайт чужой, ты его выкачала. И у тебя миллионы хтмл файлов в одной папке лежат. Фс тяжело от этого. Надо по папкам разбить.
ну смотря как wget по пакам сортирует если они на сайте есть. если нет. скажем это какойнить форум дебин или убунты то там уже да =(
M
фалов по 300кб - 120 кб можент быть за 100 тысч если не 600
M
Maria
ну смотря как wget по пакам сортирует если они на сайте есть. если нет. скажем это какойнить форум дебин или убунты то там уже да =(
Ну у тебя как скачались? Открой и посмотри сколько их и как структурированы.
M
Maksim
Ну у тебя как скачались? Открой и посмотри сколько их и как структурированы.
не делаю так hdd будет очень плохо
M
Maria
не делаю так hdd будет очень плохо
Ну, так если диску плохо, то браузер магии не сделает.
M
Maksim
Ну, так если диску плохо, то браузер магии не сделает.
вот я и спрашивала как можно упаковать такой сайт так чтобы был один большой файл.
M
ну как книга или еще что
M
аудио там нет видео тоже только текст
AP
Чтоли стрим вечером сделать. Никто не хочет потравить сисадминские байки?
M
Maria
вот я и спрашивала как можно упаковать такой сайт так чтобы был один большой файл.
Это скрапинг называется. Руками пишешь скрапер и сохраняешь себе инфу так как удобно, лучше в бд.
Может есть готовые скраперы. А так можно питон юзать или ноду.
Может есть готовые скраперы. А так можно питон юзать или ноду.
M
Чтоли стрим вечером сделать. Никто не хочет потравить сисадминские байки?
я не против но я опаздываю часто =(
M
только если в записи
M
Maksim
Это скрапинг называется. Руками пишешь скрапер и сохраняешь себе инфу так как удобно, лучше в бд.
Может есть готовые скраперы. А так можно питон юзать или ноду.
Может есть готовые скраперы. А так можно питон юзать или ноду.
в первые такое слышу
AS
Maria
вот я и спрашивала как можно упаковать такой сайт так чтобы был один большой файл.
calibre, например, может.
epub внутри это куча html
epub внутри это куча html
M
calibre, например, может.
epub внутри это куча html
epub внутри это куча html
😒 неее вообще не подайдет
AS
почему нет?
M
Maria
в первые такое слышу
Можно наверное и в баше сделать.
Делаешь курлом запрос, получаешь хтмл текст, ищешь там ссылки на следующие страницы и нужный контент, сохраняешь то что нужно и дальше по ссылкам делаешь запрос.
Может вгет имеет какие-то настройки. Я не знаю.
Делаешь курлом запрос, получаешь хтмл текст, ищешь там ссылки на следующие страницы и нужный контент, сохраняешь то что нужно и дальше по ссылкам делаешь запрос.
Может вгет имеет какие-то настройки. Я не знаю.
M
почему нет?
Она тяжеловесная. если просту html еще сделает. больше дерево из под фалов уже будет сложно и не сравится. я не просто так сюда пишу уже скала и пробывала. тоже самое и kiwi и многое что еще
Е
Чтоли стрим вечером сделать. Никто не хочет потравить сисадминские байки?
Ураааааа