МM
форк или продолжать этот проект с закладками от мейла?
Он форк и сделал.
Пока ничего не коммитил туда.
Size: a a a
2019 September 09
А
AE
Этому «свежачку» уже больше полугода))
Видимо, он полгода назад ещё кого-то бросил...
2019 September 10
A
Есть - только на докерах.
я правильно понимаю, что citus в докерах масштабируется только вертикально и кластер master-master на докерах не построить? или вы сами писали докер файлы?
PD
А что такое кластер "master-master"? Оно вообще как может существовать в общем виде?
AL
я правильно понимаю, что citus в докерах масштабируется только вертикально и кластер master-master на докерах не построить? или вы сами писали докер файлы?
Сами конечно. Я вообще столкнулся с тем что на больших инсталяциях чужие докерфайлы почти никогда не работают. Любые.
NT
Всем привет! Есть задача
https://commoncrawl.org/2019/08/august-2019-crawl-archive-now-available/ Мне нужно скачать WARC, обработать его и положить в ClickHouse. Проблема, которую я вижу состоит только в размере файла, можете посоветовать решения, как обрабатывать gz file размеров в 50тб с s3, возможно ли как нибудь получать партициями файл, разжимать данные и класть в ClickHouse?
https://commoncrawl.org/2019/08/august-2019-crawl-archive-now-available/ Мне нужно скачать WARC, обработать его и положить в ClickHouse. Проблема, которую я вижу состоит только в размере файла, можете посоветовать решения, как обрабатывать gz file размеров в 50тб с s3, возможно ли как нибудь получать партициями файл, разжимать данные и класть в ClickHouse?
NT
Если да, то есть ли у кого нибудь идеи, как это сделать?
IA
Так там ведь отдаётся не весь файл в 50Тб а посегментно - 56000 кусков.
IA
Скачал сегмент, обработал, удалил, повторить до готовности.
AL
Вот пример seek и чанков - ну и потокового чтения. Собственно вам нужно смещение запомнить а потоке. Если оборвалась связь.
AL
Вообще-то ваша задача решается именно через stream. Иначе скачивание, разархивирование и тыды.
NT
Скачал сегмент, обработал, удалил, повторить до готовности.
Блина и в правду
IA
Блина и в правду
Но и один сегмент по терабайту - немало, так что имеет смысл потоково распаковывать сразу, как тут и говорили.
2019 September 12
NK
Давно программируете на Golang или только присматриваетесь к этому языку? Приходите на GolangConf!
В программу конференции принят 21 доклад, расписание опубликовано. Изучайте, планируйте свой день. Собираемся в 9:00 7 октября в Инфопространстве.
Если ещё не успели купить билет, рекомендуем поторопиться: чем ближе к конференции, тем дороже.
В программу конференции принят 21 доклад, расписание опубликовано. Изучайте, планируйте свой день. Собираемся в 9:00 7 октября в Инфопространстве.
Если ещё не успели купить билет, рекомендуем поторопиться: чем ближе к конференции, тем дороже.
AE
ID:
Давно программируете на Golang или только присматриваетесь к этому языку? Приходите на GolangConf!
В программу конференции принят 21 доклад, расписание опубликовано. Изучайте, планируйте свой день. Собираемся в 9:00 7 октября в Инфопространстве.
Если ещё не успели купить билет, рекомендуем поторопиться: чем ближе к конференции, тем дороже.
В программу конференции принят 21 доклад, расписание опубликовано. Изучайте, планируйте свой день. Собираемся в 9:00 7 октября в Инфопространстве.
Если ещё не успели купить билет, рекомендуем поторопиться: чем ближе к конференции, тем дороже.
Ээ.. Т.е. либо Хайлоад, либо Голанг?
А, не, туплю: тут октябрь.
А, не, туплю: тут октябрь.
2019 September 15
AM
А голосовать за доклады уже где-нибудь можно?