Size: a a a

Чат конференции HighLoad++

2019 September 09

МM

Мikhаil M in Чат конференции HighLoad++
форк или продолжать этот проект с закладками от мейла?
источник

AE

Alexey Er in Чат конференции HighLoad++
Он форк и сделал.
Пока ничего не коммитил туда.
источник

А

Анастасия in Чат конференции HighLoad++
Alexey Er
Константин Осипов свалил из Mail.ru; будет пилить свой Tarantool.
Этому «свежачку» уже больше полугода))
источник

AE

Alexey Er in Чат конференции HighLoad++
Анастасия
Этому «свежачку» уже больше полугода))
Видимо, он полгода назад ещё кого-то бросил...
источник

AE

Alexey Er in Чат конференции HighLoad++
Пруф от 5 сентября.
источник
2019 September 10

A

Anton in Чат конференции HighLoad++
Alexey Lustin
Есть - только на докерах.
я правильно понимаю, что citus в докерах масштабируется только вертикально и кластер master-master на докерах не построить? или вы сами писали докер файлы?
источник

PD

Phil Delgyado in Чат конференции HighLoad++
А что такое кластер "master-master"? Оно вообще как может существовать в общем виде?
источник

AL

Alexey Lustin in Чат конференции HighLoad++
Anton
я правильно понимаю, что citus в докерах масштабируется только вертикально и кластер master-master на докерах не построить? или вы сами писали докер файлы?
Сами конечно. Я вообще столкнулся с тем что на больших инсталяциях чужие докерфайлы почти никогда не работают. Любые.
источник

NT

Nikita Tikhomirov in Чат конференции HighLoad++
Всем привет! Есть задача
https://commoncrawl.org/2019/08/august-2019-crawl-archive-now-available/ Мне нужно скачать WARC, обработать его и положить в ClickHouse. Проблема, которую я вижу состоит только в размере файла, можете посоветовать решения, как обрабатывать gz file размеров в 50тб с s3, возможно ли как нибудь получать партициями файл, разжимать данные и класть в ClickHouse?
источник

NT

Nikita Tikhomirov in Чат конференции HighLoad++
Если да, то есть ли у кого нибудь идеи, как это сделать?
источник

IA

Ivan Avseyanko in Чат конференции HighLoad++
Так там ведь отдаётся не весь файл в 50Тб а посегментно - 56000 кусков.
источник

IA

Ivan Avseyanko in Чат конференции HighLoad++
Скачал сегмент, обработал, удалил, повторить до готовности.
источник

AL

Alexey Lustin in Чат конференции HighLoad++
источник

AL

Alexey Lustin in Чат конференции HighLoad++
Вот пример seek и чанков - ну и потокового чтения. Собственно вам нужно смещение запомнить а потоке. Если оборвалась связь.
источник

AL

Alexey Lustin in Чат конференции HighLoad++
Вообще-то ваша задача решается именно через stream. Иначе скачивание, разархивирование и тыды.
источник

NT

Nikita Tikhomirov in Чат конференции HighLoad++
Ivan Avseyanko
Скачал сегмент, обработал, удалил, повторить до готовности.
Блина и в правду
источник

IA

Ivan Avseyanko in Чат конференции HighLoad++
Nikita Tikhomirov
Блина и в правду
Но и один сегмент по терабайту - немало, так что имеет смысл потоково распаковывать сразу, как тут и говорили.
источник
2019 September 12

NK

ID:0 in Чат конференции HighLoad++
Давно программируете на Golang или только присматриваетесь к этому языку? Приходите на GolangConf!

В программу конференции принят 21 доклад, расписание опубликовано. Изучайте, планируйте свой день. Собираемся в 9:00 7 октября в Инфопространстве.

Если ещё не успели купить билет, рекомендуем поторопиться: чем ближе к конференции, тем дороже.
источник

AE

Alexey Er in Чат конференции HighLoad++
ID:
Давно программируете на Golang или только присматриваетесь к этому языку? Приходите на GolangConf!

В программу конференции принят 21 доклад, расписание опубликовано. Изучайте, планируйте свой день. Собираемся в 9:00 7 октября в Инфопространстве.

Если ещё не успели купить билет, рекомендуем поторопиться: чем ближе к конференции, тем дороже.
Ээ.. Т.е. либо Хайлоад, либо Голанг?

А, не, туплю: тут октябрь.
источник
2019 September 15

AM

Alexey Milovidov in Чат конференции HighLoad++
А голосовать за доклады уже где-нибудь можно?
источник