K
Ребята, у вас было такое, что хайвзапускает таску в одной очереди, после чего проходят мепры и редьюсеры, а мердж файлов происходит не в той очереди, что меппило и редьюсило , а в дефаулте
Size: a a a
2019 September 17
AS
Дык а почему бы с облаков не начать? Покрутить всякие Яндексы и Мейлы, снять себя сначала головную боль по базовой настройке и поддержке.
Майлы по состоянию их хранилища лучше не пробывать, а яндекс можно
АЖ
Майлы по состоянию их хранилища лучше не пробывать, а яндекс можно
Мы тестили их hdp, вполне. Яндекс долго запрягает с хадупами
AS
Мы тестили их hdp, вполне. Яндекс долго запрягает с хадупами
Я тестировал их хранилище, даже пару раз разговаривал с суппортом, так себе (в июле дело было)
ЭТ
Мы тестили их hdp, вполне. Яндекс долго запрягает с хадупами
мэйлище?
DY
DY
А сцилла уже начала работать с диском как и аэроспайк? Блочное устройство на которое переписываем большими страницами и со своим gc чтобы не плодить трим и write amplification
сцилла всегда работала с диском
АЖ
ась? :)
(объявляется пятиминутка рекламы Сциллы)
DY
(объявляется пятиминутка рекламы Сциллы)
я только на вопросы отвечаю
IB
ClickHouse митап Мюнхен, прямая трансляция через 5 минут (на английском): https://youtu.be/LY0mF2OmPQY
TT
в любом случае прослойка клиентов которым нужно импала и аллуксио одновременно ничтожно мала, думаю никакого серьезного развития сюда в эту сторону не будет
Хехе, я такой изврат видел своими глазами несколько раз.
Все инвестбанки (вернее оналитеги внутри них) переползают с оракла на хадуп через импалу. Они ее обожают, клаудера их в этом поддерживает :))
И все хотят инмемори для быстроты, поэтому импала + аллюксио на одном кластере = частое явление
Все инвестбанки (вернее оналитеги внутри них) переползают с оракла на хадуп через импалу. Они ее обожают, клаудера их в этом поддерживает :))
И все хотят инмемори для быстроты, поэтому импала + аллюксио на одном кластере = частое явление
VA
Вопрос по Apache Spark. Количество выходных файлов при вызове метода write у DataFrame можно контролировать методом repartition. Кто-нибудь знает, как задать размер выходных файлов в формате parquet в байтах при записи?
C
N@ni Rathi has been banned! Reason: CAS ban.
UD
тупой вопрос, престо на датанодах имеет право на жизнь?
UD
при условии что откусили память/ядра у ярна (в конфигах)
_
Вопрос по Apache Spark. Количество выходных файлов при вызове метода write у DataFrame можно контролировать методом repartition. Кто-нибудь знает, как задать размер выходных файлов в формате parquet в байтах при записи?
Такого нет, только примерно можно подобрать колво файлов
A
сцилла всегда работала с диском
https://github.com/scylladb/scylla/blob/master/conf/scylla.yaml#L30
Сцилла ожидает файловую систему на которую она будет кидать sstable (вы даже заявляете о бинарно совместимости их с кассандрой)
В случае aerospike он может просто воспринимать диск как /dev/sda и без всяких файловых систем и прослоек долбить его.
(не в минус сцилле, просто развернул что имел в виду, мало кто пытается с raw диском работать).
Сцилла ожидает файловую систему на которую она будет кидать sstable (вы даже заявляете о бинарно совместимости их с кассандрой)
В случае aerospike он может просто воспринимать диск как /dev/sda и без всяких файловых систем и прослоек долбить его.
(не в минус сцилле, просто развернул что имел в виду, мало кто пытается с raw диском работать).
A
Хотя и догадываюсь о чем первоначально автор говорил: асинкио, параллелизм и тд
DY
https://github.com/scylladb/scylla/blob/master/conf/scylla.yaml#L30
Сцилла ожидает файловую систему на которую она будет кидать sstable (вы даже заявляете о бинарно совместимости их с кассандрой)
В случае aerospike он может просто воспринимать диск как /dev/sda и без всяких файловых систем и прослоек долбить его.
(не в минус сцилле, просто развернул что имел в виду, мало кто пытается с raw диском работать).
Сцилла ожидает файловую систему на которую она будет кидать sstable (вы даже заявляете о бинарно совместимости их с кассандрой)
В случае aerospike он может просто воспринимать диск как /dev/sda и без всяких файловых систем и прослоек долбить его.
(не в минус сцилле, просто развернул что имел в виду, мало кто пытается с raw диском работать).
понятно, я это не так понял (не уловил момент с raw). в любом случае, из личного опыта, работать с чистыми оффсетами на уровне блоков далеко не песня, и при современных дисках разница слишком мизерная чтоб оно того стоило. Учитывая то что Сцилла вложилась в доработку XFS как раз под свои нужды, смысла в уменьшении прослойки тут очень очень мало. Мы очень редко упираемся в боттлнеки когда сервера используют nvme