Size: a a a

2019 September 17

UD

Uncel Duk in Data Engineers
аэроспайк за это денег хочет
источник

A

Alex in Data Engineers
А сцилла нет?
источник

A

Anton Lebedevich in Data Engineers
Stanislav
Осипов ушел в сцилу , теперь она 😂
откуда дровишки? вроде он свой форк тарантула продолжает
источник

UD

Uncel Duk in Data Engineers
Alex
А сцилла нет?
они мордочку продают и сапорт
источник

UD

Uncel Duk in Data Engineers
а так когда уже kv ssd завезут и dcpmem везде
источник

UD

Uncel Duk in Data Engineers
источник

A

Alex in Data Engineers
@Unkledolan не :) я сам знаю что аэроспайк в бесплатной ни томбстоуны не умеет, ни удаление блочного, ни трима нормального

Там больше было про то что редис вот не умеет в диск...
источник

UD

Uncel Duk in Data Engineers
Anton Lebedevich
откуда дровишки? вроде он свой форк тарантула продолжает
можно в его профайл поглядеть
источник

UD

Uncel Duk in Data Engineers
Alex
@Unkledolan не :) я сам знаю что аэроспайк в бесплатной ни томбстоуны не умеет, ни удаление блочного, ни трима нормального

Там больше было про то что редис вот не умеет в диск...
почему не умеет, rdb dump =)
источник

A

Alex in Data Engineers
Про pmem я только на днях троллил докладчиков с аэроспайк у нас, они сказали в гугл клауд уже завезли, амазон на подходе
источник

UD

Uncel Duk in Data Engineers
btw alluxio живой или не оче?
источник

UD

Uncel Duk in Data Engineers
хочется кэш над хдфс более умный чем pagecache
источник

A

Alex in Data Engineers
Ни и что вариант работы  с all on disk завезли так как на каждый ключ 64 байта в памяти надо держать хеш, поэтому большая боль (раньше у коучбейз была такая же хрень), поэтому много мелких ключей на метаданных в памяти сжирает больше чем данных

А с all on disk думают даже hbase подвинуть в инсталляция на десятках миллиардов ключей
источник

A

Alex in Data Engineers
Uncel Duk
btw alluxio живой или не оче?
Много читал но никогда не гонял в проде. Оно вообще стоит того? Чем пейжкеш то не угодил
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex
Много читал но никогда не гонял в проде. Оно вообще стоит того? Чем пейжкеш то не угодил
Он на уровне блоков на Hadoop FS API работает, может кэшировать например S3; в Китае и у прочих азиатов популярен
источник

A

Alex in Data Engineers
Не, чтобы s3 и другие cloud вещи закешить это ок

Мне именно в контексте hdfs интересно
источник

AZ

Anton Zadorozhniy in Data Engineers
Uncel Duk
btw alluxio живой или не оче?
Живой, баги фиксят
источник

UD

Uncel Duk in Data Engineers
Alex
Много читал но никогда не гонял в проде. Оно вообще стоит того? Чем пейжкеш то не угодил
Закинуть в ssd/ram условно датасет для ds-ов, по конкретному пути например /datamarts/bla-bla/ds
источник

A

Alex in Data Engineers
Так и сейчас у hdfs есть указание закинуть на ramdisk/ssd/hdd
источник

A

Alex in Data Engineers
Тиры в датаноды давно уже завезли
источник