NN
А, так дергать это норм, а реагировать - не?
Size: a a a
2022 January 30
ПФ
A
упоси господи от radosgw
создаём бакет на 1млн записей
пытаемся удалить - нельзя так как не пустой
пытаемся запросить список файликов чтобы по одному сразу удалить - гейтвей зависает
да и вообще под чуть большей нагрузкой он складывался
у вас есть опыт его использования в проде с большим количеством данных?
создаём бакет на 1млн записей
пытаемся удалить - нельзя так как не пустой
пытаемся запросить список файликов чтобы по одному сразу удалить - гейтвей зависает
да и вообще под чуть большей нагрузкой он складывался
у вас есть опыт его использования в проде с большим количеством данных?
NN
До свидания
ПФ
Взрослые всегда так делают — они не дают детям сдачи, а просто игнорируют
Д
Вы просто диагнозы по телефону не ставьте, это Вас не украшает.
ПФ
Я теб знаю прост, а Дмитрия нет
ПФ
это сколько лет назад? Потому что года 4 назад я уже норм работал с таким
ПФ
Правда там у нас было много данных, но не очень больших
ПФ
миллионы файлов, но маленьких
A
3 года назад, плюс ещё в пару раз за последних пару лет, но попытка натянуть спарк на него минио выдавала даже больше
ПФ
У нас были примерно мегабайтные файлы
A
я говорю не про цеф как сторейдж, а именно радос как интерфейс s3
ПФ
Да-да, вот мы через radosgw работали
ПФ
Хм, наверное лет, а не 4, время летит. Но не верю что стало хуже. Но может быть разница с паттернах использования
k
спарк + thriftserver могут это делать. я когда тестировал нагрузки с простейшими случаями, было вполне норм. спарк по скорости развесистых sql запросов не уступал тому же trino. другое дело, что у trino гораздо больше вариантов конфигурирования под кейсы доступа к данным + federated фичи
ПФ
А вот люди, вам бы пригодилась визуализация хайв метастора? Типа подключились, посмотрели что у нас там есть
ПФ
метаинформацию посмотрели там, вот это вот всё
k
а что там такого интересного? таблицы, датабазы, схемы, статистики..
ПФ
Ну вот примерно вот это вот, да