Раз за хфт зашел разговор. Всегда интересовал вопрос, почему хфтшники, пишущие на яве, но заботящиеся о лэйтенси, не используют (или не рассказывают) о простом паттерне:
можно же иметь 2 ноды и роутер, который мониторит хип и выводит ноду из кластера, если хип близок к заполнению. Потом вручную запускает на ноде гц и вводит ноду обратно в кластер.
Понятно, что тут есть нюансы, но предсказать major gc это не рокет саенс. Вместо этого хфтшники надувают щеки и пишут c++ на яве.