MaxGraey
Да правильно бенчмаркать - это целое искусство) Нужно правильно подготовить данные, правильно написать бенч тесты, что бы оптимизатор не выкинул мертвый код и все это было максимально приближено к реальному кейсу, замерить на раздых размерах входных данных а для этого нужно хорошо разбираться и в том что ты меряешь а не рассматривать это как черный ящик. Ну и самое важное - это правильно измерять и обрабатывать полученные замеры, отбраковывать случайные всплески, делать прогрев, исключать внешние факторы влияющие на результат, правильно сделать агрегацию датасета пользуясь различными критериями (z-score, t-distribution / критерий стьюдента) и выводить не только дисперсию (variance) но и skewness. И т д там еще много нюансов.
Без всего этого доверять результатам бенчмарка вряд ли стоит)
C удовольствием прорекламирую JMH 🙂