приведу пример
@WebSocket(maxBinaryMessageSize = 1024 * 1024) в jetty не всегда работает.
А вот так работает всегда как часы: session.getPolicy().setMaxBinaryMessageSize(1024 * 1024);
Кроме того можно на рантайме изменить значение просто вызовом метода.
А вы пробовали изменить значения аннотации на рантайме?