Понял.

а тут есть люди которые spark гоняют на 11 java?

вкратце:

собрали свой спарк с jdk 11
позже в других местах при запуске на jdk 8 получили такую ошибку

[info] java.lang.NoSuchMethodError: java.nio.ByteBuffer.flip()Ljava/nio/ByteBuffer;
[info]  at org.apache.spark.util.io.ChunkedByteBufferOutputStream.toChunkedByteBuffer(ChunkedByteBufferOutputStream.scala:115)
[info]  at org.apache.spark.broadcast.TorrentBroadcast$.blockifyObject(TorrentBroadcast.scala:323)

в процессе разбора нашли вот это

https://stackoverflow.com/questions/61267495/exception-in-thread-main-java-lang-nosuchmethoderror-java-nio-bytebuffer-flip

проверка байткода подтвердила что там написано

код при генерации java 8
invokevirtual #218                // Method java/nio/ByteBuffer.flip:()Ljava/nio/Buffer;

код при генерации jdk 11
invokevirtual #219                // Method java/nio/ByteBuffer.flip:()Ljava/nio/ByteBuffer;

смотря на него понимаю что попытка запустить вещи собранный 8кой (это офф релиз спарка с сайта апача) на 11 java тоже по идее должно упасть с похожей ошибкой
но уже в виде
java.lang.NoSuchMethodError: java.nio.ByteBuffer.flip()Ljava/nio/Buffer;

Мы гоняем

Но мы все собираем под 11

Подожди, собранный спарк с jdk11 запустили из-под jdk8 — это вообще легально?

почему нет?

мейвен давно умеет в параметры чтобы указывать под какую версию java собирать либы

тут больше претензии что даже в
https://docs.oracle.com/en/java/javase/11/docs/api/java.base/java/nio/ByteBuffer.html

не указано что flip стал возвращать другой тип данных
всё так же висит инфа о том что метод наследуется и возвращает Buffer

даже сам спарк?

Да, мы в кубере гоняем, базовый образ собран с 11 jdk

спасибо, поэтому видимо у вас и нету проблем =)

что не апач спарк гоняете

мы именно его и гоняем

3.1.2, докер образ собирается прямо ванильными скриптами из репо спарка с 11 JDK

а не, всё

я идиот

теперь получается 2 метода

один наследованный public Buffer flip()
второй (начиная с 9) переопределённый public ByteBuffer flip()

поэтому собранный код на 8ке в рантайме на 11  всётаки находит версию переопределённую и продолжает работать
а вот собранный 11 в рантайме на 8ке уже не находит переопределённого метода, так как есть только наследованный

Слушай, но запускать код собранный на старшей версией JDK чем в рантайме — это вообще невалидный сценарий

Обратной совместимости в JVM ведь нет