Если searchTermGroupsExcluded это мапа из айдишника в коллекцию, то я бы сделал из неё датафрейм и решил бы вопрос джойном

спасибо, решила переписать на leftAnti потому как фильтром хоть и читаемо, но не работает

Коллеги, подскажите, о чём говорят сотни исключений вот такого типа:

org.apache.spark.shuffle.FetchFailedException: Failure while fetching StreamChunkId{streamId=…, chunkIndex=0}: java.nio.file.NoSuchFileException: {/path/to/yarn/usercache/to/file.index}

org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle {id}

org.apache.spark.shuffle.FetchFailedException: Failed to connect to {node.address}

Spark 2.4.5
Запрос с приличным количеством оконных функций, размер датасета около 200 Гб (в паркете около 70Гб)
Кластер он прем, не облако) На других кластерах проблем нет

Failed to connect
побилась сеть? нода перегружена и не принимает подключения?

я б на отсуствии места на диске подумал, или о том что что-то чистит его и убирает блоки на которые он ссылаться хочет

т.е. или места не хватило записать их или они уже убиты

но может и конект да

за ними же вроде должен шафл трекер следить, чтобы они не помирали просто так?

Вроде не замечали таких проблем, ноды живы

вот и я про это думал, но обосновать не могу)

да, это может быть тяжело потому что в момент умирания ноды она подчистит за собой

и получится что место есть)

Как это можно локализовать? Есть какие-то настройки, ограничивающие соединения с нодой?

в графану смотри в моменты косяков. общая загрузка тачки, параметры хипа/гц в этот момент.

яб поставил мониторинг на диски / память / оперативу какойнить ганглией

и посмотрел бы что слуичлось в момент отвала

ну тут Failed to connect как бэ намекает

хехе, на этот кластер меня пока не пустили(
Буду смотреть в расшаренном экране

Никита, Григорий, спасибо!

почитай ещё сислог хоть мельком.

там может стопицот ошибок диска

)) у меня были похожие ошибки когда нода по дискам отваливалась) много времени ушло отловить

но да что угодно может быть