NN
Так...речь же о количестве колонок в датафрейме, да? А что, если их больше?
Size: a a a
2021 September 16
ИК
sparkSession.conf.get("spark.sql.codegen.maxFields") - The maximum number of fields (including nested fields) that will be supported before deactivating whole-stage codegen.
NN
Вот блин.
А ты эмпирически вывел, что около 170 полей ещё норм отрабатывает? И что происходит, если полей больше?
А ты эмпирически вывел, что около 170 полей ещё норм отрабатывает? И что происходит, если полей больше?
ИК
пока это самая широкая таблица, с которой я поработал))
Но рядом лежат таблички на 600+ полей, на них включать кодоген не пробовал
Но рядом лежат таблички на 600+ полей, на них включать кодоген не пробовал
NN
Блин.
У нас есть жирные, несколько тысяч атрибутов.
И используются оч активно.
Я раньше слышал про какие-то сложности с кодгеном в таких случаях, но подозревал, что речь о, не знаю, хотя бы нескольких тысячах полей, а уж никак не о полутора сотнях.
Придется тестить.
И это при том, что я не совсем понимаю, что надо ловить.
Кодген не случится? Будет медленнее? Неоптимальнее?
У нас есть жирные, несколько тысяч атрибутов.
И используются оч активно.
Я раньше слышал про какие-то сложности с кодгеном в таких случаях, но подозревал, что речь о, не знаю, хотя бы нескольких тысячах полей, а уж никак не о полутора сотнях.
Придется тестить.
И это при том, что я не совсем понимаю, что надо ловить.
Кодген не случится? Будет медленнее? Неоптимальнее?
AZ
"Оптимально" не бывает в сравнительной степени
AZ
(извините)
NN
Ну блин, не топите меня в этом, пожалуйста)
ИК
ничего страшного, просто будет работать скомпилированный scala-код
NN
А ты не замерял, насколько это дороже/медленнее?
ИК
специально не замерял, но, похоже, в пределах погрешности))
ИК
во всяком случае, если раньше серьёзных задержек не замечали, то и сейчас не обращайте внимания
NN
Я замечаю много задержек, поэтому чем больше причин установлю, тем лучше)
A
посмотрите на план запроса в ui
там же видно всё будет
там же видно всё будет
NN
Не, ну так если, например, я в конфиге пропишу spark.sql.codegen.maxFields=4000, и из-за этого все ещё ползать будет, то я, скорее всего, ничего в плане запроса не увижу.
A
на ui рисуется где codegen а где нет
плюс в логах драйвера есть сообщения по поводу слишком длинных методов
плюс в логах драйвера есть сообщения по поводу слишком длинных методов
A
NN
Это я понял.
Я имел в виду, что если я (или не я) выкручу до максимума этот параметр, то я не знаю, что именно мне отлавливать - oom, замедление, замену кодгена, что-то ещё?
Я имел в виду, что если я (или не я) выкручу до максимума этот параметр, то я не знаю, что именно мне отлавливать - oom, замедление, замену кодгена, что-то ещё?
A
смотрите что-то вроде этой ошибки
Generated method too long to be JIT compiled:
Generated method too long to be JIT compiled:
NN
Ага, понял