GP
хотел бы сортированые колл персиста бы делал после сорта
Size: a a a
2019 April 11
GP
вдруг ты хочешь просто прочитать
GP
а потом поразному отсортировать
GP
и сделать это быстро
GP
ипут рдд это редко ж просто кодогенерация; обычно читаешь из источника
закешировал то что прочитал
сделал 2 сортировки на уже прочтенном (ну например)
закешировал то что прочитал
сделал 2 сортировки на уже прочтенном (ну например)
N
Значит persist действует только внутри одного stage ?
GP
я не понимаю, что это значит
GP
персист физические блоки сейвит
GP
к стейджам он не привязан
GP
но возможно в твоей терминологии будет внутри одного стейджа чтоб это не значило
GP
действует ли? хз
GP
в последнем подстейдже стейджа персистеится и доступно для всех последующих подстейджей
AS
я не понимаю, что это значит
я думаю речь про то, что после stage происходит spill to disk
GP
ах; ну или не на диск
AS
ах; ну или не на диск
да, но тоже spill, а значит и персист :)
N
я думаю речь про то, что после stage происходит spill to disk
Да.если данные сохранены на диск и код в другом stage читает их с диска, то тот кусок в памяти уже не нужен. Получается, что persist только внутри одного stage работает
AS
но ты же и в новом stage можешь обратится к данным которые раньше закешировал раньше (в других stage)
GP
но ты же и в новом stage можешь обратится к данным которые раньше закешировал раньше (в других stage)
!!