Size: a a a

2022 January 30

k

kvadratura in Moscow Spark
бывают датацентры, где память не очень сильно дороже дисков. а бывают такие, что х2 памяти неоткуда взять просто
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Сорри, что-то туплю, видимо корона сказывается
источник

k

kvadratura in Moscow Spark
докер - только при том, что пока не отработает контейнер, создающий скелетоны, я не могу ни один файлик с кодом открыть. проблема не в докере
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Аааа! Но докер же должен оч быстро скелетоны создавать, кажется?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Но вообще так чтобы мощно с докером я только в энтерпрайзе работал — когда дестки контейнеров локально запускал
источник

k

kvadratura in Moscow Spark
ну когда как 🤷‍♂ только зачем мне скролить файлики запрещать, пока докер там скелетоны создает?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Понятия не имею, я полностью согласен что это не нормально
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Я вообще оч давно не видел индексирования блокирующего, но мне везёт просто, видимо
источник

GP

Grigory Pomadchin in Moscow Spark
вскодом лечитс
источник

GP

Grigory Pomadchin in Moscow Spark
источник

A

Alex in Moscow Spark
Я это и написал
источник

GP

Grigory Pomadchin in Moscow Spark
в скала проектах анрил работать пока идея делает индексацию
даже как файлы не всегда возможно работать изза подвисаний

ну или может мне нужна машина с 32 гигами оперативы
источник

GP

Grigory Pomadchin in Moscow Spark
даж не остановить иногда процесс (не знаю када такое случается, репр не сделаю)
источник

D

Dmitry in Moscow Spark
не верится. я на игрушечных объемах играл, так оно по дефолту сразу падало, т.к. вытягивало в память трифт сервера весь датасет, прежде чем отдать клиенту. был параметер, что отдавать клиенту как стрим, но все равно не выглядело, что на десятках-сотне клиентов это способно работать
источник

GP

Grigory Pomadchin in Moscow Spark
с конфигруацией может что
источник

GP

Grigory Pomadchin in Moscow Spark
для реального примера можно датабрикс заиспользовать, они везде рекламируют доступ к платформе через трифт / ждбс
источник

D

Dmitry in Moscow Spark
вы путаете протокол, который юзает датабрикс и сервер, которого у них нет
источник

GP

Grigory Pomadchin in Moscow Spark
не знаю что под капотом, судя по ехекушен плану и апи там трифт сервер
источник

GP

Grigory Pomadchin in Moscow Spark
может он на стероидах конечно, сути не менят
источник

D

Dmitry in Moscow Spark
экзекюшен план строит каталист, трифт это совсем противоположный конец экосистемы
источник