UD
В 2 раза это очень оптимистично
Size: a a a
2019 October 05
ЕГ
а можно переписывать нейросетки на скалу, или что вообще делать, если они на питон/си написаны?
ЕГ
с использованием gpu
A
не, я же ничего =) это как с “spark all in memory”, а на практике все шафлы и репартишены через disk сделаны ….
A
можно использовать и pyspark и остальное
A
просто весело слушать когда рассказывают про магию и скорость
ЕГ
не, я же ничего =) это как с “spark all in memory”, а на практике все шафлы и репартишены через disk сделаны ….
кстати, у меня был прикол, связанный с этим - на винде запускал локальный спарк, он мне весь шаффл запихнул в память, и не скидывал его на диск)
A
пиздешь =)
ЕГ
в смысле в кэш диска в памяти
A
ВСЕ шафлы даже локально даже на 2 рекорда будут идти через диск
ЕГ
да, но винда кэшит запись на диск в память)
A
а, ну в кеш диска возможно, но файлики все равно на фс будут
ЕГ
пока место есть
ЕГ
да
UD
ВСЕ шафлы даже локально даже на 2 рекорда будут идти через диск
Есть костыль с оптаном
ЕГ
вот с такими оптимизациями сейчас вообще не угадаешь, может там 15 копирований быстрее сделать, чем запариваться)
A
@Unkledolan я там выше спрашивал уже, но все молчат
https://iceberg.incubator.apache.org/
никто еще не пробовал? а то что-то нетфликс регулярно пиярит
https://iceberg.incubator.apache.org/
никто еще не пробовал? а то что-то нетфликс регулярно пиярит
UD
@Unkledolan я там выше спрашивал уже, но все молчат
https://iceberg.incubator.apache.org/
никто еще не пробовал? а то что-то нетфликс регулярно пиярит
https://iceberg.incubator.apache.org/
никто еще не пробовал? а то что-то нетфликс регулярно пиярит
я очень хочу в новый кластер, как старый взорву
UD
нечто похожее должно быть в мтс