FS
спасибо, погуглю
apt-get install linux-azure
Size: a a a
2021 February 18
V
или чет типо крутилки сюрфейса
ⓝ
Бухгалтер - одна из сфер проф деятельности. Естественно, если ты постоянно мурыжишь нампад, то он тебе, очевидно, нужен
А в тундре на нем удобно клиренс менять 🌚
V
я кстати не понял она взлетела или нет у маек
S
для них есть проф панели, ну например для давинчи блек меджик продает
многим она просто не нужна
g
А в тундре на нем удобно клиренс менять 🌚
Сейчас бы в 2к21 в игры играть
Св
Гуглеры опубликовали новую работу (и исходный код), Switch Transformer, который судя по всему может работать с 1.6 триллионами параметров. Для сравнения, сделанный для аналогичных целей GPT-3, который все сейчас прославляют, работает с 175 миллиардами параметров, т.е. почти на порядок меньше.
Понятно, что сравнить Switch Transformer и GPT-3 пока невозможно - исходные коды частично доступны, а вот предобученную модель Гугл не отдаст. И даже API пока нет, так что качество непонятно, хотя судя по статье похоже на очередной прорыв.
Главная проблема для воссоздания таких систем - мало у кого достаточно вычислительных мощностей для обучения настолько масштабных моделей. Надеюсь в каком-то ближайшем будущем кто-то займется благотворительностью и выложит предобученную модель, по оптимистичной оценке на ее обучение нужно несколько миллионов долларов вычислительных ресурсов. https://arxiv.org/abs/2101.03961
Понятно, что сравнить Switch Transformer и GPT-3 пока невозможно - исходные коды частично доступны, а вот предобученную модель Гугл не отдаст. И даже API пока нет, так что качество непонятно, хотя судя по статье похоже на очередной прорыв.
Главная проблема для воссоздания таких систем - мало у кого достаточно вычислительных мощностей для обучения настолько масштабных моделей. Надеюсь в каком-то ближайшем будущем кто-то займется благотворительностью и выложит предобученную модель, по оптимистичной оценке на ее обучение нужно несколько миллионов долларов вычислительных ресурсов. https://arxiv.org/abs/2101.03961
пусть по кругу её пустят, в смысли как boinc
V
многим она просто не нужна
ну если часто работаешь с этим софтом думаю удобее должно быть хз
V
у меня другая сфера деятельности
S
у меня другая сфера деятельности
и какая
V
и какая
я кодер
S
я кодер
на чем кодишь?
Св
на чем кодишь?
на яблоке
ⓝ
Сейчас бы в 2к21 в игры играть
Щас бы в 2к21 с женщинами сношаться
g
на чем кодишь?
Вангую, что питон
ⓝ
g
Щас бы в 2к21 с женщинами сношаться
А мне нравится, но я принимаю чужие убеждения
V
С тапка виднее
пусть по кругу её пустят, в смысли как boinc
не знаю можно ли ее масштабировать так, нужен быстрый IPC между нодами. Кстати GPT3 лояльно обучил русскому Сбер на своих суперкомпах
V
молодцы
V
на чем кодишь?
питон