Size: a a a

Data Science Kazakhstan (DS/ML kz)

2020 May 28

TA

Taskynov Anuar in Data Science Kazakhstan (DS/ML kz)
Azamat Berdysh
Последнее время я вижу как Трансформеры доминируют абсолютно все области: текст, звуки, изображения и пр. Что ведёт меня к мысли, что возможно Трансформеры это какая-нибудь аппроксимация нулевого порядка на AGI 😛
Странно, почему они не сделали end-to-end transformer. Судя по статье, нужен всё-таки бэкбон в виде резнетов.
источник

📒

📒 in Data Science Kazakhstan (DS/ML kz)
Azamat Berdysh
Последнее время я вижу как Трансформеры доминируют абсолютно все области: текст, звуки, изображения и пр. Что ведёт меня к мысли, что возможно Трансформеры это какая-нибудь аппроксимация нулевого порядка на AGI 😛
просто трансформер выжимает максимум из текущего железа которое есть
По идее Ликун и Бенжо недавно это обсуждали, что щас только есть tiny neural networks, типо архитектуры gpu форсят нас юзать батчи и трансформации в архитектуре ограничиваются только матрикс продакт, с максимумом в 10 билионов параметров, когда в 1 кубическом сантиметре мозга триллион синапсов
источник

D

Darkhan in Data Science Kazakhstan (DS/ML kz)
источник

📒

📒 in Data Science Kazakhstan (DS/ML kz)
📒
просто трансформер выжимает максимум из текущего железа которое есть
По идее Ликун и Бенжо недавно это обсуждали, что щас только есть tiny neural networks, типо архитектуры gpu форсят нас юзать батчи и трансформации в архитектуре ограничиваются только матрикс продакт, с максимумом в 10 билионов параметров, когда в 1 кубическом сантиметре мозга триллион синапсов
вот для того же трансформера я сделал маленький экспремент, измерял время аллокации матрицы из VRAM в shared memory и регистры. Тупо на это в 200 раз больше времени уходит чем на само вычисление
Например в комп графике в вычислениях всегда пытаются уменьшить обращение к глобальной памяти видюхи потому что она в 150-200 раз медленее работает. Но с нейронками так не получается потому что постоянно нужно записывать и считывать веса
источник

Y

Yerassyl in Data Science Kazakhstan (DS/ML kz)
Kamalkhan Artykbayev
Кто будет участвовать в этом competition?)
скорее всего я буду
источник

MK

Minhyun Kim in Data Science Kazakhstan (DS/ML kz)
Yerassyl
скорее всего я буду
че там, брат, на каггл картинки завезли
источник

RA

Renat Alimbekov in Data Science Kazakhstan (DS/ML kz)
Minhyun Kim
че там, брат, на каггл картинки завезли
много картинок же)
источник

MK

Minhyun Kim in Data Science Kazakhstan (DS/ML kz)
Renat Alimbekov
много картинок же)
мы просто обсуждали соревы, когда картинок вообще почти не было и вот подвезли
источник

RA

Renat Alimbekov in Data Science Kazakhstan (DS/ML kz)
Minhyun Kim
мы просто обсуждали соревы, когда картинок вообще почти не было и вот подвезли
Там от CVPR целая пачка была, но без медалек и рейтинга
источник

MK

Minhyun Kim in Data Science Kazakhstan (DS/ML kz)
Renat Alimbekov
Там от CVPR целая пачка была, но без медалек и рейтинга
я в одном как раз участвовал
источник

RA

Renat Alimbekov in Data Science Kazakhstan (DS/ML kz)
Minhyun Kim
я в одном как раз участвовал
да я тож
источник

MK

Minhyun Kim in Data Science Kazakhstan (DS/ML kz)
Renat Alimbekov
да я тож
как прошло?)
источник

RA

Renat Alimbekov in Data Science Kazakhstan (DS/ML kz)
Minhyun Kim
как прошло?)
imet сегожня заканчиывается,  7 пока
источник

MK

Minhyun Kim in Data Science Kazakhstan (DS/ML kz)
Renat Alimbekov
imet сегожня заканчиывается,  7 пока
хорош)
источник

RA

Renat Alimbekov in Data Science Kazakhstan (DS/ML kz)
Minhyun Kim
хорош)
был 3, гуси налетели
источник

KA

Kamalkhan Artykbayev in Data Science Kazakhstan (DS/ML kz)
Всем салем, как можно переконфигурировать простой SSD object detection на object tracking?
источник

AZ

Almaz Z in Data Science Kazakhstan (DS/ML kz)
Kamalkhan Artykbayev
Всем салем, как можно переконфигурировать простой SSD object detection на object tracking?
источник

B

Biga in Data Science Kazakhstan (DS/ML kz)
Всем 🤚
Есть каналы в телеге с хорошими шаблонами для ppt ?
источник

AB

Azamat Berdysh in Data Science Kazakhstan (DS/ML kz)
источник

😌

😌 in Data Science Kazakhstan (DS/ML kz)
Dana Tokm
Маленький input так как благодарна за то что этот чат существует:)
Хочу рассказать о нахождении практике data science в европе.  (полезно будет только только начинающим).
Сейчас заканчиваю магистратуру ДС, в Аальто унив, Финляндии. Одновременно я data science trainee at Neste (oil refining and marketing company). Тут за trainee платят столько как из джунам, поэтому и практику найти трудновато. Во время магистратуры я учила все подряд bayesian stats, reinforcement learning, graph and networking, comp vision, плюс к тому кучу курсов, udemy + andrew ng. Но это все занимает кучу времени и я советую нацелиться на чтото одно. Если например data analyst или BI то статс, матем, визу и плюс например тут требуют знать финский т к много работать с клиентами и датой на финском. Я например хотела искала в сфере Reinforcemnet learning но там больше research oriented and software skills should be top.
Сейчас я все еще не определилась с тем что хочу. Но вот судя по тому что я делаю на практике я больше как bi and data analyst (и мне это нравиться). С нас уже ожидаеться знания SQL, time series analysis, LSTM. Все делаем на google cloud platform где есть AI platform на котором можно использовать R, Python и все лайбрарис для тьюнинга.
В основном делаем EDA, обсуждаем бизнес values, плотим, визуализируем.
Вообще было трудно найти практику/работу т к в Финляндии networking is the main source. На мои онлайн  подачи даж не отвечали. Приходилост писать в Linkedine в личку всяким CEO или рекрутерам дс компаний. Но в универе были хорошие career fairs, и есть несколько компаний например как Academic work, они помогают найти работу студентам бесплатно (но их сайт почему то на финском). Через них я кстати и нашла. Nokia тут рекрутит много и игровый компании Rovio, Unity (им как раз нужен reinforcement learning)
На интервью у меня спрашивали много ML основ (for example random forests, algorithms for timer series data)и всегда они спрашивают что ты действительно хочешь делать в компании. И даж если ты супер пупер ДС но возможно, они видят что тебе будет тогда неинтересно делать их работу, то они не возьмут тебя.
CONGRATS! 🔥
источник