ПП
На некоторые вопросы лучше не знать ответов
Size: a a a
2021 March 09
D•
я сегодня слишком добрый чтобы останавливать холиварные темы :)
I
Последствия 8-го марта?
AB
Почему перестали js обсуждать
D•
Коллеги, понимаю сложно, но давайте возвращаться в профессиональное русло :)
ЕТ
Кто пользовался entity selection для прода? Улучшается ли результат? Реально ли работают все эти алгоритмы? Почему бы не использовать тогда совместно feature и instance selection?
НК
Привет всем! у меня есть датасет, в нём 4к картинок, нужно кодом увеличить их кол-во(сделать флип к примеру) подскажите пожалуйста как это сделать потому что не могу понять с сайта tensorflow
DK
Привет всем! у меня есть датасет, в нём 4к картинок, нужно кодом увеличить их кол-во(сделать флип к примеру) подскажите пожалуйста как это сделать потому что не могу понять с сайта tensorflow
НК
да, я видел это, я не вдуплю как это сшить с моим кодом
RK
В avro-tools есть команда count, которая Counts the records in avro files or folders. При попытке натравить её на папку, где лежат авро-файла, мне выдаёт Not a data file.. Как её стоит правильно использовать, чтобы посчитать количество строк во всех авро-файлах, что в папке находятся?
I
нашел что в механизме внимания вот эти две операции очень дорогие.
energy получается размерностью (1,22к,22к) еще один такой и модель не выдерживает.
Есть идеи как экономно и посчитать умножение и сделать софтмакс ?
Можно же по идеи матрицу разбить на векторы, и либо сделать цикл вектор на матрицу, либо двойной цикл вектор на вектор, с промежуточными delete-ами?
Т.с заплатить скоростью (параллельностью) взамен на память.
energy получается размерностью (1,22к,22к) еще один такой и модель не выдерживает.
Есть идеи как экономно и посчитать умножение и сделать софтмакс ?
Можно же по идеи матрицу разбить на векторы, и либо сделать цикл вектор на матрицу, либо двойной цикл вектор на вектор, с промежуточными delete-ами?
Т.с заплатить скоростью (параллельностью) взамен на память.
I
нашел что в механизме внимания вот эти две операции очень дорогие.
energy получается размерностью (1,22к,22к) еще один такой и модель не выдерживает.
Есть идеи как экономно и посчитать умножение и сделать софтмакс ?
Можно же по идеи матрицу разбить на векторы, и либо сделать цикл вектор на матрицу, либо двойной цикл вектор на вектор, с промежуточными delete-ами?
Т.с заплатить скоростью (параллельностью) взамен на память.
energy получается размерностью (1,22к,22к) еще один такой и модель не выдерживает.
Есть идеи как экономно и посчитать умножение и сделать софтмакс ?
Можно же по идеи матрицу разбить на векторы, и либо сделать цикл вектор на матрицу, либо двойной цикл вектор на вектор, с промежуточными delete-ами?
Т.с заплатить скоростью (параллельностью) взамен на память.
хотя пожалуй двойной цикл 22к на 22к итераций это перебор будет.
I
но короче разбить матрицу на несколько суб матриц с делитами.
EZ
нашел что в механизме внимания вот эти две операции очень дорогие.
energy получается размерностью (1,22к,22к) еще один такой и модель не выдерживает.
Есть идеи как экономно и посчитать умножение и сделать софтмакс ?
Можно же по идеи матрицу разбить на векторы, и либо сделать цикл вектор на матрицу, либо двойной цикл вектор на вектор, с промежуточными delete-ами?
Т.с заплатить скоростью (параллельностью) взамен на память.
energy получается размерностью (1,22к,22к) еще один такой и модель не выдерживает.
Есть идеи как экономно и посчитать умножение и сделать софтмакс ?
Можно же по идеи матрицу разбить на векторы, и либо сделать цикл вектор на матрицу, либо двойной цикл вектор на вектор, с промежуточными delete-ами?
Т.с заплатить скоростью (параллельностью) взамен на память.
Гугли линейные аттеншны
АК
Вот и я про это примерно. Хайп в том, что бизнес сейчас набирает DS-специалистов, что бы они организовали отдел DS у них с нуля. Плюс хайп среди учебных курсов срубить бабла на учениках. Через лет пять ситуация прояснится и пена сойдёт. Что будут делать эти специалисты потом у меня под вопросом.
DS - это всего лишь набор алгоритмов. Думаю через 5-10 лет DS алгоритмы просто перекочуют в привычный набор скиллов, которые требуется уметь применять самому обычному джуниор бекенд разрабу.
Если разрабу нужно применить алгоритм поиска пути, он не идёт на курс по алгоритмам поиска пути, он берёт готовую библиотеку и её применяет, не разбираясь как там под капотом всё работает.
Также и здесь, неэффективные алгоритмы вымрут, эффективные структурируют и упакуют в готовые инструменты, обозначат границы применимости и уже не нужны будут знания как там всё работает, взял и применил.
В самом DS можно много чего автоматизировать.
Если разрабу нужно применить алгоритм поиска пути, он не идёт на курс по алгоритмам поиска пути, он берёт готовую библиотеку и её применяет, не разбираясь как там под капотом всё работает.
Также и здесь, неэффективные алгоритмы вымрут, эффективные структурируют и упакуют в готовые инструменты, обозначат границы применимости и уже не нужны будут знания как там всё работает, взял и применил.
В самом DS можно много чего автоматизировать.
SL
DS - это всего лишь набор алгоритмов. Думаю через 5-10 лет DS алгоритмы просто перекочуют в привычный набор скиллов, которые требуется уметь применять самому обычному джуниор бекенд разрабу.
Если разрабу нужно применить алгоритм поиска пути, он не идёт на курс по алгоритмам поиска пути, он берёт готовую библиотеку и её применяет, не разбираясь как там под капотом всё работает.
Также и здесь, неэффективные алгоритмы вымрут, эффективные структурируют и упакуют в готовые инструменты, обозначат границы применимости и уже не нужны будут знания как там всё работает, взял и применил.
В самом DS можно много чего автоматизировать.
Если разрабу нужно применить алгоритм поиска пути, он не идёт на курс по алгоритмам поиска пути, он берёт готовую библиотеку и её применяет, не разбираясь как там под капотом всё работает.
Также и здесь, неэффективные алгоритмы вымрут, эффективные структурируют и упакуют в готовые инструменты, обозначат границы применимости и уже не нужны будут знания как там всё работает, взял и применил.
В самом DS можно много чего автоматизировать.
Не, DS - это не набор алгоритмов. Для этого уже придуманы слова "компьютерное моделирование", "алгоритм", "машинное обучение"
SL
Речь тут о том, что DS - это мердж множества набора разнцх скиллов, в том числе манагерства, аналит чего-нибуль + бизнесс составляющая + компьтерсайнс. Только разве не дают капиталлом управлять на самом деле
SL
Если угодно. Бизнес нанимает ДС тогда, когда что-то придумал, но не знает, что с этим делать. С таким же успехов ДС может писать код,если есть необходимый набор компитенций. Речь идет просто об универсальном солдате, да и все