Телеграмм чат группы bigdata

Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

4860 membersпожаловаться на группу

2021 June 13

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

Переобучение всегда было. Тут правило одно - на чём учите, то и выучит.

источник

20:14пожаловаться #1

Dmitry in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

это не переобучение :)
это эффект обощающей ф-ции, а переобучение - это чуть другое.

кстати, очень полезно посмотреть на входные наборы данные с помощью таких сетей, при разведочном аналище. Иногда наталкивает на очень интересные идеи.

источник

20:17пожаловаться #2

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

Модель учится решать задачу, все танки были сняты в пасмурный день, модели легче классифицировать изображения по пасмурному дню. В следствии неполноты данных - отсутствия танков в солнечную погоду, модель переобучилась на пасмурной погоде - иными словами выучила частный вариант как общий.

источник

20:23пожаловаться #3

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

источник

20:25пожаловаться #4

Denis in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

как в статьях писать псевдокод вместо питона? если я использую много numpy/scipy функций?

источник

20:29пожаловаться #5

Dmitry in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

ну, анализ в целом верный.

Вопрос какой был: Как нейронная сеть понимает, какую решает задачу?
Так?

Ответ - ни как :)

Нейросеть эффективно решает задачу обобщения, факт. Правильно формируя/тасуя входные данные, решается та или иная задача.

источник

20:30пожаловаться #6

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

Я замечал, многие часто оставляют питон.

источник

20:31пожаловаться #7

Denis in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

от меня псевдокод хотят :(

источник

20:32пожаловаться #8

Dmitry in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

источник

20:33пожаловаться #9

ЕТ

Евгений Томилов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

Псевдокод обычно требуют, когда алгоритм состоит из самых элементарных функций по типу присваивания, арифметических выражений и циклов.

источник

20:33пожаловаться #10

ЕТ

Евгений Томилов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

😁😁😁

источник

20:33пожаловаться #11

Dmitry in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

ну потролить можно тех кто хочет %)

источник

20:34пожаловаться #12

Dmitry in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

R похож на псевдокод :)

источник

20:34пожаловаться #13

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

Всегда считал питон псевдокодом. Мб можно все назвать матрицами, назвать каждое измерение буковками, использовать мат знаки.

источник

20:34пожаловаться #14

Dmitry in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

а вот это обидно было ;)

источник

20:35пожаловаться #15

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

Да на самом деле, это даже больше как комплимент. Показываешь код случайному человеку и он *бац* и что-то понял.

источник

20:37пожаловаться #16

Dmitry in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

да 100%

но вот мы какой-то период времени назад пришли к очень странному выводу, для датасайса самое эффективное это функциональное програмирование.

теперь переписываем часть рабочих инструментов на эрланге :)
мозги скрипят так, что жесть. Но блин, как все лаконично и понятно :) потом.

источник

20:39пожаловаться #17

Denis in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

если все переписать руками - даже js становится понятен)
но зачем

источник

20:43пожаловаться #18

Vadim Chashechnikov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

Да, я тоже пытался. Ибо по-сути нейросеть крайне близка к мат функции, но лично мне, помню, в определённых моментах слишком сложно мыслить на высоком функциональном. Сейчас JAX есть, как компромисс.

источник

20:44пожаловаться #19

Vladimir Bazilevich in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

А что с производительностью? Слышал, что эрланг не очень хорош для числодробилок

источник

20:44пожаловаться #20