В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2019 May 08

N

Nikolay in Moscow Spark
Pavel Klemenkov
Это чушь. Гридсерч используют для подбора гиперпараметров, те параметров, которые не учатся из данных. При чем тут понимание?
Учатся на данных ) . Такое определение скорее для гуманитариев ).  Гридсеарч на тех же данных параметры проверяет . Он плох тем ,что просто делает перебор без попыток выявить направления роста
источник
20:07пожаловаться#1

N

Nikolay in Moscow Spark
Aleksandr Severinov
Ну типо если понимаешь, какую функцию оптимизируешь и как, то гиперпараметры сразу из головы берешь. Но чем плох грид серч, я не понял :)
Понимание в другом.  Это когда видишь нужно увеличивать какой параметр или уменьшать для того , что бы улучшить результат.
источник
20:09пожаловаться#2

N

Nikolay in Moscow Spark
Anton Alekseev
Да, тоооочно, из головы...) грид затратный просто, вот и не понравилось человеку видимо:) А вообще это заблуждение по поводу ds как у Николая, стало довольно распространённым из-за волны хайпа и кучи желающих зарабатывать 300к в сек, но это не ds специалисты, к сожалению.
А в чем заблуждение ?
источник
20:10пожаловаться#3

AA

Anton Alekseev in Moscow Spark
Nikolay
А в чем заблуждение ?
"суть там не понимают" и "а где уже сложнее модели - бустинг. Уже все ."
источник
20:13пожаловаться#4

НК

Николай Крупий... in Moscow Spark
Смысл жизни

Смысл жизни в том, чтобы кормить нейросети примерами.
источник
20:13пожаловаться#5

N

Nikolay in Moscow Spark
Anton Alekseev
"суть там не понимают" и "а где уже сложнее модели - бустинг. Уже все ."
Сформулирую так. Подобрали параметры через гридсеарч. Спрашиваю. Что будет , если условный параметр альфа увеличить в 2 раза . Что мне ответят ? Скажут, что нужно запустить с этими параметрами и проверить. Или спрошу вопрос почему сработала модель X, а не модель Y. В большинстве случае что скажут ?
источник
20:17пожаловаться#6

PK

Pavel Klemenkov in Moscow Spark
Nikolay
Учатся на данных ) . Такое определение скорее для гуманитариев ).  Гридсеарч на тех же данных параметры проверяет . Он плох тем ,что просто делает перебор без попыток выявить направления роста
У нашего чата очень широкая аудитория, стараюсь выражаться понятно. Но на очередном митапе готов с тобой обсудить особенности работы дата сайнтиста в более строгих формулировках)
источник
20:18пожаловаться#7

N

Nikolay in Moscow Spark
Можно и обсудить . Но людям тут тоже интересно  почитать дискуссию. Если не обсуждать , то тишина настанет .
источник
20:39пожаловаться#8

KS

Kostya Shchetkin in Moscow Spark
Байес опт и прочее придуман от бедности, то есть из-за того, что долго делать грид серч. А я бы не стал сводить работу ds к методам fit, predict известных фреймворков. Гораздо сложнее правильно сформировать реальную бизнес-задачу в задачу ML и метрики для неё в реальных условиях и с теми данными, что есть. Если ты правильно это сделал и у тебя норм поизнаки, то война с подбором параметров не такая важная
источник
22:46пожаловаться#9
2019 May 09

ЕГ

Евгений Глотов... in Moscow Spark
Гораздо важнее решить бизнес-задачу в максимально короткий срок, чем думать, датасаенс вы делаете, или подбираете параметры, пока не станет норм)
источник
00:49пожаловаться#10
2019 May 11

С

Сюткин in Moscow Spark
А так можно было?
источник
13:29пожаловаться#11
2019 May 13

С

Сюткин in Moscow Spark
@pklemenkov забаньте чувака выше
источник
01:19пожаловаться#12

С

Сюткин in Moscow Spark
Спасибо
источник
01:20пожаловаться#13
2019 May 14

A🦕

Alexander Rodionov 🦕... in Moscow Spark
+---+
|  A|
+---+
|  8|
|  8|
|  2|
|  6|
|  9|
|  7|
|  7|
|  5|
|  7|
|  5|
|  5|
|  0|
+---+


вот допустим есть датафрейм
как в 1 проход сделать 2 вещи:

- distinct, получить датафрейм с уникальными строчками
- посчитать число уникальных элементов в датафрейме

???


- кеш тоже 2 прохода, хоть и быстро
- писать ручной reduce?
- оконные функции?
источник
17:09пожаловаться#14

t

tenKe in Moscow Spark
groupBy().agg(count_distinct, collect_set)
источник
17:13пожаловаться#15

ЕГ

Евгений Глотов... in Moscow Spark
Никак, это физически невозможно, число уникальных требует весь промежуточный результат слить на одну ноду, а вы хотите промежуточным результатом иметь дистинкт
источник
17:14пожаловаться#16

PK

Pavel Klemenkov in Moscow Spark
Всем привет. Допустим есть хороший питон программист, который может в спарк и ему очень быстро, желательно недели за 2, освойть скалку. В объёме, необходимом для приличного прога на спарке. Какой путь вы бы предложили бедняге?
источник
17:49пожаловаться#17

PK

Pavel Klemenkov in Moscow Spark
Естественно друг спросил)
источник
17:49пожаловаться#18

AS

Andrey Sutugin in Moscow Spark
Pavel Klemenkov
Всем привет. Допустим есть хороший питон программист, который может в спарк и ему очень быстро, желательно недели за 2, освойть скалку. В объёме, необходимом для приличного прога на спарке. Какой путь вы бы предложили бедняге?
Книги Одерски для спарка как мне кажется за глаза хватит, а дальше только практика и набивание шишек... Ну ещё круто что бы был кто-то рядом помог с jvm миром, конфиги и все такое
источник
17:52пожаловаться#19

PF

Pavel Filatov in Moscow Spark
Pavel Klemenkov
Всем привет. Допустим есть хороший питон программист, который может в спарк и ему очень быстро, желательно недели за 2, освойть скалку. В объёме, необходимом для приличного прога на спарке. Какой путь вы бы предложили бедняге?
https://www.manning.com/books/spark-in-action
Manning Publications
Spark in Action
Spark in Action teaches you the theory and skills you need to effectively handle batch and streaming data using Spark. Fully updated for Spark 2.0.
источник
17:52пожаловаться#20