Size: a a a

R language and Statistical data analysis

2020 March 27

AB

Alexey Burnakov in R language and Statistical data analysis
Ещё JS не хватает
источник

AB

Alexey Burnakov in R language and Statistical data analysis
Видел вакансию в Philip Morris, там нужны были знания JS у ds
источник

ГД

Григорий Демин in R language and Statistical data analysis
Чтобы визуализацию нормальную делать, видимо
источник

AB

Alexey Burnakov in R language and Statistical data analysis
Григорий Демин
Чтобы визуализацию нормальную делать, видимо
Видимо, так
источник

IS

Ivan Struzhkov in R language and Statistical data analysis
Григорий Демин
Интересно, а у вас в организации чисто моноязычная инфраструктура? Я думал, такого не бывает... Везде, где бывал, зоопарк из зоопарков. И там +R/-R особой разницы не делает.
В рамках одного проекта - стараемся держать один стек. Так что очень близко к тому
источник

IT

Inip Tyig in R language and Statistical data analysis
Philipp Upravitelev
у меня на сервере по три минуты делается джойн 45кк строк, я зол (в питоне, да, и сервер не самый слабый)
Без примера кода все еще трудно списать проблему на один только пайтон
источник

IT

Inip Tyig in R language and Statistical data analysis
Пример быстрого джойна того же самого на арчике тоже бы был полезен для обсуждения
источник

EP

Ed P in R language and Statistical data analysis
К вопросу об R-ных вакансиях и зарплатах. Вот свеженькое из фармы (на сайте самого Рош с ходу найти не удалось, ну и это Швейцария, так что зп по местным меркам не такая уж заоблачная, хотя некоторые снимают жилье в Германии / Франции и оттуда катаются. 11к нетто это примерно 18к брутто)

Guten Tag,

haben Sie Interesse an folgendem Projekt bei Roche?

R Lead Developer (IT) ro-303

Task:
Developer who can join an IT team that are focused on working with the Business in delivering information and technology solutions to support a function in the Data Science discipline.

Skills:
   • R +(Python, Julia, SAS, etc)
   • Clinical trial analytics
   • CSV in a GxP environment
   • ITIL

11.000,-€ netto pro Monat oder freiberuflich

ASAP, 12 Monate+, Basel/teilw. remote
источник

AB

Alexey Burnakov in R language and Statistical data analysis
Philipp Upravitelev
у меня на сервере по три минуты делается джойн 45кк строк, я зол (в питоне, да, и сервер не самый слабый)
если сделано на pandas, то он примерно такой же быстрый как data.table/dplyr. Плюс минус.
источник

PU

Philipp Upravitelev in R language and Statistical data analysis
Alexey Burnakov
если сделано на pandas, то он примерно такой же быстрый как data.table/dplyr. Плюс минус.
нет конечно
источник

PU

Philipp Upravitelev in R language and Statistical data analysis
Inip Tyig
Без примера кода все еще трудно списать проблему на один только пайтон
да, у меня еще нагрузка сервера плавает
сейчас вот такой запрос отработал за полторы минуты, вчера за три с половиной
в первом датасете 1,5кк записей, во втором 45кк
payments_test = pd.merge(
   payments,
   data,
   how='left',
   left_on = ['did'],
   right_on = ['device_id_hash']
)
источник

PU

Philipp Upravitelev in R language and Statistical data analysis
Alexey Burnakov
если сделано на pandas, то он примерно такой же быстрый как data.table/dplyr. Плюс минус.
источник

PU

Philipp Upravitelev in R language and Statistical data analysis
Ed P
К вопросу об R-ных вакансиях и зарплатах. Вот свеженькое из фармы (на сайте самого Рош с ходу найти не удалось, ну и это Швейцария, так что зп по местным меркам не такая уж заоблачная, хотя некоторые снимают жилье в Германии / Франции и оттуда катаются. 11к нетто это примерно 18к брутто)

Guten Tag,

haben Sie Interesse an folgendem Projekt bei Roche?

R Lead Developer (IT) ro-303

Task:
Developer who can join an IT team that are focused on working with the Business in delivering information and technology solutions to support a function in the Data Science discipline.

Skills:
   • R +(Python, Julia, SAS, etc)
   • Clinical trial analytics
   • CSV in a GxP environment
   • ITIL

11.000,-€ netto pro Monat oder freiberuflich

ASAP, 12 Monate+, Basel/teilw. remote
подозреваю, в этой вакансии главное не R, а Clinical trial analytics и прочие строчки из требований
источник

AB

Alexey Burnakov in R language and Statistical data analysis
интересно. я видел другое сравнение. поищу чейчас
источник

AB

Alexey Burnakov in R language and Statistical data analysis
здесь вроде нет джоинов
источник

AB

Alexey Burnakov in R language and Statistical data analysis
и кстати это публикация H2O, ее сделал сам Мэт. Хотя я сам больше DT использую. Но может быть bias
источник

IT

Inip Tyig in R language and Statistical data analysis
Philipp Upravitelev
да, у меня еще нагрузка сервера плавает
сейчас вот такой запрос отработал за полторы минуты, вчера за три с половиной
в первом датасете 1,5кк записей, во втором 45кк
payments_test = pd.merge(
   payments,
   data,
   how='left',
   left_on = ['did'],
   right_on = ['device_id_hash']
)
А референсный метод на аре какой? дата.таблы, да? И как долго он такое отрабатывает?
источник

PU

Philipp Upravitelev in R language and Statistical data analysis
Inip Tyig
А референсный метод на аре какой? дата.таблы, да? И как долго он такое отрабатывает?
я как-то коллегам показывал
>в обще, джойн 10млн и 100мл, при сортировке и индексации, на моей локальной машине занимает порядка 8 секунд
а локальная машина у меня - 16гб. про камни не скажу, не помню, но вряд ли больше 2.7 * 2, ноутбук ведь
источник

AB

Alexey Burnakov in R language and Statistical data analysis
источник

AB

Alexey Burnakov in R language and Statistical data analysis
Про бенчмаркинг
источник