Size: a a a

Compiler Development

2020 December 05

AT

Alexander Tchitchigi... in Compiler Development
Pavel Samolysov
Всегда думал что сейчас ds в основном ml и занимаются. Всякая интеграция, очистка, витрины и прочее называется data engineering вроде.
Терминология -- вопрос дискуссионный, но как я понимаю, Data Engineering -- это настройка Spark, Kafka, Cassandra и вот этого всего. Типа DevOps в области DS.
источник

PS

Pavel Samolysov in Compiler Development
Alexander Tchitchigin
Терминология -- вопрос дискуссионный, но как я понимаю, Data Engineering -- это настройка Spark, Kafka, Cassandra и вот этого всего. Типа DevOps в области DS.
Просто подозреваю что от science в этой области  ничего толком кроме ML (включая deep learning и всякие reinforcement) и не осталось, но может быть и не прав.
источник

АП

Антон Пилипчук... in Compiler Development
Alexander Tchitchigin
Терминология -- вопрос дискуссионный, но как я понимаю, Data Engineering -- это настройка Spark, Kafka, Cassandra и вот этого всего. Типа DevOps в области DS.
А вы знаете сайты, каналы и чаты подобные этому, @LanguageDev и @plcomp ?
источник

PS

Pavel Samolysov in Compiler Development
@itchannels там порядка семи каналов по ml
источник

AG

Alex Gryzlov in Compiler Development
Alexander Tchitchigin
Терминология -- вопрос дискуссионный, но как я понимаю, Data Engineering -- это настройка Spark, Kafka, Cassandra и вот этого всего. Типа DevOps в области DS.
настройка это если достаточно возможностей из коробки, но зачастую приходится и разрабатывать свои какие то решения для критичных частей пайплайна
источник

AT

Alexander Tchitchigi... in Compiler Development
Alex Gryzlov
настройка это если достаточно возможностей из коробки, но зачастую приходится и разрабатывать свои какие то решения для критичных частей пайплайна
Да, верно.
источник

AG

Alex Gryzlov in Compiler Development
свою кафку с нуля конечно редко кто пишет, но какой нибудь хитрый распределённый фильтр с кэшем запросто
источник

AG

Alex Gryzlov in Compiler Development
и вот там уже неплохо бы разбираться во всяком байтоверчении и конкаренси
источник

RB

Rustem B. in Compiler Development
Парсил кто-нибудь с помощью пролога?
источник

AG

Alex Gryzlov in Compiler Development
Pavel Samolysov
Просто подозреваю что от science в этой области  ничего толком кроме ML (включая deep learning и всякие reinforcement) и не осталось, но может быть и не прав.
так дата саенс это изначально была такая "наука без доменной специфики"
источник

AG

Alex Gryzlov in Compiler Development
т.е. любая естественная наука это корпус специфических знаний плюс методы постановки экспериментов и статистические методы обработки их результатов
источник

AG

Alex Gryzlov in Compiler Development
вот дата саенс это была идея о том что последняя часть универсальна для всех наук, и можно выделить ее в отдельную область
источник

AG

Alex Gryzlov in Compiler Development
по сути такая статистика на стероидах
источник

PS

Pavel Samolysov in Compiler Development
Alex Gryzlov
по сути такая статистика на стероидах
Матстатистика это же часть математики, а термин датасайнс начал форситься активно в последнее время именно как ml/dnn вот это все. Статистические методы в ML тоже есть, классификатор Байеса, например.
источник

PS

Pavel Samolysov in Compiler Development
Слышал мысль, что ML/DL это такая экспериментальная математика, трудно не согласиться
источник

AG

Alex Gryzlov in Compiler Development
ну да, мл это все что касается применения информатики в статистике, а датасаенц - автоматизированные методы обработки крупных экспериментов, например отслеживания поведения людей через рекламные элементы на вебстраницах :)
источник

AT

Alexander Tchitchigi... in Compiler Development
Alex Gryzlov
вот дата саенс это была идея о том что последняя часть универсальна для всех наук, и можно выделить ее в отдельную область
Мне кажется, что идея была скорее в том, что можно "старый добрый научный подход" применить для разнообразия к бизнесу. В первую голову -- ИТ-бизнесу. Потом и другие подтянулись, где стат. анализ раньше не применяли. 😊
источник

AG

Alex Gryzlov in Compiler Development
Alexander Tchitchigin
Мне кажется, что идея была скорее в том, что можно "старый добрый научный подход" применить для разнообразия к бизнесу. В первую голову -- ИТ-бизнесу. Потом и другие подтянулись, где стат. анализ раньше не применяли. 😊
ну да, если отчуждать методы из науки, то в первую очередь для заработка :)
источник

AT

Alexander Tchitchigi... in Compiler Development
Pavel Samolysov
Матстатистика это же часть математики, а термин датасайнс начал форситься активно в последнее время именно как ml/dnn вот это все. Статистические методы в ML тоже есть, классификатор Байеса, например.
Началось с "мема" BigData. Когда выяснилось, что объективно больших данных почти ни у кого нет, да и не сильно-то нужно -- ребренднули в Data Science. 😄

As a side note, процентов 90 ML можно вывести из Байсовской статистики и/или maximum likelyhood principle.
источник

AG

Alex Gryzlov in Compiler Development
Alexander Tchitchigin
Началось с "мема" BigData. Когда выяснилось, что объективно больших данных почти ни у кого нет, да и не сильно-то нужно -- ребренднули в Data Science. 😄

As a side note, процентов 90 ML можно вывести из Байсовской статистики и/или maximum likelyhood principle.
ещё кстати был ребрендинг в fast data
источник