Заградотряд в лице админа поможет?

я, если что, закончил 😂

#рекомендация #статья #полезное #разметка #датасет

Коллеги, как я уже ранее анонсировал, статья от Ольги Мегорской, руководителя Яндекс.Толоки. Непременно рекомендуется к ознакомлению всем, кто интересуется вопросами разметки данных и сбору датасетов. Да что уж там, рекомендуется всем! 🙂

Так или иначе, мы сталкиваемся с необходимостью собирать и готовить данные, обучать модели. Бывает, пользуемся уже готовыми решениями, но часто, в виду узкой специализации стоящих перед нами задач приходится заниматься сбором датасетов своими силами. Ребята из Яндекс.Толоки провели довольно масштабную исследовательскую работу, и проверили несколько гипотез о разметке данных.

В частности, они детально разобрали гипотезу о важности алгоритмов и "вторичности" данных. Подробно рассказали о доводах "за" и "против" использования подрядчиков при разметке. И, наконец, проверили гипотезу о некачественных подходящих решениях по работе с датасетами на рынке, и даже об их отсутствии. И, конечно, поделились конкретным практическим опытом по разметке данных. Даже есть пошаговая инструкция для решения задач по разметке данных.

Читать -> по ссылке, обсуждать и комментировать - в нашей группе 🙂

​7 статей на английском про Data Science, ИИ и инфлюенсеров 🧐
Ежемесячная подборка из Medium от Антона Чунаева

1. Немецкий стартап «AI Expert Roadmap» получил 3.5 тысячи звезд на GitHub.
О том, как проект выстрелил благодаря своему интерактивному роадмапу. С его помощью можно узнать, какие знания и умения нужны для освоения той или иной профессии в AI.
— https://slc.tl/6rNsw

2. Преимущества Pulsar перед Kafka.
О том, есть ли все-таки конкуренты у Kafka. Сейчас, если у провайдера нет Kafka, то «shame on you». А вот выяснилось, что ни Францом единым. Судя по тексту, Pulsar быстрее, да еще и мультитенантный.
— https://slc.tl/6MhLZ

3. Несколько AutoML-архитектур, о которых стоит знать.
Про варианты построения AutoML-архитектур в Microsoft и Amazon.
— https://slc.tl/cq2jB

4. 5 полезных YouTube-каналов для дата-сайентистов по машинному обучению, на которые стоит подписаться.
Про странное время, в котором мы живем: кто-то на YouTube машины сжигает, а кто-то умные вещи рассказывает. Контент блогеров из статьи не рассчитан на обычную аудиторию — специфическую лексику и видео по 3 часа осилят только самые отчаянные.
— https://slc.tl/X0uoQ

5. AI Explainability 360 сделает решения ИИ прозрачными для пользователей.
О том, как IBM показала, кто в мире AI главный. Взяла и выкатила технологию, о которой другие пока только научные статьи пишут. Инструмент объясняет решения, принятые искусственным интеллектом.
— https://slc.tl/Snq9X

6. Как выбрать правильное аналитическое направление для работы с CDP?
Одной CDP не всегда достаточно для эффективного анализа пользовательских данных. В материале есть несколько интересных рекомендаций по подходам к их аналитике.
— https://slc.tl/8vlKy

7. Чтобы построить многомиллионный бизнес, нужно больше отдыхать.
Что если нужно работать меньше для достижения лучшего результата? Автор утверждает, что многие предприниматели слишком много работают и это тормозит их рост.
— https://slc.tl/9wc5R

Присоединяйтесь к сообществу @SelectelNews 🦖, чтобы оставаться в курсе актуальных it-событий

Подскажите как решить задачу? Есть список значений X, Y для функции с фото. Нужно найти a,b,c.

Это через интерполяцию? Как реализовать на питоне?

Ну регрессию посчитай

Раскрыть скобки, забив на d, получить выражение линейное относительно нескольких простых функций от x, посчитать эти функции как признаки и сделать линейную регрессиию по ним, из коэффициентов регрессии вычислить a, b, c, там будет переопределенная система, проверить что нет противоречий

Все понял, а вот с посчитать функции как признаки ступор и сделать регрессию не догоняю

у вас есть точки, вам сказали что это регрессия, вам надо найти коэф a,b,c так, чтобы ошибка мнк была в пределах,которые указаны в задании

Спасибо. Вроде как разобрался.

Всем привет.  Подскажите пожалуйста кто шарит.  Делаю нейросетку на модели sequential. Хочу сделать бинарный классификатор.  В датасете есть как числовые, так и категориальные данные.  Построил модель из 5 слоев с дропаутами ,  но почему то везде ошибка большая , и на выход предсказания идут в диапазоне от 0.41 до. 0.48  - это очень странно,  подскажите как улучшить

Первые 3 слоя ставил на релу,  но как то не помогло

Покажи функцию compile

.

Раз предсказания в таком узком диапазоне, похоже, твоя модель не особо уверена ни в одном предсказании.
Возможно, у тебя просто хреновые фичи, и на них вообще ничего не обучишь. Кстати, как ты категориальные признаки кодировал?
Ещё может быть, что на этих фичах обучиться и можно, но сеть ниасилила. Можно попробовать уменьшить глубину и убавить дропауты, это поможет модели быстрее сходиться.