Size: a a a

Data Science Chat

2021 September 24

В

Вадим in Data Science Chat
Ну а вообще, есть же сотни методов работы с временами рядами, папир куча
источник

В

Вадим in Data Science Chat
С начала сделать что то классикой, а потом уже пробовать
источник

В

Вадим in Data Science Chat
Lstm и gru не панацея, они хоть и работают интуитивно понятное как, я если честно, за всю свою практику ниразу их так норм и не завёл
источник

AS

Aleksandr Sukhomlino... in Data Science Chat
ну эт понятно, я к ним не от хорошей жизни пришел)
источник

ES

Elena Shamis in Data Science Chat
Всем спасибо, отвечаю.
1.Классика, бустинги работают, дают 85 проц. Хочу попробовать улучшить сетями.
2. Сигнал - параметры пакетов трафика. Задача - предсказать разрешение, с которым смотрят видео.
3. Данные - Примерно 20к видео на трейне. Каждое виде описано рядом временных точек - от 30 до сотен. В каждом ряду 7 разных сигналов - фич.
4. Исходя из размера минимального видео, я режу все эти ряды на кусочки по 30 временных точек, и рассматриваю, как отдельные примеры. Получается от 30 тыс до 700 тыс примеров (в зависимости от шага, с которым я двигаю скользящее окно, режущее ряд). С шагом 1 - много данных, но похожих. С шагом 30 - меньше, но примеры разные.

Гипотеза: 30 точек в примере - мало. Даже в маленькой картинке их пара сотен, правда там и свертки двумерные. Попробовала сделать 200 точек в примере. Результат стал лучше - на первой эпохе 81% на тесте против 84 на трейне, на второй - 84 на тесте против 91 на трейне. С третьей - падение. Получается - маленькие видео - в пролете, вернее, надо требовать несглаженные данные, где больше точек.
источник

ES

Elena Shamis in Data Science Chat
И да, насчет Lstm и gru. Это лучшее из простого и быстро заводящегося для OCR. С этим у меня огромный опыт :). А, вот, с данными только недавно стала работать, хочется использовать опыт
источник

A

Andrey in Data Science Chat
блин, классификация что ли?
источник

s

sasha in Data Science Chat
а надо по одному пакету понять к видео какого качества он относится?
источник

ES

Elena Shamis in Data Science Chat
Про GRU -  имела ввиду, чтение. OCR. Ну, строчек текста на картинке. Сканированные документы, итд Не относится к делу текущему. Так поделилась
источник

ES

Elena Shamis in Data Science Chat
в данный момент - по видео. Найти где меняется разрешение - отдельная задача. А тут считаем, что имеем куски с постоянным разрешением.
источник

ES

Elena Shamis in Data Science Chat
Я сделала всю систему с фичами и бустингом. Она ищет места, где разрешение меняется, предсказывает разрешение в местах без смены. Предел - 85%. Может выше и не заложено в данных... Но хотелось попробовать.
источник

ES

Elena Shamis in Data Science Chat
или по куску, по скользящему окну, в общем, как-то так
источник

s

sasha in Data Science Chat
мне почему то кажется что фичи пакетов должны предсказывать такие вещи почти на 100 проц, мб если есть доступ посмотреть на то как формируются пакеты, также возможно полезно проверить качество разметки.
источник

ES

Elena Shamis in Data Science Chat
вот, вроде нет, я смотрела кучу графиков фич. Похоже, там есть или элемент случайности, или наблюдение, которое мы не можем собрать.

Но глубокая сетка моментально выходит в трейне на 100%, это мне очень странно, все же, данных не так чтоб прямо мало. К чему она так способна подстроиться, чего нет в тесте...
источник

ES

Elena Shamis in Data Science Chat
про качество разметки -точное место смены разрешения не может быть собрано, там алгоритмы. Но само значение в постоянных отрезках собирается приборами
источник

k

keiDoom in Data Science Chat
Друзья, посоветуйте пожалуйста книги которые стоит прочесть человеку, которого интересует разработка ML, NN
источник

S,

Suicide Liza , then ... in Data Science Chat
Привет что можите сказать про kaggle курсы? если ктото их проходил?
источник

AG

Arsen Gumin in Data Science Chat
Шолле, Рашка
источник

AG

Arsen Gumin in Data Science Chat
Вьюгин ещё математика
источник

Е

Егор Абросимов... in Data Science Chat
короткие ознакомительные курсы, свое назначение выполняют прекрасно
источник