ВК
но нормально они также нераспределены
Size: a a a
2020 March 09
АР
Владимир Калинин
какое предположение? явно что они независимы
Что независимы и равномерно распределены
a
есть генерализованные линейные модели, где можно использовать другое предположение о распределении остатков
ну количество слов, я бы моделировал Пуассоном, а не линейкой
ЕТ
Да, в соседнем чате тоже предложили две модели. Минус метода двух моделей, или введения переменной большие-маленькие тексты заключается в том, что мы можем потенциально найти рукопись Шекспира, которая будет посередине, например, 2500 слов.
В соседнем чате предложили в таком случае классифицировать новую находку, а дальше уже пихать в модель. Я не в восторге от этой идеи, но право на существование она, конечно, имеет.
Другое предлоежние: нарезать большие тексты на маленькие.
В соседнем чате предложили в таком случае классифицировать новую находку, а дальше уже пихать в модель. Я не в восторге от этой идеи, но право на существование она, конечно, имеет.
Другое предлоежние: нарезать большие тексты на маленькие.
Или можно сразу сделать иерархическую модель на основе предположения, что есть два основных типа текстов, но ещё и вместе их учитывать. И тогда в теории эта модель должна быть устойчива к появлению "серединных" текстов.
a
Владимир Калинин
но нормально они также нераспределены
может внутри кластеров, они и нормально распределены...
АР
Да, в соседнем чате тоже предложили две модели. Минус метода двух моделей, или введения переменной большие-маленькие тексты заключается в том, что мы можем потенциально найти рукопись Шекспира, которая будет посередине, например, 2500 слов.
В соседнем чате предложили в таком случае классифицировать новую находку, а дальше уже пихать в модель. Я не в восторге от этой идеи, но право на существование она, конечно, имеет.
Другое предлоежние: нарезать большие тексты на маленькие.
В соседнем чате предложили в таком случае классифицировать новую находку, а дальше уже пихать в модель. Я не в восторге от этой идеи, но право на существование она, конечно, имеет.
Другое предлоежние: нарезать большие тексты на маленькие.
Неясно, зачем это проверять
АР
что в большом тексте встретится больше разных слов, чем в маленьком? Итак понятно
ВК
у нас походу задачи перемешались) у меня нет кластеров
a
Кластеров еще нет. Но их можно искусственно создать
a
что в большом тексте встретится больше разных слов, чем в маленьком? Итак понятно
вопрос, сколько? Например, в тексте длины 2065 слов, сколько мы предполагаем новых слов, которых нет в корпусе Шекспира?
АР
по графику видно, что линейная зависимость есть в области больших текстов, а среди маленьких просто хаос, что логично (попадание или непопадание в маленький текст уникального слова - случайность и не зависит от того, насколько именно он мал)
АР
а что касается срединных значений, то надо либо найти такие тексты, либо это близко к экстраполяции за пределы диапазона, что чревато
АР
учитывая три точки между вертикальным столбиком слева и наклонным облаком справа - зависимость может продолжаться в этой области достаточно долго налево, но это очень вилами по воде. Потому что помимо редкости наблюдений 1) все эти три точки лежат несколько выше тренда, который можно было бы провести исходя из правой части графика, 2) если пытаться прогнозировать значения на основе правой части графика, то стандартная ошибка при таком удалении от него обесценит всякую полезность точечного прогноза
a
по графику видно, что линейная зависимость есть в области больших текстов, а среди маленьких просто хаос, что логично (попадание или непопадание в маленький текст уникального слова - случайность и не зависит от того, насколько именно он мал)
Да, в целом, я с Вами согласен, на маленьких текстах хаос, но неужели они ничего нам не расскажут?
На графике маленький кластер и пуассон
На графике маленький кластер и пуассон
a
учитывая три точки между вертикальным столбиком слева и наклонным облаком справа - зависимость может продолжаться в этой области достаточно долго налево, но это очень вилами по воде. Потому что помимо редкости наблюдений 1) все эти три точки лежат несколько выше тренда, который можно было бы провести исходя из правой части графика, 2) если пытаться прогнозировать значения на основе правой части графика, то стандартная ошибка при таком удалении от него обесценит всякую полезность точечного прогноза
Тоже согласен. Пуассон по всем.
АР
Да, в целом, я с Вами согласен, на маленьких текстах хаос, но неужели они ничего нам не расскажут?
На графике маленький кластер и пуассон
На графике маленький кластер и пуассон
уберите выброс на 160 и увидите, что тренд окончательно встал горизонтально
PU
уберите выброс на 160 и увидите, что тренд окончательно встал горизонтально
да бросьте, на таком графике рисовать тренды очень странно
АР
И ни одну из четырёх точек посередине Пуассон не прогнозирует даже близко
АР
да и в области низких значений количество наблюдений, вышедших за пределы диапазона, явно чрезмерно
A
Кинчики и сериалы в оригинале. Лучшего способа пока не придумали.
Александра
Позволю себе чуть оффтопа - подкасты в этом плане лучше.
-Только аудио, без пауз на видео часть и дополнительного контекста, облегчающего понимание.
-Можно слушать во время всяких других занятий с разной степенью погружения (от детального слушания до фонового привыкания к ритму и специфике речи)
-Легко найти интересную тематику
Позволю себе чуть оффтопа - подкасты в этом плане лучше.
-Только аудио, без пауз на видео часть и дополнительного контекста, облегчающего понимание.
-Можно слушать во время всяких других занятий с разной степенью погружения (от детального слушания до фонового привыкания к ритму и специфике речи)
-Легко найти интересную тематику