Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2021 March 02

MC

Makha Cloud in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Anton Antonov
Добрый день.
Есть следующая задача: есть временные ряды изменения какой либо величины. И есть временные ряды величин, от которых зависит первая.
Необходимо формировать модель, которая бы при изменении зависящих величин давала плюс минус такой же отклик (хотя бы визуально, на графике функций).
Есть команда из 2 человек с нулевым опытом м ML, но опытом в классическом мат. моделировании (уравнения состояния, численные методы, мкэ и т.п.).
А вопрос такой. Насколько тривиальна такая задача в области ML и сколько по вашему мнению понадобиться этой команде времени, чтобы сделать подобное?
И ещё такой вопрос. Можно ли обучить модель по 1 временному ряду? Например человек руками рисует временную зависимость, мы это все превращаем во временной ряд и создаём модель, которая давала бы нормальные результаты на существующей выборке и могла бы экстраполировать эти ряды, как бы повторяя паттерн нарисованного?
Нужны детали
источник

AA

Anton Antonov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Makha Cloud
Нужны детали
Задача пока сформирована так:
Есть кусок ПО, в котором пользователь рисует функциональные зависимости. Наш софт делает простую верификацию (например, чтобы не было случаев, когда 1 временной точки принадлежит 2 значения) и создаёт временной ряд.
Нужно теперь по этому временному ряду формировать "черные ящики", которые выдавали бы приблизительно такие же кривые на всём промежутке времени в 2 вариантах:
1 вариант - когда нужно просто воспроизводить этот временной ряд до бесконечности (решает и без ML в принципе легко)
2 вариант -когда подгружаются зависимые переменные и создаётся "черный ящик", который принимает эти переменные, а выплёвывает "что-то похожее" на то, чтобы было нарисовано.
Больше деталей никаких нет
источник

RK

Ruslan Krivoshein in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Пытаюсь запустить hiveserver2, но получаю Illegal character in hostname at index 18: thrift://localhost,:9083. Правил только hive-site.xml, но там нет ничего такого. Где ещё стоит поискать такую настройку?
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Я не специалист по hiveserver, но меня смущает запятая перед портом. Не встречал такого синтаксиса.
источник

RK

Ruslan Krivoshein in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Вот и я недоумеваю, как она могла там оказаться. И, главное, не видно в логах, из какого это файла. Может, кто-то подскажет, как можно хотя бы файл вычислить..?
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
В интернетах пишут, что docker compose может формировать неверное имя хоста. Ну а в целом я бы поискал список файлов конфигурации
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ruslan Krivoshein
Пытаюсь запустить hiveserver2, но получаю Illegal character in hostname at index 18: thrift://localhost,:9083. Правил только hive-site.xml, но там нет ничего такого. Где ещё стоит поискать такую настройку?
запятая после localhost явно лишняя
источник

S

Subzero in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ruslan Krivoshein
Пытаюсь запустить hiveserver2, но получаю Illegal character in hostname at index 18: thrift://localhost,:9083. Правил только hive-site.xml, но там нет ничего такого. Где ещё стоит поискать такую настройку?
Покажи как задал порт и ip
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dan • Captain
запятая после localhost явно лишняя
Это мы уже выяснили, теперь выясняем, откуда взялась
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
а, пропустил :) 100% в конфиге
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
лучше всего сделать поиск по конфигам :)
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ну автор говорит что меня только один файл, а в нем типа этого нет. Я бы поискал список всех конфигов.
источник

RK

Ruslan Krivoshein in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
hadoop/apache-hive-3.1.2-bin/conf$ find . -type f -exec cat {} \; | grep 'localhost,'
Вернуло ничего
источник

S

Subzero in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
тут в вопросе приводят hive-site.xml, настройки хоста и порта в нем
https://community.cloudera.com/t5/Support-Questions/Not-able-to-connect-to-hiveserver2-to-access-hivetables-with/td-p/270635
не работал с hiveserver, проверил бы опечатки в этом конфиге
источник

RK

Ruslan Krivoshein in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
А если здесь, скажем, порт поменять, то в сообщение об ошибке он тоже поменяется?
источник

RK

Ruslan Krivoshein in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Поменялся, кстати
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Значит, читает отсюда
источник

RK

Ruslan Krivoshein in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Подставлял другие урлы. Запятая добавляется только для локалхоста
источник

RK

Ruslan Krivoshein in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
В исходниках ничего не нашлось при быстром поиске...
источник