N
Оно ж утратило силу уже
Size: a a a
2019 July 03
CM
в аналитических системах обычно разделяют на техническое качество данных (грубо говоря соответствие модели данных + полнота) и бизнес качество данных (проверка бизнес-правил) - то есть с вашим CSV если кто-то еще дал схему то надо проверить соотвествие схеме (если схемы нет - просто что разделителей в каждой строке нужно количество) и какие-нибудь бизнес-правила напридумывайте и проверьте их
Нет нету никаких бизнес-правил, просто осушествить пару примеров проверки
AZ
Оно ж утратило силу уже
я давно в России не делал проектов, сорян
AZ
Нет нету никаких бизнес-правил, просто осушествить пару примеров проверки
если это тестовое задание - я бы придумал правил, а иначе просто проверьте что CSV валиден и все
AZ
мб от вас ждут профилирования, но строго говоря это не качество данных
N
Можно ещё выбросы попроверять. Ну типа что за этот месяц не продали на 1000000% бургеров больше, чем за прошлый.
CM
если это тестовое задание - я бы придумал правил, а иначе просто проверьте что CSV валиден и все
Да ето тестовое задание
AZ
Да ето тестовое задание
препод валит
CM
Я просто новичок в data science
AZ
если это в сатанизме задание то наверное качество данных значит "применимость для чего-то", и тогда я бы точно профилирование сделал: по каждой колонке число уникальных, пустых значений, аутлайеры для текстовых полей, гистограммы для числовых, вот это все
AZ
df.describe() короче)
CM
df.describe() короче)
Спс
AZ
пжлста, описывайте в след раз полнее задачу, тут инженерный кружок, я вам инженерно изначально и ответил
EV
AS
Всем привет, у меня hive версии 2.3.5, я в него с помощью
add jar добавил json-serde-1.3.8-jar-with-dependencies.jarAS
и при использовании и вызове:
он валится по
CREATE TABLE test (
one boolean,
three array<string>,
two double,
four string )
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
STORED AS TEXTFILE;
он валится по
java.lang.NoClassDefFoundError: org/apache/hadoop/hive/serde2/SerDeAS
никто не знает, по какой причине он может валиться? в интернете не смог найти проблему, может хоть кто-то подскажет куда копать
AS
задача: запустить openx serde для hive 2.3.5 и протестировать его
DS
Ребят
Кто решал вопрос предсказания цены недвижимости?
Кто решал вопрос предсказания цены недвижимости?
PA
никто не знает, по какой причине он может валиться? в интернете не смог найти проблему, может хоть кто-то подскажет куда копать
Может в hdfs засунуть джарку?