AZ
SQL парсер и оптимизатор от дерби используется))
Size: a a a
2019 July 04
2019 July 05
SB
Так сначала необходимо рынок исследовать. Это к датасайентологам на соседний канал @datasciencechat
Коллеги, не подскажете какой-нибудь канал дата-саентистов? Пару дней с интересом наблюдал дискуссию на канале @datasciencechat , но вдруг почему-то забанили (вроде ни писал ничего, только пока читал). Видимо, под какую-то зачистку попал 😐
A
есть вот такое сообщество с бесплатным slack: ods.ai
подайте там заявку и через какое-то время её одобрят, и вы получите доступ
подайте там заявку и через какое-то время её одобрят, и вы получите доступ
AK
Ребята, привет! В Мск будут какие-нибудь конфы про БД, ХД, DS?
AK
Благодарю
T
ривет, кто-нибудь сталкивался с проблемой что Oozie при проверке существования флага на s3 его не находит, хотят он там есть (слуслик.джпг). А если флаг пересоздать начинает его видеть - т.е. проблема явно не с доступом. Подскажите в какую сторону копать? Emr 5.24 oozie 5.1.0
AZ
ривет, кто-нибудь сталкивался с проблемой что Oozie при проверке существования флага на s3 его не находит, хотят он там есть (слуслик.джпг). А если флаг пересоздать начинает его видеть - т.е. проблема явно не с доступом. Подскажите в какую сторону копать? Emr 5.24 oozie 5.1.0
похоже на проблему с целостностью, emrfs включен?
T
похоже на проблему с целостностью, emrfs включен?
Да, но там все хитрее бакет на другом акаунте и флаг этот создается через лямбду и промежуток времени между созданием фалага и его проверкой больше часа, т.е в ключение отключение emrfs влиять не должно, не?
AZ
Да, но там все хитрее бакет на другом акаунте и флаг этот создается через лямбду и промежуток времени между созданием фалага и его проверкой больше часа, т.е в ключение отключение emrfs влиять не должно, не?
авс это страна чудес конечно, но за час все должно разъезжаться конечно.. а то что на разных аккаунтах - это не важно, главное чтобы все EMR-ы использовали одну таблицу в динаме (решите в каком аккаунте она будет)
VA
Привет! У нас сейчас проходит крутой чемпионат по машинному обучению и анализу данных. Присоединяйтесь, если заинтересует)
https://mlbootcamp.ru/round/21/tasks/
https://mlbootcamp.ru/round/21/tasks/
m
о, не я один с дислексией
VA
о, не я один с дислексией
исправилась) спасибо!
VS
Ребят а есть кто с знаком с hive ? Хочу через хайв данные с постгреса перелить в друид. Данные из постгре поднял в external table. Выборки через хайв делаются но когда пытаюсь залить в друид происходит вот такая ошибка
java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex failed, vertexName=Map 1, vertexId=vertex_1562343311279_0003_1_00, diagnostics=[Task failed, taskId=task_1562343311279_0003_1_00_000000, diagnostics=[TaskAttempt 0 failed, info=[Error: Error while running task ( failure ) : attempt_1562343311279_0003_1_00_000000_0:java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.IOException: java.io.IOException: org.apache.hive.storage.jdbc.exception.HiveJdbcDatabaseAccessException: Caught exception while trying to execute query:ERROR: type "pg_catalog.varchar_UTF-16LE" does not existA
точно все настроили правильно?
больше похоже на ошибку мэпинга данных
больше похоже на ошибку мэпинга данных
A
попытайтесь для начала просто прочитать селектом данные из хайв-постгри и посмотреть результат
VS
попытайтесь для начала просто прочитать селектом данные из хайв-постгри и посмотреть результат
Отрабатывает
A
Второй шаг: создаёте таблицу в хайве (хоть csv, parquet, orc) и пытаетесь перелить данные туда
A
Просто по ошибке видно что она на jdbc в драйвере посгри
A
Как вариант посмотреть ещё полный лог сообщения в указанном воркере