Size: a a a

2021 February 26

S

Samat in Data Engineers
Подскажите как сделать kill query по query_id в HIVE?
источник

А

Алексей in Data Engineers
Samat
Подскажите как сделать kill query по query_id в HIVE?
подключиться под hive и выполнить kill query "..."
источник

MB

Maksim Batsiuk in Data Engineers
а может кто-то посоветовать ресурс для изучения hadoop? платный курс или в идеале доступный ресурс, спасибо.
источник

S

Samat in Data Engineers
Алексей
подключиться под hive и выполнить kill query "..."
не помогает таблица lock acquisition for lockrequest тип SHARED_LOCK у кого такое встречалось ли?
источник

S

Samat in Data Engineers
Ранее "hive.support.concurrency = true" менял на false с "hive.txn.manager – org.apache.hadoop.hive.ql.lockmgr.DummyTxnManager " менял но это приводило к другой ошибке "hive this command is not allowed on an acid table"
источник

S

Samat in Data Engineers
Samat
Ранее "hive.support.concurrency = true" менял на false с "hive.txn.manager – org.apache.hadoop.hive.ql.lockmgr.DummyTxnManager " менял но это приводило к другой ошибке "hive this command is not allowed on an acid table"
при INSERT OVERWRITE-e
источник

AM

Alexandr Myshansky in Data Engineers
Всем привет, сталкивался ли кто-то с такой задачей и чем это решать?

Предыстория/общая задача:
Необходимо сопоставить названия торговых марок/франшиз/компаний (объектов) с учетом транслитераций и переводов из нескольких источников для того чтобы собрать обобщенную информацию об этих объектах в новую витрину.
Витрины источников находятся в hive таблицах (orc), витрина результ тоже по итогу должна выгружаться в hive.

Проблема:
Непонятно чем и как делать сопоставление названий с учетом перевода, есть какие-нибудь идеи или советы на этот счет?
источник

ИК

Иван Калининский... in Data Engineers
Alexandr Myshansky
Всем привет, сталкивался ли кто-то с такой задачей и чем это решать?

Предыстория/общая задача:
Необходимо сопоставить названия торговых марок/франшиз/компаний (объектов) с учетом транслитераций и переводов из нескольких источников для того чтобы собрать обобщенную информацию об этих объектах в новую витрину.
Витрины источников находятся в hive таблицах (orc), витрина результ тоже по итогу должна выгружаться в hive.

Проблема:
Непонятно чем и как делать сопоставление названий с учетом перевода, есть какие-нибудь идеи или советы на этот счет?
Если с транслитом нет проблем, то может это просто должен быть обратный транслит? Вряд ли кто-то будет подбирать русское слово для Unilever, а транслитерация активно используется и всем понятна
источник

AM

Alexandr Myshansky in Data Engineers
с транслитом проблем нет, он уже по большей части реализован, сравнение там двустороннее: транслит из не ру в ру совпал или из ру в не ру совпал. Как выяснилось часто названия компаний или различных сетей зачем-то переводятся, и вот их непонятно как сравнивать
источник

ИК

Иван Калининский... in Data Engineers
тогда ходить в онлайн-переводчики за всем названием, за отдельными словами из него и делать такое же двойное сравнение
И кому понадобилось делать переводы названий? Никакого смысла в этом не вижу
источник

AE

Alexey Evdokimov in Data Engineers
потому что досирак плохо звучит
источник

ИК

Иван Калининский... in Data Engineers
Blue Water тоже не очень))
источник

ИК

Иван Калининский... in Data Engineers
Но не перевели как синяя вода, а просто поменяли местами water blue
источник

AE

Alexey Evdokimov in Data Engineers
и "мистер Клин" отож какая-то лажа. вот и получается "мистер Пропер"
источник

AE

Alexey Evdokimov in Data Engineers
довелось мне как-то раз заведовать переводом одного большого продукта на 11 языков... эх, та ещё история для посиделок у камина
источник

ИК

Иван Калининский... in Data Engineers
ну ок, но это и есть марка (зарегистрированный товарный знак, или как оно там в юридических терминах), а если её перевести буквально ваще фигня получается
источник

ИК

Иван Калининский... in Data Engineers
Alexey Evdokimov
довелось мне как-то раз заведовать переводом одного большого продукта на 11 языков... эх, та ещё история для посиделок у камина
все одиннадцать теперь как носитель понимаешь? ))
источник

AE

Alexey Evdokimov in Data Engineers
Иван Калининский
все одиннадцать теперь как носитель понимаешь? ))
ну из них половина были славянскими, так что нечестно
источник

AM

Alexandr Myshansky in Data Engineers
там скорее всего по большей части зашитые фразы будут, но да, это та еще жесть))
источник

AM

Alexandr Myshansky in Data Engineers
Иван Калининский
ну ок, но это и есть марка (зарегистрированный товарный знак, или как оно там в юридических терминах), а если её перевести буквально ваще фигня получается
это не офф документы из какого-нибудь ЕГРЮЛ где всё жестко а формы юзерами заполненные, получается как есть
источник