Size: a a a

2019 July 15

神風 in Data Engineers
Alex
Если бы вы задали поинт как строку с символами-байтами 0x31 0x30 0x31 0x31 то тогда опять бы работало :)
Спасибо)
источник

神風 in Data Engineers
Понял. То есть когда я задаю поинт как строку '1011' он её конвертит
источник

A

Alex in Data Engineers
Да
источник

神風 in Data Engineers
Поэтому и работает.
источник

A

Alex in Data Engineers
Можете открыть реализацию метода и посмотреть что внутри все в byte[] перегоняется, строка на вход лишь для удобства разработчиков
источник

OI

Oleg Ilinsky in Data Engineers
Привет!
Вопрос) есть HBase на hdp3. Поднимается норм, без ошибок, но при попытке что-нибудь сделать, валится после таймаута с ошибкой
ERROR: org.apache.hadoop.hbase.NotServingRegionException: hbase:meta,,1 is not online on datanode3:16020

В том числе при попытке сделать hbase service check в амбари.
На самой datanode3 всё ок, порт 16020 слушается regionserver'ом.
Кто-нибудь знает, что можно делать? Ну или куда копать? (уже пробовал сносить, ставить заново hbase с удалением файлов, удалял снапшоты зукипера и т.п.)
источник

A

Alex in Data Engineers
Похоже на то что мастера не открыты
источник

OI

Oleg Ilinsky in Data Engineers
Alex
Похоже на то что мастера не открыты
в смысле сеть?
источник

A

Alex in Data Engineers
В смысле старта нули не факт что корректно, посмотрите логи в мастерах
источник

A

Alex in Data Engineers
И потом лог на том сервере где откроется мета
источник

DP

Dumitru Preguza in Data Engineers
Здраствуйте, есть что то по лучше spark-kafka-writer что бы записать из spark в kafka ? Там просто обертка над нашим текущем решением
- spark 2.1.0
- kafka 2.1.0
источник

OI

Oleg Ilinsky in Data Engineers
Alex
В смысле старта нули не факт что корректно, посмотрите логи в мастерах
Чёт ошибок не нашел нигде... Т.е. в логах самого hbase всё ок, но падает при попытке что-то сделать
источник

A

Alex in Data Engineers
Вывели список таблиц и проверить их статус онлайн или нет
источник

OI

Oleg Ilinsky in Data Engineers
Alex
Вывели список таблиц и проверить их статус онлайн или нет
hbase(main):003:0> list
TABLE
0 row(s)
Took 0.1646 seconds
=> []
источник

OI

Oleg Ilinsky in Data Engineers
я пока не создал ничего
источник

A

Alex in Data Engineers
hbck
источник

A

Alex in Data Engineers
Что говорит?
источник

OI

Oleg Ilinsky in Data Engineers
сначала здоровенный лог зукипера, в нём всё ок вроде

2019-07-15 16:02:29,481 INFO  [main] util.HBaseFsck: Validating mapping using HDFS state
Number of live region servers: 4
Number of dead region servers: 23
Master: dl-prod-master-1,16000,1563204674388
Number of backup masters: 0
Average load: 0.0
Number of requests: 0
Number of regions: 0
Number of regions in transition: 0
2019-07-15 16:02:33,962 INFO  [main] client.RpcRetryingCallerImpl: Call exception, tries=6, retries=36, started=4235 ms ago, cancelled=false, msg=org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
источник

OI

Oleg Ilinsky in Data Engineers
потом выводит region серверы, мастер и падает с ошибкой Master is initializing
источник

ДС

Динар Садыков in Data Engineers
Можно ли как-то к colab google CPU цеплять colab GPU + colab TPU, и тут два применения:
1) распределить нагрузку TF между ними?
2) из CPU окна запускать код повторно на GPU/TPU после краша из-за нехватки памяти.
Доступ по ssh через туннель уже работает со статьи на хабре, как дальше устроить 🤔
источник