MB
у меня CDH, на нём репликация настроена. И она снепшоты делает но не чистит иногда, почемуто
Size: a a a
2020 March 24
MB
не нашёл как посмотреть еще размер снапшотов
S
в .snapshots лежат директории снепшотов
найди нужную тебе директорию и сделай ду на нее
найди нужную тебе директорию и сделай ду на нее
А
У тебя строго определенная структура файла?
В каком плане? Количество значений в строках csv-файла вроде одинаковое
M
hdfs dfs -ls не показывает ничего
а если
hdfs -ls -a?M
хотя хадуп вроде не скрывает папки вообще
MB
Разобрался...
MB
snapshots
MB
директория снапшотилась, а файлы в процессе удалились
FL
Коллеги, вопрос на миллион.
Я правильно понимаю, что вот это - богом забытый бенчмарк, а в его топе древние сабмиты из прошлого десятилетия?
http://www.tpc.org/tpcc/results/tpcc_advanced_sort5.asp?PRINTVER=false&FLTCOL1=c_cluster&FLTCOLOPR1=EXACTLY&FLTCHO1=Y&FLTFREEFRM1=off&ADDFILTERROW=&filterRowCount=1&SRTCOL1=c_tpmc&SRTDIR1=DESC&ADDSORTROW=&sortRowCount=1&DISPRES=100+PERCENT&include_withdrawn_results=none&include_historic_results=yes
Я правильно понимаю, что вот это - богом забытый бенчмарк, а в его топе древние сабмиты из прошлого десятилетия?
http://www.tpc.org/tpcc/results/tpcc_advanced_sort5.asp?PRINTVER=false&FLTCOL1=c_cluster&FLTCOLOPR1=EXACTLY&FLTCHO1=Y&FLTFREEFRM1=off&ADDFILTERROW=&filterRowCount=1&SRTCOL1=c_tpmc&SRTDIR1=DESC&ADDSORTROW=&sortRowCount=1&DISPRES=100+PERCENT&include_withdrawn_results=none&include_historic_results=yes
FL
(ну, кроме первого, он свеженький)
GP
Судя по датам - да)
АЖ
Коллеги, вопрос на миллион.
Я правильно понимаю, что вот это - богом забытый бенчмарк, а в его топе древние сабмиты из прошлого десятилетия?
http://www.tpc.org/tpcc/results/tpcc_advanced_sort5.asp?PRINTVER=false&FLTCOL1=c_cluster&FLTCOLOPR1=EXACTLY&FLTCHO1=Y&FLTFREEFRM1=off&ADDFILTERROW=&filterRowCount=1&SRTCOL1=c_tpmc&SRTDIR1=DESC&ADDSORTROW=&sortRowCount=1&DISPRES=100+PERCENT&include_withdrawn_results=none&include_historic_results=yes
Я правильно понимаю, что вот это - богом забытый бенчмарк, а в его топе древние сабмиты из прошлого десятилетия?
http://www.tpc.org/tpcc/results/tpcc_advanced_sort5.asp?PRINTVER=false&FLTCOL1=c_cluster&FLTCOLOPR1=EXACTLY&FLTCHO1=Y&FLTFREEFRM1=off&ADDFILTERROW=&filterRowCount=1&SRTCOL1=c_tpmc&SRTDIR1=DESC&ADDSORTROW=&sortRowCount=1&DISPRES=100+PERCENT&include_withdrawn_results=none&include_historic_results=yes
я обычно ищу методологии и делаю сам на своей инфре бенчи
потому что два бенча как две статистики
потому что два бенча как две статистики
FL
Ну это чисто пузомерка
FL
Но какая-то древняя как смерть
A
почему древняя =) вон аликлауд засабмитил пол года назад резалты =)
YI
В каком плане? Количество значений в строках csv-файла вроде одинаковое
Я про делиметеры и символы перевода строк, в частности. Еще неплохо бы в кавычки взять текст и привести дату к единому формату
А
Я про делиметеры и символы перевода строк, в частности. Еще неплохо бы в кавычки взять текст и привести дату к единому формату
С датами была небольшая проблема, они были в неправильном формате, но дело, скорее всего, было не в этом.
Получилось по предыдущему совету - сначала записать в экстернал таблицу (причем непартиционированную), потом уже перегнать в интернал с партициями.
При загрузке в экстернал хайв не ругался, при попытке повторить напрямую лоад в интернал - null pointer exception.
Получилось по предыдущему совету - сначала записать в экстернал таблицу (причем непартиционированную), потом уже перегнать в интернал с партициями.
При загрузке в экстернал хайв не ругался, при попытке повторить напрямую лоад в интернал - null pointer exception.
А
В общем, спасибо большое, буду знать)
D
Случилась беда: когда добавила отмеченный на картинке jar-path, spark в Zeppelin сломался совсем;
Ошибка:
Но после удаления данной jar-path и перезапуска интерпретатора и даже всего сервиса Zeppelin ошибка сохранилась
Ошибка:
org.apache.zeppelin.interpreter.InterpreterException: org.apache.zeppelin.interpreter.InterpreterException: Fail to open SparkInterpreterНо после удаления данной jar-path и перезапуска интерпретатора и даже всего сервиса Zeppelin ошибка сохранилась