dz
спасибо. я пока с airflow работаю. думаю в какую сторону лучше двигаться. Задачи в основном связаны с postgre, python.
Size: a a a
2021 July 14
S
В любом случае столкнешься с распределенными файловыми системами
ES
Job job_1602972439113_34911 failed with state FAILED due to: Job setup failed : org.apache.hadoop.security.AccessControlException: Permission denied: user=acn2021q3_semevsky, access=WRITE, inode="/":hdfs:hdfs:drwxr-xr-x
ES
В чем ошибка может быть ?
ES
#!/usr/bin/env bash
set +x
HADOOP_STREAMING_JAR=/usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming.jar
INPUT_PATH=/data/ids_part
OUT_PATH=~/stdout/
hdfs dfs -rm -r -skipTrash $OUT_PATH
yarn jar $HADOOP_STREAMING_JAR \
-files map.py \
-mapper 'python3 map.py' \
-input $INPUT_PATH \
-output $OUT_PATH
~
~
~
~
~
~
~
~
set +x
HADOOP_STREAMING_JAR=/usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming.jar
INPUT_PATH=/data/ids_part
OUT_PATH=~/stdout/
hdfs dfs -rm -r -skipTrash $OUT_PATH
yarn jar $HADOOP_STREAMING_JAR \
-files map.py \
-mapper 'python3 map.py' \
-input $INPUT_PATH \
-output $OUT_PATH
~
~
~
~
~
~
~
~
dz
нет акцесса на запись у юзера
ES
Мне кажется он егов вкорень просит
SK
у вас 755 на корне,пробуйте либо накидывать конкретному юзеру права либо добавлять юзера в группу пользователей имеющих право на запись
ES
Так а можно чтобы он в корень ничего не писал
ES
Я просто в конфигурации этого не вижу, может я не дописал что
SK
в OUT_PATH у вас указан какой то относительный путь?
ES
Да, в домашнюю директорию
SK
а она точно уже существует?
ES
Да, существует
ES
Но он пишет что нет
ES
Заработало, когда я поменял относительный путь на просто папку
DS
Подниму ещё раз свой вопрос, надеюсь, за это сильно не бьют)
N
ну сделайте для начала из спарка простой ls этой папки. что там есть посмотреть.
N
Это путь в hdfs?
DS
Это просто путь в файловой системе