N
его похоже hive как-то сам локально стартует, я пока не понял как
Size: a a a
2021 April 30
GP
ну вот и ответ)
GP
локальный спарк
GP
чего ему в ярне делать эсли он локальный
AE
Spark engine получается используется? Запросы какого характера? Сделайте explain для квери, если там только fetchtask то hive даже execution engine стартовать не будет и читает данные напрямую из стораджа. Это поведение настраивается через hive.fetch.task.conversion параметр
N
не, там осмысленное что-то
Р
Я правильно понимаю, что если я юзаю pyspark, то сабмитить не нужно?
GP
как ты к такому выводу пришел?
N
Почему не нужно? А как ты на спарк свое приложение запустишь?
ME
python main.py 😁N
Только если ты в интерактивной какой-то шняге сидишь, типа цеппелин или консольный пуспарк. Тогла они за тебя сабмитят.
Р
Понял, спасибо
Р
Хотя я как раз и использую консольный
Р
N
Жупитор ещё можно примандить или в пучарм настроить ремоут интерпретер
N
И грузи свои цсвшки в тупандас
Р
Почему тогда такое может быть?
N
А че за скедулер? Кто ресурсы выдаёт джобам?