t
Size: a a a
2021 October 22
NN
GP
Больше всего нравится секция с адвантажами
GP
но вообще конечно челикам которые все на питонах делают было бы проще из среды не вылезать
GP
А
Какие сейчас существуют работающие корректоры spark-hbase? Тот что от апача работает со Спарком не старше 1.6(когда уже существует spark3). Тот что от хортонворкс, последний коммит 4 года назад. Неужели hbase настолько уже древний ?
N
Неправда, на гитхабе в апач коннекторе есть ветки под разные версии. Сходу он не собирается, надо попотеть. Мы собрали по спарк 2.4.5 на 2.11.
А
Спасибо за совет, посмотрю. У меня как раз 2.11 и хочется подружить с pyspark+Kerberos. Вторую неделю батхерд
N
Ну как мы. @ssheremeta потел.
А
Тут вроде знаешь питон, все вроде норм. Но Спарк на скале.. вроде бы приемлемо… но и hbase на джаве -> зоопарк, и горящий стул
N
Кому сейчас легко.
GP
я так понимаю только это https://github.com/apache/hbase-connectors/blob/master/spark/pom.xml
опенсорс ж обнови под нужный спарк
или собери для себя
mvn -Dspark.version=3.0.1 -Dscala.version=2.12.10 -Dscala.binary.version=2.12 -Dhbase.version=2.2.4 -Dhadoop.profile=3.0 -Dhadoop-three.version=3.2.0 -DskipTests -Dcheckstyle.skip -U clean package _должно работать_
опенсорс ж обнови под нужный спарк
или собери для себя
mvn -Dspark.version=3.0.1 -Dscala.version=2.12.10 -Dscala.binary.version=2.12 -Dhbase.version=2.2.4 -Dhadoop.profile=3.0 -Dhadoop-three.version=3.2.0 -DskipTests -Dcheckstyle.skip -U clean package _должно работать_
А
Для начала как умеем - map на Python(либо pyspark), reduce, пишущий в hbase на java. Итог-mapreduce в 2021 году. Но коммон, spark технология будущего, должно быть 100500 разных коннекторов, а их всего 2, и то, многие ответы на форумах датированы 2017 годом. Значит люди могут, умеют. Но мы же разрабы, кто захочет делиться опытом
А
Есть советы какой механизм лучше использовать в связке parquet-> hbase?
А
Спасибо, разведуем в пн, надеюсь соберётся, без зависимостей-зависимостей, который уже не поддерживаются))
GP
это жава
классика торчать в завсимостях столетей давности
классика торчать в завсимостях столетей давности
GP
то что слуилось после ждк11 это отклонение от обычной нормы так было не всегда
до этого было столько лет ‘великого ничего'
до этого было столько лет ‘великого ничего'
2021 October 23
CO
Всем привет, может кто стыкался, а как возможно переименовать файл (json), который формируется в AWS Glue
не могу понять документацию хоть ты тресни ((
не могу понять документацию хоть ты тресни ((
МК
Всем привет! Подскажите, как оптимальнее решить задачу по поиску слова в колонке с текстом? При чем текст может состоять как из 100 слов, так и из 50 000.
Решать просто через contains/like? Или лучше попробовать udf сочинить? Поможет ли вначале текст разбить на отдельные слова и искать по списку?
Решать просто через contains/like? Или лучше попробовать udf сочинить? Поможет ли вначале текст разбить на отдельные слова и искать по списку?
k
уже пробовали все эти разные подходы на локальном спарке потестить и замерить время исполнения?