RG
Есть пример как его правильно прописать?
Size: a a a
2021 December 06
VS
В документации по докер вагон примеров
A
docker run -v local_path:container_path
RO
Привет. Может ли кто подсказать по Спарку (scala). Хочу дата фрейм, созданный из Seq элементов, застримить на кафка топик. Ловлю ошибку, что запись возможно только из стримового источника. Т.е. df = Seq(human1, humanN).toDF.writeStream не работает. Нагуглил, что нужен стрим контекст но не могу найти внятного примера
RG
У меня контейнеры через docker compose up поднимаются
A
значит в разделе volumes docker-compose.yml:)
RG
Там стояли пути ./dags:/opt/folder1 - все работает
Хотим получить доступ к папке которая на сервере лежит на уровень выше, пишем:
../FolderName:/opt/Folder2 - не работает
Хотим получить доступ к папке которая на сервере лежит на уровень выше, пишем:
../FolderName:/opt/Folder2 - не работает
AK
это pyspark, беру колонки в цикле из old_df. Из col_cur вычитаю col и в new_df[delta_col] сохраняю
SI
лично я не понял вопрос, можно чуть подробнее?
AK
это pyspark, беру колонки в цикле из old_df. Из col_cur вычитаю col и в new_df[delta_col] сохраняю
AK
случайно изменил сообщение
AK
old_df = new_df.withColumn(delta_col, new_df[col_cur]-new_df[col])
SI
это выглядит ок, а где здесь, собственно, цикл?
SI
вопрос все еще не ясен
AK
сек
ДД
Что пишет?
ДД
Предлагаю, что билд контекст неправильно указан, но лучше бы посмотреть что за ошибка
RG
Решили, надо было пересобрать, а мы рестартили
АР
в спарке теперь есть джава 17
https://github.com/apache/spark/pull/34722
https://github.com/apache/spark/pull/34722
АР
правда неизвестно, с какого релиза