rG
да я последние дни осознаю сколько тонкостей всяких) .. вот даже просто скачать спарком csv, это уже не так как у всех..
Был я вот тут:
https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html
Size: a a a
2021 November 18
rG
смотрю:
jdbcDF.write \
.format("jdbc") \
.option("url", "jdbc:postgresql:dbserver") \
.option("dbtable", "schema.tablename") \
.option("user", "username") \
.option("password", "password") \
.save()
jdbcDF.write \
.format("jdbc") \
.option("url", "jdbc:postgresql:dbserver") \
.option("dbtable", "schema.tablename") \
.option("user", "username") \
.option("password", "password") \
.save()
rG
подумал что мой вариант, переделал:
rG
df.write \
.format("jdbc") \
.option("url", f"jdbc:postgresql://{host}:{port}/{db_name}") \
.option("dbtable", f"{schema_write}.{table_name}") \
.option("user", f"{username}") \
.option("password", f"{password}") \
.option("driver", 'org.postgresql.Driver') \
.save()
.format("jdbc") \
.option("url", f"jdbc:postgresql://{host}:{port}/{db_name}") \
.option("dbtable", f"{schema_write}.{table_name}") \
.option("user", f"{username}") \
.option("password", f"{password}") \
.option("driver", 'org.postgresql.Driver') \
.save()
rG
но я не уверен прям во всех переделках.. имя схемы? имя таблицы? всё на местах?
rG
спасибо, кажется надо файлик пересобрать.. новая ошибка на это намекает. глазами найти не смогли %(
AP
Самое простое - посмотреть запрос со стороны БД который приходит и станет ясно что не так.
AP
Залей в локальный постгрес что в докере поднять можно за примерно 5 секунд да и все.
2021 November 19
rG
так у меня в облаках постгрес поднят, я там губу уже раскатал, чтоб туда сохранять) но Александру моя идея походу не понравилась) а локально у меня аирфлоу с постгресом собраны.. я бы умел постгресом пользоваться ещё О_о
rG
я установил там в юпитерхабе пайспарк.. ошибку эту же словил.. теперь не понятно как подойти к посгресу) который там стоит.. как создавать схему я не знаю.. только табличку в сехме проходил)
rG
Всё получилось)
надо было вот так
.option("dbtable", f"public.{table_name}") \
а я туда опять схему передавал..
надо было вот так
.option("dbtable", f"public.{table_name}") \
а я туда опять схему передавал..
MD
где вы увидели вопрос?
2021 November 20
МК
коллеги-специалисты, такой вопрос: спарк стриминг (DStream), файловый источник. Где спарк хранит информацию об уже обработанных файлах? Как сделать так, чтобы он повторно обработал файлы?
Код ниже приведу (там три строки), результат - еще ниже
Код ниже приведу (там три строки), результат - еще ниже
МК
код:
sc = SparkContext("local[2]", "NetworkWordCount")
ssc = StreamingContext(sc, 10)
lines = ssc.textFileStream("/tmp/file_stream.source")
lines.pprint()
ssc.start()
ssc.awaitTermination()
sc = SparkContext("local[2]", "NetworkWordCount")
ssc = StreamingContext(sc, 10)
lines = ssc.textFileStream("/tmp/file_stream.source")
lines.pprint()
ssc.start()
ssc.awaitTermination()
МК
файлы - в HDFS
МК
спарк 2.4.0
МК
вчера положил два файла в директорию, они были обработаны
МК
остановил приложение (CTRL+C, запускал спарк-сабмитом)
МК
сегодня после запуска файлы не обрабатываются