R
вот тут рассказывал - https://www.youtube.com/watch?v=gBq5XarMhfM&feature=youtu.be
Size: a a a
2021 December 08
N
mv это атомарная операция в HDFS, мы тут это как-то выясняли с год назад. так что ситуация когда возвращается пусто невозможна в моем понимании.
N
а вот файлнотэкзист эксепшон наверняка будет. потому что между чтением метаинформации о файлах и их реальным чтением в процессе исполнения они заменятся на другие
РП
Либо на этой неделе, либо в начале следующей. Как раз будем это тестировать + "соление данных". Приду отпишусь от результатах.
MV
Спасибо
AS
вроде наоборот, выяснили что атомарная, и это не понятно почему в доках датабрикса висит как не атомарная
k
можно линк на доку? в hdfs - mv - это просто rename, насколько я помню. но в aws s3 rename префикса будет перемещать файлы по-настоящему, и может упасть посередине
AS
нет, тут уже в исходники смотрели, поиск может помочь
2021 December 09
A
@kvadratura
И дальше обсуждение со ссылками на неймсервер hdfs, где ренейм делает под локом работу с метаданными
И дальше обсуждение со ссылками на неймсервер hdfs, где ренейм делает под локом работу с метаданными
I
добрый день, есть ли какие то решения для автоматического апдейта таблицы с курсами валют в mysql? через airflow может? где почитать можно?
S
Для какого провайдера? Почти все дают свое апи, скрипт опроса которого и кладётся в аф
k
спасибо, нашел
k
спасибо
I
да пока не определился для какого, просто курсы нужно usd и евро, хотя бы раз в день складировать. вот такое вот нашел - https://tech.marksblogg.com/airflow-postgres-redis-forex.html как думаете сработает?
S
в ецб раз в день выкладывают хмл с основными парами. если не нужна экзотика, то этого хмля за глаза
SK
Привет 👋
Что за глюк может быть, в ui (в web) hadoop отображается одинаковое имя одного из datanode, он же namenode
Всего 6 datanode и и эта, с одинаковым именем в разделе как LostNode - потерянная..? Бред какой-то
Что за глюк может быть, в ui (в web) hadoop отображается одинаковое имя одного из datanode, он же namenode
Всего 6 datanode и и эта, с одинаковым именем в разделе как LostNode - потерянная..? Бред какой-то
SK
+ и останавливается через:
kill - 9, если через общий скрипт stop-all.sh.
kill - 9, если через общий скрипт stop-all.sh.
DS
Выглядит как огромное усложнение (автор занимается консалтингом, видимо сложностью решения рекламирует что он умеет).
Airflow либо Cron + скрипт который в случае ошибки получения курса с одного сайта, берет со второго. Если совсем надежное решение нужно, то можно запрашивать по очереди курс от 3 сайтов.
Airflow либо Cron + скрипт который в случае ошибки получения курса с одного сайта, берет со второго. Если совсем надежное решение нужно, то можно запрашивать по очереди курс от 3 сайтов.
D
А какое там усожнение то? Просто airflow
Б
Эйрфлоу для того что бы с Апишки забрать xml и распарсить.