Size: a a a

2021 October 13

AZ

Anton Zadorozhniy in Data Engineers
он по проценту capacity распределяет
источник

D

Dmitry in Data Engineers
не понял ответ
источник

MZ

Mikhail Zotov in Data Engineers
Привет, а кто-нибудь ускорял скорость вставки в постгрес?) Мы пока думаем о добавлении партиций. еще чего-то толкового пока не приходит. табличка на 125 млн записей. Подскажите, пожалуйста, если кто прокапывал подобное:)
источник

ЕГ

Евгений Глотов... in Data Engineers
Может констрейнт какой висит на таблицу?
источник

AZ

Anton Zadorozhniy in Data Engineers
он перемещает данные пока процент использования диска между самой загруженной и самой пустой нодой больше чем порог (10% по умолчанию)
источник

D

Dmitry in Data Engineers
ну да, в этом и проблема, т.к. на хитрой ноде отобрали почти все место у hdfs. а при активации роли гад распределяет больше чем влезает.
ну да ладно, админы вроде справились, у них поспрашиваю как
источник

MZ

Mikhail Zotov in Data Engineers
1 пк, 2 фк, 1 один чекер
источник

ЕГ

Евгений Глотов... in Data Engineers
Попробуйте лить в чистую таблицу, а потом уже копировать данные в эту одним куском
источник

AZ

Anton Zadorozhniy in Data Engineers
если нужно было бы отобрать место я бы делал декомиссию ноды, потом добавлял обратно как пустую, и в следующий пробег балансировщика она бы получила меньше данных чем остальные
источник

КД

Кирилл Дикалин... in Data Engineers
Всем привет!
Кто-то может подсказать как найти первую работу в de? Может быть свой путь вкратце.
Вакансий на джун/стажёр ds пруд пруди, а на джун de что-то не нашёл.
Вакансии на de смотрю, по всем требованиям подхожу, но часто указывают опыт работы в разработке чего-либо. Тут и пет проектов не поделать как в саенсе. А заинтересовало именно это направление, хотелось бы в нем уже основательно развиваться )
источник

T

T in Data Engineers
Тебе вот сюда @datajobs
источник

ЕГ

Евгений Глотов... in Data Engineers
Можно поделать, берёшь парсишь какой-нибудь егрюл егрип
источник

КД

Кирилл Дикалин... in Data Engineers
Спасибо, гляну!
источник

B

BadRat in Data Engineers
ФИАС. С обновлением дельтами. Там и почистить много прийдется и разобраться с видом териториального деления Чувашия
источник

B

BadRat in Data Engineers
И задачка со звёздочкой поднять координаты для адресов из карт каких-нибудь
источник

ЕГ

Евгений Глотов... in Data Engineers
источник

ЕГ

Евгений Глотов... in Data Engineers
А есть с бесплатными апишками?
источник

B

BadRat in Data Engineers
Яндекс же даёт сколько-то адресов в день бесплатно?
источник

ПФ

Паша Финкельштейн... in Data Engineers
У меня было 10 лет работы в джаве и я внутри компании перешёл из джавового тимлида в линейного дата инжира
источник

KL

Kuzma Le in Data Engineers
какие были аргументы?
источник