S
нет (
кое-кто не захотел приехать
в канале найфай спроси
очень много таких
кое-кто не захотел приехать
в канале найфай спроси
очень много таких
Size: a a a
2020 March 05
S
думаю чем грузить с фтп консистентно много данных
курлом конечно, проверяя мд5 )
K
а скедулите как
K
и следите что все перекачалось и прочие радости
AS
очень похоже, скорость закрытия блокеров поражает
S
и следите что все перекачалось и прочие радости
тут не зависит от найфая
1) сначала снять список всех файлов, поток выкачать новое из этого списка
2) реализовать перемещение заказченного на локальных фс, если ты можешь это делать на стороне сервера или ты и есть сервер
1) сначала снять список всех файлов, поток выкачать новое из этого списка
2) реализовать перемещение заказченного на локальных фс, если ты можешь это делать на стороне сервера или ты и есть сервер
K
тут не зависит от найфая
1) сначала снять список всех файлов, поток выкачать новое из этого списка
2) реализовать перемещение заказченного на локальных фс, если ты можешь это делать на стороне сервера или ты и есть сервер
1) сначала снять список всех файлов, поток выкачать новое из этого списка
2) реализовать перемещение заказченного на локальных фс, если ты можешь это делать на стороне сервера или ты и есть сервер
дая мног раз такуюштуку в жизни делал
K
но типа каждый раз как первый
K
хочется что-то технологиччное
S
да вся бигдата - это греп, курл и авк
куда уж технологичнее
куда уж технологичнее
AS
вы как-то решили эту проблему или просто лучше меня гуглите?
SS
да вся бигдата - это греп, курл и авк
куда уж технологичнее
куда уж технологичнее
ДА!!! вот ДА!
S
вы как-то решили эту проблему или просто лучше меня гуглите?
лучше гуглю
обрабатываю без джойнов
а какой-нибудь хак типа кеширования дф не позволяет обойти?
обрабатываю без джойнов
а какой-нибудь хак типа кеширования дф не позволяет обойти?
K
оч грустно
AS
лучше гуглю
обрабатываю без джойнов
а какой-нибудь хак типа кеширования дф не позволяет обойти?
обрабатываю без джойнов
а какой-нибудь хак типа кеширования дф не позволяет обойти?
без джойна не вариант, я конечно могу устроить закат солнца вручную через map, буду думать, вообщем спасибо
S
без джойна не вариант, я конечно могу устроить закат солнца вручную через map, буду думать, вообщем спасибо
с джойном, но заставить не прокидываться пушдаун в хбейз
AS
с джойном, но заставить не прокидываться пушдаун в хбейз
Это как?
S
Это как?
закешировать датафрейм в память перед джойном
чтобы сначала прошло считывание
а потом джойн
а не попытка оптимизации с пробросом на сторону хбейза
чтобы сначала прошло считывание
а потом джойн
а не попытка оптимизации с пробросом на сторону хбейза
AS
Таблицу hbase не скачать всю, слишком много
S
а фильтр на нее работает?