к нам, ковырять бигдату

а откуда ты?

К вам - это к кому? И почему именно студентов?

студентов для прохождения практики в том числе ) потому что студентам нужно проходить практику, а её у нас много. к нам - это к нам. кто мы и откуда мы - это вопросы, которые интересуют не только нас самих, но и каждого человека. откуда мы пришли, куда идём.. вы действительно хотите об этом поговорить? 😊

ты можешь просто ответить, где ты работаешь?

Да чтоб вам студенты о проделаной работе так отчитывались, как вы на вопросы отвечаете

мне что-то подсказывает внутри, что название организации мало что скажет. это не яндекс, и даже не гугл.

пусть будет, например, Datalab Inc. )

Кста, разобрались в проблеме с flume  )

Круты

Как?

перечитали логи, перекопали жиру, заглянули в исходники.

Flume попытался создать файлик, по каким то причинам машина в этот момент была перегружена. Взять лизу на namenode получилось, но при попытке приконнектится к дата нодам к 2м из 3х он получил отказ. Записал блок тока на одну ноду, потом побежал говорить об этом в нейм ноду, и попытался начать запись.
В этот момент другой тред флюма обнаружил что файлик underreplicated и попытался закрыть его.
На вызове close происходит fsync который также стучится в нейм ноды и фейлится после 4х попыток.
В доке flume есть настроечка про ретраи закрытия в которой написано Number of times the sink must try renaming a file, after initiating a close attempt. If set to 1, this sink will not re-try a failed rename (due to, for example, NameNode or DataNode failure), and may leave the file in an open state with a .tmp extension. If set to 0, the sink will try to rename the file until the file is eventually renamed (there is no limit on the number of times it would try). The file may still remain open if the close call fails but the data will be intact and in this case, the file will be closed only after a Flume restart. В результате через 3 минуты, он ок ренеймит файл. Но походу close остается висеть.
и рестарт флюма конечно не помогает

чем открыть гиговый xml?

под виндой

можно vi поставить и открыть

о, точняк

Sublime Text

он вроде не открывает большие