N
Его не я использую. Его использует процессинговая система.
Size: a a a
2020 February 20
N
А я только данные из нее в реплику получаю.
AZ
А почему им не читать тогда же?
N
А если не секрет зачем вы вообще Финикс используете? Напрямик будет быстрее, надежнее и гибче
Быстрее и надежнее, но сложнее. Поэтому, видимо, мои визави в какой-то момент решили , что быстрее будет обмазаться jdbcTemplate-ами и так жить. Хотя это только предположение, может еще какие-то консерны были.
N
А почему им не читать тогда же?
Потому что нужно выделять инкремент по системному тайстампу. Его вытащить в феникс в этой версии невозможно, а в следующих крайне геморройно и с большими ограничениями.
AZ
Ясно, соболезную
AZ
Это будет очень secure job, бежать за тем что там создатели Финикса напридумывали и разбирать за ними
AZ
И неблагодарная работа
N
Сейчас приходится упражняться с CopyTable map-reduce, который умеет в таймстампы. Вот чтобы попробовать от него избавиться я и пилю RowMapper, который данные из скана распирожит в человеческий вид.
N
Это будет очень secure job, бежать за тем что там создатели Финикса напридумывали и разбирать за ними
Так я их же методы и использую в декодировании. Не свои же писать.
AB
Я сейчас обратную задачу решаю, как прочитать из hbase написанное фениксом. Строки читаются на ура, числа как-то нестабильно. Нихрена непонятно, что за оффсет используется во всех методах. Если кто понимает-заделитесь.
феникс инвертирует знаковый бит что бы числа могли быть отсортированы в лексикографическом порядке корректно
AB
INTEGER Mapped to java.lang.Integer. The binary representation is a 4 byte integer with the sign bit flipped (so that negative values sorts before positive values).AB
BIGINT Mapped to java.lang.Long. The binary representation is an 8 byte long with the sign bit flipped (so that negative values sorts before positive values).AB
2020 February 21
N
Я сейчас обратную задачу решаю, как прочитать из hbase написанное фениксом. Строки читаются на ура, числа как-то нестабильно. Нихрена непонятно, что за оффсет используется во всех методах. Если кто понимает-заделитесь.
AZ
Господа хорошие, а у кого много коллег питонистов и джавистов/скалистов пишут под датафлоу, вы где-то видели или делали системное сравнение по производительности этих двух СДК?
PA
У меня на пайтоне. Сравнения не делал
O
Прочитал дискуссию выше по поводу параллельного обучения моделей с максимальной утилизацией, а чем плох вариант вызывать в udf model.fit(), позаботившись предварительно, чтобы данные были локально на ноде с экзекутором?
N
Nikolay
Благодарочка.
BK
Почему если хочешь использовать spark-avro, то нужно его подключать через --packages ?