В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1712 membersпожаловаться на группу
2020 January 20

EV

Eduard Vlasov in Data Engineers
Egor Mateshuk
допустим, считаем мы какие-то действия посетителя на сайте (допустим, пытаемся понять, не мошенник ли он) на протяжении некоторого времени. человек уходит, а накопленная по нему инфа остается в стейте флинка. чтобы постепенно освобождать память, есть TTL, по которому стейт можно чистить. у нас просто было пару случаев, когда народ забывал его воткнуть и стейт начинал медленно, но верно расти, сжирая память и усложняя чекпойнтинг
а, это видел, да, спасибо https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/state/state.html#state-time-to-live-ttl
источник
16:46пожаловаться#1

SK

Sergej Khakhulin in Data Engineers
Еще вопрос, а ктонибудь умудрялся derby заставить сохраняться в s3a? 
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:derby:;databaseName=s3a://shared/metastore_db/;create=true</value> 
</property>
выдает 
ERROR 08001: No suitable driver found for jdbc:derby:;databaseName=s3a://shared/metastore_db/;create=true
источник
18:12пожаловаться#2

A

Alex in Data Engineers
А так можно? S3 же объектное хранилище, а дерби часто inplace обновляет записи, что s3 не поддерживает
источник
18:14пожаловаться#3

Н

Никита in Data Engineers
Никто не встречал ошибку в спарке/хадупе
Caused by: java.io.IOException: Failed to connect to 609e325b95e0:45121
Caused by: java.net.UnknownHostException: 609e325b95e0
источник
18:23пожаловаться#4

DZ

Dmitry Zuev in Data Engineers
встречал
источник
18:23пожаловаться#5

DZ

Dmitry Zuev in Data Engineers
и не такую встречал
источник
18:23пожаловаться#6

A

Alex in Data Engineers
Ipv6?
источник
18:23пожаловаться#7

Н

Никита in Data Engineers
мне просто непонятно что это за хэш такой и откуда он берется и как это побороть
источник
18:24пожаловаться#8

Н

Никита in Data Engineers
я просто хочу request сделать на хост из внутренней сети, с ноды можно курл написать и с мастера
источник
18:24пожаловаться#9

Н

Никита in Data Engineers
мне стоит задуматься об этом да
Apache Hadoop is not currently supported on IPv6 networks. It has only been tested and developed on IPv4 stacks. Hadoop needs IPv4 to work, and only IPv4 clients can talk to the cluster.If your organisation moves to IPv6 only, you will encounter problems.
источник
18:28пожаловаться#10

A

Alex in Data Engineers
А где спарк развернут? В кубике каком?
источник
18:29пожаловаться#11

Н

Никита in Data Engineers
не, у меня cloudera 6.3
источник
18:30пожаловаться#12

A

Alex in Data Engineers
На бареметал?
источник
18:31пожаловаться#13

GP

Grigory Pomadchin in Data Engineers
похоже конечно на имена контейнеров
источник
18:31пожаловаться#14

Н

Никита in Data Engineers
Alex
На бареметал?
да
источник
18:36пожаловаться#15

A

Alex in Data Engineers
@pomadchin уже интересней, ждём @zuynew
источник
18:36пожаловаться#16

DZ

Dmitry Zuev in Data Engineers
Никита
не, у меня cloudera 6.3
тут я пас
источник
18:39пожаловаться#17

Н

Никита in Data Engineers
а я сообразил...я пытаюсь делать сабмиты на кластер yarn из докер-контейнера и это и есть тот самый адрес
извините.....................................
источник
18:43пожаловаться#18

I

I Апрельский in Data Engineers
Tsh Tsh
Попса
А что не попса?)
источник
21:19пожаловаться#19
2020 January 21

MB

Mikhail Butalin in Data Engineers
Интересно, у всех ambari metrics collector жрёт память по конски. или я такой счастливый один...
источник
11:14пожаловаться#20