A
ответ от разрабов самого флинка
Size: a a a
2021 January 22
RK
ответ от разрабов самого флинка
спасибо Alex, попробую
A
https://flink.apache.org/news/2020/04/15/flink-serialization-tuning-vol-1.html#avro
по этой линке из письма и описано почему переключается на крио
Without this type information, Flink will fall back to Kryo for serialization which would serialize the schema into every record, over and over again. As a result, the serialized form will be bigger and more costly to create.
что .returns(new GenericRecordAvroTypeInfo(schema)); обязателен
по этой линке из письма и описано почему переключается на крио
Without this type information, Flink will fall back to Kryo for serialization which would serialize the schema into every record, over and over again. As a result, the serialized form will be bigger and more costly to create.
что .returns(new GenericRecordAvroTypeInfo(schema)); обязателен
A
ну и отдельно как уже было сказано пересечение авро и крио вызывает баг =(
GP
жоско
A
ну баги с крио на некоторых классах коллекций я ловил и до этого
A
если в объекте был Map без реализации, то он на десериализации пытался сразу EmptyMap создать, а потом уже добавлять что-то и конечно падал
RK
Так, если я просто добавляю
.returns(new GenericRecordAvroTypeInfo(schema)) в конец, то получаюRK
value returns is not a member of org.apache.flink.streaming.api.scala.DataStream[org.apache.avro.generic.GenericRecord]
possible cause: maybe a semicolon is missing before `value returns'?
kafkaTopic, ConfluentRegistryAvroDeserializationSchema.forGeneric(schema, schemaRegistryURL), properties)).returns(new GenericRecordAvroTypeInfo(schema))
possible cause: maybe a semicolon is missing before `value returns'?
kafkaTopic, ConfluentRegistryAvroDeserializationSchema.forGeneric(schema, schemaRegistryURL), properties)).returns(new GenericRecordAvroTypeInfo(schema))
RK
или мне нужно и внутри
addSource всё переписать (с использованием new AvroGenericSource())?AE
если в объекте был Map без реализации, то он на десериализации пытался сразу EmptyMap создать, а потом уже добавлять что-то и конечно падал
я ловил, что оно пытается AbstractMap инстанциировать. то же и с List -> AbstractList. и хрен выловишь
A
да, и это тоже, но вроде сейчас уже пофиксили
AE
в какой версии?
AE
в EMR 6.1 всё по-прежнему, юзаешь штатный крио, пишешь HashMap :/
GP
я ловил, что оно пытается AbstractMap инстанциировать. то же и с List -> AbstractList. и хрен выловишь
и бесконечная рекурсия (в стектрейсе)
GP
отличные стектерйсы эх какое было время
AE
окей. значит в амазоне сидят тормоза, и надо им написать в сапорт, чтобы обновили наконец либу
A
или мне нужно и внутри
addSource всё переписать (с использованием new AvroGenericSource())?нет, там другая иерархия в апи scala и java
RK
Да, весело у вас, новичку разобраться с Flink-ом шансов мало. Чувствую, ещё неделю буду avro прикручивать) Думал, что делов на пять минут)
A
addSource возвращает
returns метод из
в скала апи возвращает тип
DataStreamSource которыйDataStreamSource extend SingleOutputStreamOperator extend DataStreamreturns метод из
SingleOutputStreamOperatorв скала апи возвращает тип
DataStream из скалы, который уже врапает java код, но данного метода нету