ИШ
Походу в диру с либами
Size: a a a
2021 June 08
RK
Да, именно
ИШ
--jars
RK
Как-то не так делаю, да?
ЕГ
Джарок маловато, чтобы пайспарк работал с ними, нужен собственно питон-файлик SPARK_HOME/pyspark/streaming/kafka.py
RK
А что в нём должно быть? Где найти про такое информацию?
ЕГ
Он должен существовать и быть прописан в sys.path
ЕГ
Ну в смысле вся папка pyspark
ЕГ
Чтоб из неё можно было что-нибудь заимпортировать
ЕГ
Файлик вот такой несложный вроде:
https://spark.apache.org/docs/1.3.0/api/python/_modules/pyspark/streaming/kafka.html
https://spark.apache.org/docs/1.3.0/api/python/_modules/pyspark/streaming/kafka.html
ЕГ
Правда это древняя версия, хз, вроде в 2.4.5 тоже есть
RK
Натыкался на такое, но показалось странным, что какие-то ещё действия выполнять необходимо, особенно написание дополнительного кода
RK
У вас есть в
spark-*/python/pyspark/streaming какой-нибудь файл для подключения кафки? Или, может, где-то ещё есть? Не поделитесь?RK
Но тем не менее странно, что с 3 версии спарка отказались от нативной поддержки стриминга из кафки...
D
все же более вероятно что данные изменились и где-то перекос. у меня было так что приходилось ставить executor-memory 5g, memoryOverhead 3g хотя до этого работало без такого изврата
АЖ
А в какой он был? о_О
АЖ
Так это dstream
АЖ
И даже в 3.1.1 он на месте
RK
dstream там, да. Просто теперь там нельзя просто взять и сделать
from pyspark.streaming.kafka import KafkaUtils