Телеграмм чат группы hadoopusers страница 2151

Size: a a a

Data Engineers

1803 membersпожаловаться на группу

2020 March 10

Sergey Shushkov in Data Engineers

На самом деле нет. Довольно объемно получаеться

источник

15:52пожаловаться #1

Renarde in Data Engineers

типа вот так:

import org.apache.spark.sql.execution.streaming.MemoryStream
val visitsStream = MemoryStream[PageVisit]

  val pageVisitsTypedStream: Dataset[PageVisit] = visitsStream.toDS()

  val initialBatch = Seq(
    generateEvent(1),
    generateEvent(1),
    generateEvent(1),
    generateEvent(1),
    generateEvent(2),
  )

  visitsStream.addData(initialBatch)

источник

15:52пожаловаться #2

Renarde in Data Engineers

и кафки не надо, вообще никаких зависимостей кроме самого spark-structured-streaming

источник

15:53пожаловаться #3

Anton Zadorozhniy in Data Engineers

Vitaly Savinov

Камрады, а подскажите плиз, есть ли бесплатные источники стриминговых данных, любых? Мне для тестовых учебных проектов. Биржевые, метео, экологические может какие-то? В инете сам ищу, но пока не очень получается.

Скрипт с сайта одного аквацентра в Праге снимает показатели занятости, и тут же для снятия погоды в этом месте https://gist.github.com/dartov/649efa29bea8d61e8834db3e1a92a0a3

Gist

Sutka crawler

Sutka crawler. GitHub Gist: instantly share code, notes, and snippets.

источник

15:54пожаловаться #4

Anton Zadorozhniy in Data Engineers

Архив могу выдать по запросу )

источник

15:56пожаловаться #5

Vitaly Savinov in Data Engineers

Спасибо, но лучше стрим. Симитировать конечно можно, типа температуру по больнице, 9 этажей, сто палат на каждом этаже и по 6 поцыентов в каждой палате. Но так не интересно :)

источник

15:59пожаловаться #6

Anton Zadorozhniy in Data Engineers

Там данные в онлайне обновляются, так что вполне себе стрим, архив я выдаю тем кто хочет модель учить и потом сервить в онлайне

источник

16:00пожаловаться #7

Renarde in Data Engineers

При имитации хорошо то, что ты можешь сам выбрать уровень нагрузки или поведение стрима. Скажем, сделать чтобы у тебя был burst-load

источник

16:00пожаловаться #8

Vitaly Savinov in Data Engineers

Это да.

источник

16:03пожаловаться #9

Vitaly Savinov in Data Engineers

И к этому конечно тоже надо прибегать периодически.

источник

16:03пожаловаться #10

Renarde in Data Engineers

мне вот нужно было имитировать определенное соотношение апдейтов и инсертов в смеси с burst-load и заранее известной схемой - akka streams просто идеально заходят для этого, плюс готовый коннектор к Kafka - так что не стоит совсем забывать про этот вариант

источник

16:09пожаловаться #11

Max Efremov in Data Engineers

Vitaly Savinov

У вк есть 1% от обновлений юзеров

источник

16:51пожаловаться #12

Max Efremov in Data Engineers

Раньше был стрим от твиттера, под него много стандартных конректоров есть. Но русских девелоперов теперь там не жалуют, приложения не одобряют(

источник

16:53пожаловаться #13

Max Efremov in Data Engineers