D
не взлетело на 1.6.3, если просто по 2 запроса в секунду слать на протяжении 2 минут, то > failed 77 ( 32%)
Size: a a a
2017 April 25
t
а в каком режиме запускаете спарк?
t
standalone, yarn-cluster и т д?
D
standalone
D
взял снапшот 2.2.0, с ним все ок
D
хоть это радует )
D
не очень-то и ок оказалось. но все-таки понял как обойти проблему - свичнул executor диспатчера на акке с ForkJoinPool на обычный thread-pool (отправляю таски в спарк через акка-хттп приложение). но то что спарк юзает thread-local переменные для состояния и говнокодит у себя что-то чтобы их менеджить - это зашквар
t
попробуйте этот эксперимент на кластере провести :) мне кажется этой проблемы там не будет
2017 April 27
NK
прямая трансляция митапа по spark
https://l.timepad.ru/stat/l/ZBXzMQzFDCwnhppjZNTYTmSBNGMpyFDvuUwebwG088q3pShb7eY1RucXzoSo1NCw2tj4tGSl1HR3Tb3xwD37Sw,,/mail/207205445/
https://l.timepad.ru/stat/l/ZBXzMQzFDCwnhppjZNTYTmSBNGMpyFDvuUwebwG088q3pShb7eY1RucXzoSo1NCw2tj4tGSl1HR3Tb3xwD37Sw,,/mail/207205445/
NK
приятно , что про работу спарка с нуля рассказывают
NK
правильная ссылка на трансляцию
Pavel Klemenkov:
https://m.facebook.com/story.php?story_fbid=1537521079605272&id=497026710321386
Pavel Klemenkov:
https://m.facebook.com/story.php?story_fbid=1537521079605272&id=497026710321386
🔝P
они против scala, печаль 😔
NK
Слайды (с купированым слайдом кривой рожи но с бонусными слайдами по кривые (не рожи) заполняющие пространства (и рожи)) (en)
https://www.slideshare.net/GrigoryPomadchin/geotrellis-gis-on-scala-75459066
Ноутбук (ru):
https://github.com/pomadchin/geotrellis-gis-on-scala
https://www.slideshare.net/GrigoryPomadchin/geotrellis-gis-on-scala-75459066
Ноутбук (ru):
https://github.com/pomadchin/geotrellis-gis-on-scala
NK
Доклад про оптимизацию решения gis поверх спарка
AD
А подскажите, плиз, а запись митапа ведется и будет ли выложена?
PK
Да, ведётся феймбуком)
PK
И нами)
AD
спасибо большое !!!
NK
а дайте ссылку пожалуйста на телеграм чат митапа