GP
Зачем делать Рид в разные дфы и потом делать юнион
Size: a a a
2020 March 29
GP
Сделай сразу хороший рид что бы не надо было делать юнионы
GP
ты так упираться и дальше будешь, юнион плохая операция и бесполезная (в твоём случае); очевидно этот шаг можно просто исключить (из того что ты сказал); а потом уже страдать и выяснять где в следующем месте будут тормоза
K
А напиши сразу сурс который будет читать и резать базу по твоей схеме партицировария
я уже прихожу к этому выводу
K
думаю наскок быстро это сделать можно
GP
я уже прихожу к этому выводу
я тебе сразу сказал что не надо было паралелить риды дфов, ты мог забесплатно параллельности добиться на экзеках просто отправив на каждый мету какую часть читать; более того ты в дальнейшем будешь знать где что лежит и даже любой шафл в дальнейшем сможешь минимизировать
GP
А данных у тебя много - шафл беспорядочный будет долгий
GP
думаю наскок быстро это сделать можно
кончено чуть сложнее чем паралел дфридов и послед юнион
K
я тебе сразу сказал что не надо было паралелить риды дфов, ты мог забесплатно параллельности добиться на экзеках просто отправив на каждый мету какую часть читать; более того ты в дальнейшем будешь знать где что лежит и даже любой шафл в дальнейшем сможешь минимизировать
метку то отправить то можно, по сути у меня есть сейчас List[Sql] и можно его в RDD кастануть, выполнить все на экзекьюторах, но потом все равно этот большой датафрейм нужно получить, чтобы у него была какая-то схема и можно было сделать какую-то следущую операцию
GP
метку то отправить то можно, по сути у меня есть сейчас List[Sql] и можно его в RDD кастануть, выполнить все на экзекьюторах, но потом все равно этот большой датафрейм нужно получить, чтобы у него была какая-то схема и можно было сделать какую-то следущую операцию
не надо ничего кастовать, свой релейшн определи, где buildScan верную рдд создаст; на выходе у тебя будет уже правильный дата фрейм
K
не надо ничего кастовать, свой релейшн определи, где buildScan верную рдд создаст; на выходе у тебя будет уже правильный дата фрейм
Покажи пример
GP
Покажи пример
На посмотри сурс любой в коре)
GP
GP
ну этот сложный слегка
GP
Но суть в том что у тебя фулл контроль есть над тем как составить андерлаинг схему рдд
K
я писал сурсы
GP
GP
ну просто пихни в билдСкан рдд которая верная будет уже
GP
sqlString => 500k strings => parellilize across executors => read as a single RDD of Row => etc