привет
помогите с Mapreduce
сделала запрос на pig-e
table_users= LOAD '/user/root/lab/pig/csv_file/users.csv' USING PigStorage('\t') AS (user_id:int, is_juridical:int, full_name:chararray, juridical_address:chararray, actual_address:chararray, telephone:chararray, email:chararray, inn:int, kpp:int);
table_users_accounts = LOAD '/user/root/lab/pig/csv_file/users_accounts.csv' USING PigStorage('\t') AS (user_id:int, account_id:int);
table_services_data= LOAD '/user/root/lab/pig/csv_file/services_data.csv' USING PigStorage('\t') AS (id:int, account_id:int, date_start:chararray, date_end:chararray, tariff:chararray, cost:chararray);
table_ip_address = LOAD '/user/root/lab/pig/csv_file/ip_address.csv' USING PigStorage('\t') AS (id:int, ip_addres:chararray,  date_start:chararray, date_end:chararray);

vivod_zapros= FOREACH(JOIN table_users BY user_id, table_users_accounts BY user_id) GENERATE $2, $10;
vivod_zapros1= FOREACH(JOIN vivod_zapros BY account_id, table_services_data BY account_id) GENERATE $0, $2, $6;
vivod_zapros2= FOREACH(JOIN vivod_zapros1 BY id LEFT OUTER, table_ip_address BY id) GENERATE $0, $2, $4 ;
vivod_zapros3= ORDER vivod_zapros2 BY full_name;

dump vivod_zapros3;

нужно повторить это на map reduce
можете подсказать с чего начать, а то гуглю и ничего не понятно

смотри, вот если написать на чистом питоне - моя задумка такая: (скриншот)
можно ли такое воспроизвести для pyspark с pyspark.sql.functions

Начать с того что мр никому не нужен

преподу нужен

Ну его и спрашивайте

какой ты злой Дима))

3я неделя дома

Для начала в гист или что ещё с подсветкой засуньте

скалисты на спарке пишут только spark.sql()?

Скалисты пишут только не на sparkql

ну, это сугубо мой опыт)

А в чем различие от питонистов тогда?

они toPandas() пишут

питонистов больше

сейчас каждое 8е собеседование из 10 проходит примерно так: нууу java когда-то давно в универе пробовал, а сейчас на питоне хуячу

альтернатив особо нет

Ща забаню