мне кажется, что для пилота пофигу на самом деле что там будет какое железо; чтоб не слишком медленно работало и переваривало объемы данных нужные
можешь попробовать в опендатасайнс сообщество постучаться; там очень много людей которые именно хадупом, хадупомлом занимаются, без всяких спарков