В Штатах говорят про сильный спад Hadoop: Цитата CEO Snowflake "Slootman:  "I've never seen something crater as fast as Hadoop in all my years in the business. We see whole companies like Cloudera, MapR just falling off a damn cliff. We haven't seen that in technology, it's usually a gradual decline. This is rapid decline."
И правда, Snowflake в себе совмещает озеро данных и хранилище. В Azure есть DataBricks (Spark) вместо HDInsight (Hadoop), в AWS есть Athena, Spectrum, Glue (with Spark), которое можно использовать вместо Elastic Map Reduce (Hadoop), и так же и в Google Cloud Platform. До этого я  писал, что компания Datameer, тоже уходит от Hadoop как основы своего продукта. 
Поэтому хорошо знать, что такое Hadoop и основные принципы, но лучше детально изучать Spark.