Новость со Spark Summit. Databricks анонсировал Koalas. Pandas-comaptible API, который транслируется в датафреймы. Хороший ход, чтобы перетаскивать на Spark все больше датасатанистов, но мы то с вами знаем, что не все так просто )) https://www.youtube.com/watch?v=Shzb15DZ9Qg