Мне показалось фишинг какой-то

Правда спотифай, но я кликать не буду

шуфутинка

Да

Извините

Привет всем. Как настроить Pyspark для чтения данных с S3

An error occurred while calling o87.csv.
: java.lang.NumberFormatException: For input string: "100M"
Не фиксится
"
An error occurred while calling o87.csv.
: java.lang.NumberFormatException: For input string: "100M"
 at java.base/java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
 at java.base/java.lang.Long.parseLong(Long.java:692)
 at java.base/java.lang.Long.parseLong(Long.java:817)
"

infer schema используется?

да.Автоматически

простые данные совсем

причем рандомное название вставляю в то, что надо читать и он выкидывает не ошибку что файла нет, а вот это фигню выше

А можно, пожалуйста,код, который выкидывает ошибку?

теоретически это может быть криво брошеная ошибка о том, что hadoop-aws не в класспасе пай спарка

я запулил image с jupyter-pyspark. Заранил всё это дело на EC2.
С локалки читает асболютно всё. Потом докачал wgetОМ в папку с джарниками hadoop-aws / aws-java-sdk. Мб импорт конфигов очень криво настроил.

ne tot chat

Привет, есть ли тут использующие Аэроспайк для дедупа? И есть ли какие то способы получить результат пута без доп команд?

Это дед хадупа?

дедупликации?

Да

странная постановка вопроса