ЕГ
Можно просто в спарк шелле
Size: a a a
2021 November 10
CO
исходные данные из postgresql и там тип поля real
CO
+-----------------+
|round(1539887, 2)|
+-----------------+
| 1539887|
+-----------------+
DataFrame[round(1539887, 2): int]ЕГ
Хмм, а почему раунд дал тип инт🤔
ЕГ
Real при чтении спарком во что превращается?
ЕГ
В дабл или флоат?
CO
авто предлагает decimal, но я делаю float
CO
так мы же округляем инт
вот так будет decimal
>>> spark.sql('select round(1539887.00, 2)').show()
DataFrame[round(1539887.00, 2): decimal(9,2)]
вот так будет decimal
>>> spark.sql('select round(1539887.00, 2)').show()
+--------------------+>>> spark.sql('select round(1539887.00, 2)')
|round(1539887.00, 2)|
+--------------------+
| 1539887.00|
+--------------------+
DataFrame[round(1539887.00, 2): decimal(9,2)]
ЕГ
Тогда надо попробовать round(float(1539887), 2)
ЕГ
Флоат это 4 байта
ЕГ
Я думаю здесь проблема
ЕГ
Надо хотя бы дабл
CO
и реал в ПГ тоже 4байта
ЕГ
Это могут быть разные 4 байта😆
CO
>>> spark.sql('select round(float(1539887), 2)')
DataFrame[round(CAST(1539887 AS FLOAT), 2): float]
>>> spark.sql('select round(float(1539887), 2)').show()
DataFrame[round(CAST(1539887 AS FLOAT), 2): float]
>>> spark.sql('select round(float(1539887), 2)').show()
+--------------------------------+
|round(CAST(1539887 AS FLOAT), 2)|
+--------------------------------+
| 1539887.0|
+--------------------------------+ЕГ
А если теперь *100
CO
никогда не любил бухгалтерию и финансы
A
а потом следом разделить ещё
A
ведь первоначально такое вроде было условие
CO
аж консоль закрылась ))))))