Телеграмм чат группы moscowspark страница 829

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

1167 membersпожаловаться на группу

2021 October 05

CO

Chern Oleksander in Moscow Spark

from pyspark.sql import functions as F

date_rep = F.to_date(F.from_utc_timestamp(F.current_timestamp(),"Europe/Kiev"))

Всем привет, а не подскажите как можно получить значение из обьекта Column ?

источник

14:28пожаловаться #1

N

Nikita Blagodarnyy in Moscow Spark

F.col?

источник

14:29пожаловаться #2

CO

Chern Oleksander in Moscow Spark

TypeError("Column is not iterable")
и пробовал
F.col(F.lit(date_rep)

не могу уловить тонкий смысл всего этого ((

источник

14:31пожаловаться #3

N

Nikita Blagodarnyy in Moscow Spark

Что вы хотите сделать? Какова конечная цель?

источник

14:31пожаловаться #4

ИК

Иван Калининский... in Moscow Spark

Вообще, никак. Это не значение, это выражение, рассчитываемое на данных. Поэтому можно только сделать датасет (фрейм) с этой колонкой, сколлектить и вот тогда уже получить значение

источник

14:38пожаловаться #5

PZ

Petr Zhitnikov in Moscow Spark

Если хочется получить текущее время с таймзоной, то я бы посмотрел в сторону того как это сделать чем-то встроенном в python, без участия spark-а.

Если же принципиально хочется из спарка это вытащить, то сделать dataframe и потом collect из него.
В случае со скалой/джавой это выглядело бы как-то так


spark.sql(“select 1”).withColumn(“col”, from_utc_timestamp(current_timestamp(),"Europe/Kiev”)).collect()

Но, повторюсь, конкретно для этого кажется более логичным использовать какие-нибудь встроенные библиотеки.

источник

14:38пожаловаться #6

ИК

Иван Калининский... in Moscow Spark

this

источник

14:38пожаловаться #7

CO

Chern Oleksander in Moscow Spark

Да, нужно получить текущею дату, не используя datetime библиотеку ((

Понял вас, буду смотреть

источник

14:40пожаловаться #8

ПФ

Паша Финкельштейн... in Moscow Spark

Чатик, я вам новый дайджест принёс!
https://jb.gg/ectvj9

Data Engineering Annotated Monthly – September 2021 | The Big Data Tools Blog

In most countries, students start learning in September. As data engineers, let’s follow their lead and learn something new, too! I’m Pasha Finkelshteyn, and I’ll be your guide through this month’s ne

источник

14:53пожаловаться #9

ПФ

Паша Финкельштейн... in Moscow Spark

Чатик, я вам новый дайджест принёс!
https://jb.gg/ectvj9

Data Engineering Annotated Monthly – September 2021 | The Big Data Tools Blog

In most countries, students start learning in September. As data engineers, let’s follow their lead and learn something new, too! I’m Pasha Finkelshteyn, and I’ll be your guide through this month’s ne

источник

14:54пожаловаться #10

t

tenKe in Moscow Spark

>>> spark._jvm.java.time.LocalDateTime.now().toString()
'2021-10-05T14:56:16.733'

сойдет?

источник

14:56пожаловаться #11

CO

Chern Oleksander in Moscow Spark

А если нужно в tZ EEST ?

источник

15:00пожаловаться #12

ИК

Иван Калининский... in Moscow Spark

Потрясающе, но разве это не datetime библиотека?

источник

15:04пожаловаться #13

t

tenKe in Moscow Spark

я думаю имелась ввиду питонячья datetime библиотека

источник

15:04пожаловаться #14

ИК

Иван Калининский... in Moscow Spark

прикольно

источник

15:04пожаловаться #15

VV

Vladislav Verba in Moscow Spark

Всем привет! Кто-нибудь знает как сделать так, чтобы pyspark при создании сессии ничего не писал в логи? Ну там загрузки всяких джарников, настроек и тд. Настройки в conf/log4j.properties применяются только к логам, идущим после создания сессии. Из питона тоже надо сначала создать сессию а потом менять логи

источник

15:58пожаловаться #16

t

tenKe in Moscow Spark

уберите детей от экрана

>>> zone = spark._jvm.java.time.ZoneOffset.of("+1")
>>> this_millis = spark._jvm.System.currentTimeMillis()
>>> sql_time = spark._jvm.org.apache.spark.sql.catalyst.util.DateTimeUtils.fromMillis(this_millis)
>>> java_ts = spark._jvm.org.apache.spark.sql.catalyst.util.DateTimeUtils.toJavaTimestamp(sql_time)
>>> java_ts.toLocalDateTime().atOffset(zone).toString()
'2021-10-05T16:03:09.682+01:00'

источник

16:05пожаловаться #17

CO

Chern Oleksander in Moscow Spark

Омг )))
Ладно возьмём datetime и не будем извращаться

Или может из под spark.sql take(1) возьму да и все ))

источник

16:07пожаловаться #18

ПФ

Паша Финкельштейн... in Moscow Spark

АААА

источник

16:08пожаловаться #19

t

tenKe in Moscow Spark

источник

16:08пожаловаться #20