В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 December 06

ЕГ

Евгений Глотов in Data Engineers
Dmitry P
Всем привет. Вопрос по SparkSQL. А можно ли при чтении некоторого кол-ва json'ов в датафрейм сделать так чтобы датафрейм содержал только те поля, которые указаны в схеме? Хочется отбросить ненужное.
просто заселектить то, что нужно - спарк вычитывает джисон как датафрейм структур, в которые могут быть вложены структуры, дальше "select поле.уточнение1.уточнение2 as то_что_нужно" в помощь
источник
00:21пожаловаться#1

AT

Andrei Tupitcyn in Data Engineers
Dmitry P
Всем привет. Вопрос по SparkSQL. А можно ли при чтении некоторого кол-ва json'ов в датафрейм сделать так чтобы датафрейм содержал только те поля, которые указаны в схеме? Хочется отбросить ненужное.
что мешает spark.read.json(path).select(field1) ... ?
источник
00:22пожаловаться#2

DP

Dmitry P in Data Engineers
Все гениальное просто) Спасибо за наводку ребят)
источник
00:23пожаловаться#3

AP

Anton Pilipenko in Data Engineers
Dmitry Zuev
ну что, вышло с нью тайпами?
Ну я как бэ скала не оч знаю - читаю что вы с Гришей намутили и медленно охреневаю =) так что если ответить на вопрос - нет не получилось. Надо читать и осознавать :) но спасибо. Правда
источник
01:09пожаловаться#4

GP

Grigory Pomadchin in Data Engineers
Dmitry Zuev
Ааа, я думал шейплезевый завел
они генерируют макросами просто коершены для каждого типа; например ты создал ньютайп
и он сразу получает кучу преобразований типа Repr => Ops; F[Repr] => F[Ops]; и так далее, причем Repr и Ops конкретные всегда; поэтому компилятор подхватывает их и понимает что их нужно использовать
источник
01:50пожаловаться#5

DZ

Dmitry Zuev in Data Engineers
Я так и думал, вроде там в доке все экспенды есть
источник
01:51пожаловаться#6

GP

Grigory Pomadchin in Data Engineers
Dmitry Zuev
Я так и думал, вроде там в доке все экспенды есть
https://gist.github.com/pomadchin/6c74c588c1d3fa56637edb56fba4e87c
Gist
newtype-circe-coercion.scala
GitHub Gist: instantly share code, notes, and snippets.
источник
01:52пожаловаться#7

GP

Grigory Pomadchin in Data Engineers
т.е. если руками такое написать, он выводит
источник
01:52пожаловаться#8

GP

Grigory Pomadchin in Data Engineers
Dmitry Zuev
Я так и думал, вроде там в доке все экспенды есть
а, слушай; я сделал общий случай без генерации
источник
02:22пожаловаться#9

GP

Grigory Pomadchin in Data Engineers
sticker.webp
(3.07 Кб)
источник
02:22пожаловаться#10

DZ

Dmitry Zuev in Data Engineers
Не томи
источник
02:22пожаловаться#11

DZ

Dmitry Zuev in Data Engineers
Grigory Pomadchin
а, слушай; я сделал общий случай без генерации
Показывай
источник
02:23пожаловаться#12

GP

Grigory Pomadchin in Data Engineers
https://gist.github.com/pomadchin/6c74c588c1d3fa56637edb56fba4e87c#file-newtype-circe-coercion-shapeless-2-scala-L20-L35
Gist
newtype-circe-coercion.scala
GitHub Gist: instantly share code, notes, and snippets.
источник
02:24пожаловаться#13

GP

Grigory Pomadchin in Data Engineers
ну например так
источник
02:24пожаловаться#14

GP

Grigory Pomadchin in Data Engineers
@krivdathetriewe ты хотел чтоб кодеки для нютайпов шаплезовые выводились; работает
источник
02:24пожаловаться#15

GP

Grigory Pomadchin in Data Engineers
думаю это и с теггед тайпами работать будет
источник
02:25пожаловаться#16

GP

Grigory Pomadchin in Data Engineers
ну и кстати вместо своего тонкого коерсибла можно конечно же использовать шаплезовый изо (который Generic) но тут уж кому как удобнее
источник
02:27пожаловаться#17

OP

O. Petr in Data Engineers
В спарке при каких либо ошибках экзекьютор может переехать на другую машину ?
источник
10:37пожаловаться#18

A

Alex in Data Engineers
Упал - рестартанулся
источник
10:45пожаловаться#19

A

Alex in Data Engineers
Динамик алокации на простое заглушина неиспользуемые, потом подняла как появились задачи
источник
10:46пожаловаться#20