В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

R (язык программирования)

1371 membersпожаловаться на группу
2021 June 17

IS

Ilya Shutov in R (язык программирования)
Это текста 20 гиг, бинарных данных меньше. Тут можно ещё disk.frame пробовать или Apache drill. А вообще, лучше не тянуть колонки все или в базу сгрузить
источник
15:42пожаловаться#1

A

Andrey in R (язык программирования)
Еще можно на полчаса поднять инстанс с 32Гб ОЗУ в облаке
источник
15:44пожаловаться#2

IS

Ilya Shutov in R (язык программирования)
Локальную базу. Что там, tiledb нынче модно? Или постгре или SQLite или кликхаус
источник
15:44пожаловаться#3

A

Andrey in R (язык программирования)
duckdb же!
источник
15:44пожаловаться#4

IS

Ilya Shutov in R (язык программирования)
Ну или его
источник
15:45пожаловаться#5

IS

Ilya Shutov in R (язык программирования)
100500 вариантов, начиная с awk
источник
15:45пожаловаться#6

А

Анатолий in R (язык программирования)
Понятно.  Наверное разобраться с консолью будет быстрее всего.  А базы на будущее буду иметь ввиду.
Просто как всегда,  результаты нужны вчера.  Думал вдруг что в самом R упускаю
источник
15:46пожаловаться#7

IS

Ilya Shutov in R (язык программирования)
Или большой файл расщепить на 4-5 в консоли
источник
15:46пожаловаться#8

IS

Ilya Shutov in R (язык программирования)
За памятью на Савелу сбегать - вот решение
источник
15:47пожаловаться#9

PU

Philipp Upravitelev in R (язык программирования)
она ж померла вроде, не?
источник
15:49пожаловаться#10

IS

Ilya Shutov in R (язык программирования)
Да можно и в r почитать только часть строк и их засемплировать
источник
15:49пожаловаться#11

А

Анатолий in R (язык программирования)
Вот, как раз в эту сторону мысли были.  Читать по N строк,  сэмплировать и сохранять.
источник
15:50пожаловаться#12

A

Andrey in R (язык программирования)
То monetdblite все, а это вместо нее
источник
15:54пожаловаться#13

A

Andrey in R (язык программирования)
Или утка тоже все? Не слежу за новостями
источник
15:54пожаловаться#14

PU

Philipp Upravitelev in R (язык программирования)
а, я про монетку помнил, а про утку забыл
утка вроде живая еще, ты прав
источник
16:08пожаловаться#15

DK

Dm Kb in R (язык программирования)
duckdb меня лично как-то не впечатлил пока... хотя архитектурно там много вкусного заложено ... как я понял, они пока еще не научились сжимать поколоночно .. в итоге одна и та же таблица в duckdb занимает в оперативе места больше чем объекты R в разы ... если работать с диска, то все равно какое-то странное поведение с перегрузкой по оперативной памяти
источник
16:15пожаловаться#16

DK

Dm Kb in R (язык программирования)
для данных более 10Гб использую пакет fst и всем рекомендую
источник
16:17пожаловаться#17

IS

Ilya Shutov in R (язык программирования)
https://vroom.r-lib.org/reference/vroom.html
Сделать разбивку на несколько блоков с помощью skip & n_max.
Из считанного сделать сэмпл и все блоки аккумулировать в памяти.
А потом сбросить на диск в бинарном виде. С помощью fst или qs.
vroom.r-lib.org
Read a delimited file into a tibble — vroom
источник
18:02пожаловаться#18

A

Alexa in R (язык программирования)
Всем привет, помогите пожалуйста.  Что я сделала не так? Почему negatively correlated ("Age"). В опросник нужно было задать свой возраст. А так же , что говорит  низкий raw_alpha? Где моя ошибка?
Пы.сы. некоторые вопросы имели не 5, а 4 варианта ответа( они в данных как 1,2,3,4)
источник
21:50пожаловаться#19

A

Alexa in R (язык программирования)
Bildschirmfoto 2021-06-17 um 20.45.38.png
(845.5 Кб)
источник
21:52пожаловаться#20