БГ
Что за данные и по какому признаку сортировать?
По возрастанию блоков
Интересный квест
Есть файл ~50Гб
Внутри записаны данные блоками по 48 байт
Нужно отсортировать эти данные
Size: a a a
2020 October 31
ВП
в озу захуячить)
БГ
Интересный квест
Есть файл ~50Гб
Внутри записаны данные блоками по 48 байт
Нужно отсортировать эти данные
Есть файл ~50Гб
Внутри записаны данные блоками по 48 байт
Нужно отсортировать эти данные
Очевидная ебанутость задачи в том что файл точно не поместится в оперативку
R3
Дак а в чом квест? Ты не поставил лимиты на озу и память на жд: беру и открываю файл в озу, а потом сортирую и пишу
ВП
в озу захуячить)
как их отсортировать? По какому признаку?
БГ
Дак а в чом квест? Ты не поставил лимиты на озу и память на жд: беру и открываю файл в озу, а потом сортирую и пишу
4Гб ОЗУ, 120Гб дискового места
ВП
4Гб ОЗУ, 120Гб дискового места
и как их сортировать-то?
БГ
как их отсортировать? По какому признаку?
Прям по возрастанию байтесов в блоках
БГ
4Гб ОЗУ, 120Гб дискового места
120Гб из которых, очевидно, исходный файл занимает 50Гб, ага
ВП
Прям по возрастанию байтесов в блоках
о нихуя там число получается
ВП
ну в принципе, я вижу такое решение
ᅠ
Прям по возрастанию байтесов в блоках
Можно сортировкой слиянием с записью частей на диск
R3
Я бы сортировал чанки, а потом сортировал по паре чанков, т.к. их было бы меньше
ВП
Я бы сортировал чанки, а потом сортировал по паре чанков, т.к. их было бы меньше
хз, я думал заполнять файл по ходу итерации по чанкам
ВП
но чёт не ебу, как это на деле сделать
ВП
к примеру, максимально возможный чанк сразу в конец файла, и т.д.
ВП
но выходит странная хуйня, ещё и нереализуемая
ИХ
А что если первым проходом определить минимальный/максимальный байт. Разбить на те же 100 блоков от и до. И потом в проходах по очереди каждый блок заполнять, Если он в диапазон попадает блока.
Тож дохера выходит, но сложность сводится к логарифмической + константа (количество блоков)
?
Тож дохера выходит, но сложность сводится к логарифмической + константа (количество блоков)
?
l
Интересный квест
Есть файл ~50Гб
Внутри записаны данные блоками по 48 байт
Нужно отсортировать эти данные
Есть файл ~50Гб
Внутри записаны данные блоками по 48 байт
Нужно отсортировать эти данные
Да ты зае..
2020 November 01
ВП
А что если первым проходом определить минимальный/максимальный байт. Разбить на те же 100 блоков от и до. И потом в проходах по очереди каждый блок заполнять, Если он в диапазон попадает блока.
Тож дохера выходит, но сложность сводится к логарифмической + константа (количество блоков)
?
Тож дохера выходит, но сложность сводится к логарифмической + константа (количество блоков)
?
так я об этом и говорил