AZ
@dartov а вы бигдату на ленточных накопителях видели? Окромя хранения
я не уверен что понял вопрос, в смысле читать с лент по запросу аналитическим джобом?
Size: a a a
2021 February 25
K
я не уверен что понял вопрос, в смысле читать с лент по запросу аналитическим джобом?
Примерно такое
AZ
Примерно такое
нет, это плохой дизайн
K
нет, это плохой дизайн
ну я не могу согласиться, что плохой дизайн если честно, ну исходя из примергов того, что в живой природе я такого не видел и спрашиваю, может есть у кого
AZ
ну я не могу согласиться, что плохой дизайн если честно, ну исходя из примергов того, что в живой природе я такого не видел и спрашиваю, может есть у кого
я могу пояснить почему плохой дизайн :)
AZ
вы знаете что такое tape shoe-shining?
K
Неа не знаю, но могу предположить , что износ ленты на чтение запись
A
перемотка? (вернее косяки в момент этого события )
K
ну там я читал, что 250 раз чтения/записи
K
С другой стороны я Русалочку в детстве смотрел больше 250 раз
AZ
Неа не знаю, но могу предположить , что износ ленты на чтение запись
это остановка-перемотка назад ленты в результате того что поток на запись слишком медленный, или на чтение не успевает записать в приемник; этот процесс приводит к растягиванию ленты, и там очень трудно предсказать когда лента перестанет читаться, этого избегают изо всех сил
AZ
поэтому все промышленные библиотеки устроены так что перенос на ленты делается не с горячей системы под нагрузкой, а в отдельное окно, или с копии которая готова на быстрых дисках
AZ
это называется backup-to-disk-archive-to-tape
AZ
поэтому это плохая идея, подавать поток с ленты (а он там очень приличный, и сжатый) напрямую в аналитический процесс, у вас будет непредсказуемый износ ленты, а значит надо держать много копий, и видимо читать сразу копии в разных драйвах
K
Зато теперь все опять упрется в сеть)
AZ
дальше вы упираетесь в драйвы и роботы (а это дорогая часть библиотек, и их трудно скейлить)
K
Ну может быть
AZ
именно поэтому все ленточные решения работают так: у вас есть копия на диске, ее можно скинуть на ленты (сколько и каких лент - решает библиотека), также и при чтении
K
хотя мне кажется нужен аппаратный map/reduce
AZ
аппаратный map/reduce в среде СУБД-строителей называется intelligent storage, так сделаны Netezza (которую кстати решили оживить) и Exadata