фу..

я я прямо объяснил, что хочется децентрализованности.

смотри. один сервер с миллионами зависимостей и 100500 ТБ данных - это бигдата?
а 100 000 серверов с сотней зависимостей?

бигдата - это не колво инфы, а ступень взаимодействия.

ну, например - буду слишком "предвзятым".
Есть у нас 0 и 1. все.  мы не имеем права оперировать другими величинами. Ок, формальная логика не катит. Возьмем математическую. Все, караганда полная. До бигдата не дотягивает, но близко.
А всего-то 0 и 1.

и возвращаясь к своему вопросу - можно ли штатными средствами построить систему обработки больших данных?

То что это шиза, я и так знаю, интересует теоретическая возможность построения такого зверя "в пару кликов". Ломает колдовать с маршрутизацией.

Self-supervised и получится. Нейронные сети с 2019 сота в табличных

Здравствуйте, пожалуйста подскажите, как читать .tiff изображения по блокам, частям(целиком не влезает в память)? Было бы идеально если бы каждый блок хранил в себе инфу о координате относительно изображения. Спасибо за внимание!

бррр. файл в память влезает, а читать, не влезает? Дичь какая то...

В том то и дело что он не влезает, но части изображения влезают

ну так , tiff в .png и любым php от 5.5 на косточки 255.255.255/127 раскладывается.

я шифровалку в картинках порядка 256^4096 делал. для хранения много места нужно; а так - минус какая степень десятки. Короче, быстро, если правильно организовать.
т.е, хрень похожая на qr код размером 1024х1024 минимум.
дам дело не в сохранении всего, а в закономерности.

начни с самого верху - что тебе от этой картинки  нужно.
суть полной биекции - однозначного соответствия первоначальных данных конечным, - что меньше не будет.
минимально пока что, -это png.

Мне просто нужно читать часть(задана координатами) исходного изображения без помещения ВСЕГО исходника в память, т.к имею ограничение памяти

Товарищи, может, есть у кого питон-ноутбук по a\b тестам?

э, прикольно.
дай картинку.
примерно знаю, как, но четкого алгоритма нет.
И да, - язык в котором хочешь.

Питон, картинку дать не могу, интересуют готовые либы

смотри, берем структуру tiff файла, выдираем ту часть, что запакована архиватором (я не помню, оно открыто или нет, но можно), дробим на куски, сопоставляем то что получилось со стандартными координатами. (нужно понимать что мы там выдергиваем), считываем нужные куски -> преобразовываем в то, что нужно.
Готовой библы для питона не подскажу, но на пальцах:
- открой файл для чтения
- пропусти всю системную хрень + количество байт до точки отсчета
- остановись на "нижней правой"
в идеале - 2 цикла с условиями.

т.е условие в самом цикле

спасибо за помощь

по любому, картинка кодируется построчно или "постолбикам". А потом запаковывается каким-то архиватором.
tiff вроде открытое сжатие.