Ну вот какую-нибудь статистику с разделением внутри этого ентерпрайза. Какие проблемы, по отношению к другим проблемам, компании решают чаще всего, и так по убывающей?

В контексте Java ессно

Или какие-то мысли, как такую статистику можно собрать? Анализ вакансий в Гугле полно. Интересен более глубокий анализ

А какова цель сбора статистики?

вопрос, есть таблицас около10 миллионов записей, как лучше всего вытащить определенные строки и записать в файл. Интересует имеено там же массив прийдет большой, как правильно обрабатывать кусками приходящии данные?

запросить только определённые строки?

да, не нужны все 10 миллионов, но выборка там больше 1000 строк получится

1000 строк это скорее всего не тот объём, о котором надо беспокоиться.

Если прям очень делать нечего можно пагинировать выбоку и для обработки каждой страницы запускать по потоку, но в 1000 раз лучше с таким количеством строк просто забить на это

а если на порядок или пару порядков больше? Как правильно это все сделать

подскажите хоть в какую сторону копать)

берешь 3 потока, в каждом запрашиваешь по странице, в 500 записей, если все страницы полные, запрашиваешь еще 3, каждую страницу данных обрабатываешь в своем запросе. Но так делать лучше только если уверен что данные друг на друга ссылаться не будут. (все цифры являются примером и над каждой нужно подумать)

обрабатывать постранично?

это прям очень не самый быстрый способ

я наверное чего-то не понимаю. Обрабатывать по странично - это для веба? Таблица со строками до 255 знаков, я через SQL запрос вытаскиваю данные, и после этого мне нужно еще парсить каждую строку. Мой план в том что бы вытащить все записи в файл и потом парсить кусками (возможно мой подход в корень не правильный) Скл запрос в такой таблице занимает около 10+ минут. Я боюсь того что если сразу все парсить то просто мощностей компа не хватит или может занять очень много времени. Та и вообще опыта с такими большим колличеством данных я не имею, гуглю, но не зная что именно  нужно тяжело нагуглить правильный вариант

не думаю что дело в скорости, больше похоже на попытки сэкономить пямять

постранично можно и на беке обрабатывать, в вашем случае страница это кусок выборки из бд, и темп файл в таком случае не нужен

добавляешь к своему запросу limit и offset и запрашиваешь ими отдельные куски выборки, то насколько быстро это будет работать зависит от конкретной базы, если она закеширует результат выборки то должно получиться быстро и без жора памяти бекендом

мне по сути нужно это сделать один раз, просто вытащить с бд, и распарсить. Собрать статистику.
Спасибо за ответы, буду смотреть-пробовать

Мне кажется, если запрос на 10 миллионов занимает 10+ минут это немного странно, нет? Я сейчас работаю с тестовой базой, и ради интереса туда было загнано больше миллиона записей, и выборка идет на секунды.
А хотя если база лежит где-то удаленно, тогда да, мб