HK
Тебе нужно по частям поделить и инсертить в бд через батчи по 1000 в каждой
Size: a a a
2019 December 11
HK
каждую порцию будешь запускать в отделных потоках
HK
т.е. у тебя будет запрос на парсинг
HK
а дальше все делает бек в отдельных потоках
AB
да, после получения данных запись в БД уже производится батчами. Вопрос в самом парсинге. То есть если разделить работу на 2 этапа : считывание с файла и запись в БД, у меня проблема на 1. второй отрабатывает отлично.
I
Все привет!
Такая задача. Есть EXCEL документ с 10 колонками и 20-50к строками. Нужно его распарсить и записать в БД.
Сейчас работает так: getInputStream => WorkbookFactory.create, а дальше перебор данных.
Работает это очень медлено и довольно часто скидывает по таймауту. Вопрос может есть надёжные библиотеки, которые максимально оптимизировано обрабатываютс excel документы?
Такая задача. Есть EXCEL документ с 10 колонками и 20-50к строками. Нужно его распарсить и записать в БД.
Сейчас работает так: getInputStream => WorkbookFactory.create, а дальше перебор данных.
Работает это очень медлено и довольно часто скидывает по таймауту. Вопрос может есть надёжные библиотеки, которые максимально оптимизировано обрабатываютс excel документы?
конвертни в cvs и импортни напрямую в базу
AB
конвертни в cvs и импортни напрямую в базу
Процедура будет довольно частая. По факту, раз в неделю будут грузить такой список, а то итого чаще. По этому эта функция будет передана на фронт, для того что бы операторы могли делать это сами из UI приложения.
I
Процедура будет довольно частая. По факту, раз в неделю будут грузить такой список, а то итого чаще. По этому эта функция будет передана на фронт, для того что бы операторы могли делать это сами из UI приложения.
что за база?
AB
что за база?
mysql
I
если нужна скорость, то только так. Подвязать к хранимке, к shell и т.д.
JA
Все привет!
Такая задача. Есть EXCEL документ с 10 колонками и 20-50к строками. Нужно его распарсить и записать в БД.
Сейчас работает так: getInputStream => WorkbookFactory.create, а дальше перебор данных.
Работает это очень медлено и довольно часто скидывает по таймауту. Вопрос может есть надёжные библиотеки, которые максимально оптимизировано обрабатываютс excel документы?
Такая задача. Есть EXCEL документ с 10 колонками и 20-50к строками. Нужно его распарсить и записать в БД.
Сейчас работает так: getInputStream => WorkbookFactory.create, а дальше перебор данных.
Работает это очень медлено и довольно часто скидывает по таймауту. Вопрос может есть надёжные библиотеки, которые максимально оптимизировано обрабатываютс excel документы?
Apache POI старая биб-а. подойдет надо будет c помошю executers батчинг организовать
M
привет, любой Java-разработчик, который заинтересован в помощи крипто-проекту?
АН
2019 December 13
S
используем.
😂😂
ВИ
Коллеги подскажите пожалуйста бональную вещь.. почему может не видеть package в java? которые находятся в java/src/main которая так же обявлена как source папка...
AS
если в eclipse вызови project-clean (оч редко но встречал такое)
ВИ
Anton Starastsin
если в eclipse вызови project-clean (оч редко но встречал такое)
Увы идея))
T
Можно попробовать invalidate cache and restart, в идее
ET
Коллеги подскажите пожалуйста бональную вещь.. почему может не видеть package в java? которые находятся в java/src/main которая так же обявлена как source папка...
Maven? Gradle?
Бывает, идея не понимает ничего, потому что не распознает сборщик.
Бывает, идея не понимает ничего, потому что не распознает сборщик.
ВИ
Maven? Gradle?
Бывает, идея не понимает ничего, потому что не распознает сборщик.
Бывает, идея не понимает ничего, потому что не распознает сборщик.
