DT
А почему она будет прерываться?
Size: a a a
2020 May 06
EK
вот у тебя джоба обрабатывает чанки
EK
как только есть задача у задачи есть uuid
EK
вот пусть она его и использует
и результат обработки чанка привязывает к этому uuid
и результат обработки чанка привязывает к этому uuid
EK
и по окончанию обработки у тебя результаты обработки привязанные к uuid
EK
а вероятности коллизии uuid довольно мала
DT
Это во временную таблицу складывать а потом сгруппировать по уникальному ключу и записать джоин апдейтом?
EK
ну и джобами я бы обрабатывал файл до конца (чанками естественно) не прерываясь пока файл не обработал
EK
Это во временную таблицу складывать а потом сгруппировать по уникальному ключу и записать джоин апдейтом?
куда это складывается вопрос десятый
EK
зависит от того что надо в конце
EK
это может быть как временная таблица, так и постоянная таблица или сразу результирущая структура или nosql
DT
В конце надо данные без дублей:)
А чем варианты 1 и 2 хуже? Ну кроме очевидных:
В первой можно выбрать перезаписывать при коллизии или нет, плюс некрасивый код который пишется под конкретную базу
Во втором - ловить эксепшены о юнике и после этого не пытаться/пытаться записать данные
А чем варианты 1 и 2 хуже? Ну кроме очевидных:
В первой можно выбрать перезаписывать при коллизии или нет, плюс некрасивый код который пишется под конкретную базу
Во втором - ловить эксепшены о юнике и после этого не пытаться/пытаться записать данные
DT
Хотя вижу один плюс - сгруппировать можно будет по условию
DT
А быстрее ли этот вариант чем первые два?
DT
пожалуй узнать навернякка можно только попробовав...
DT
В любом случае спасибо за инфу
Попробую и так сделать и замерить скорость
Попробую и так сделать и замерить скорость
EK
В конце надо данные без дублей:)
А чем варианты 1 и 2 хуже? Ну кроме очевидных:
В первой можно выбрать перезаписывать при коллизии или нет, плюс некрасивый код который пишется под конкретную базу
Во втором - ловить эксепшены о юнике и после этого не пытаться/пытаться записать данные
А чем варианты 1 и 2 хуже? Ну кроме очевидных:
В первой можно выбрать перезаписывать при коллизии или нет, плюс некрасивый код который пишется под конкретную базу
Во втором - ловить эксепшены о юнике и после этого не пытаться/пытаться записать данные
так ты знаешь какая структура должна быть в конце ?
EK
ты можешь записывать результаты в конечную структуру ?
EK
например файл может импорт товаров в бд
структура бд известна бери товары да меняй цены
структура бд известна бери товары да меняй цены
DT
да, должен быть юник по двум полям external_id, code