Телеграмм чат группы laravel

И по 1000 записей переношу себе

15:34пожаловаться #1

ну сложность будет только в первом запуске, а дальше будешь парсить виборочно, текущая дата - 7

15:34пожаловаться #2

Oleg Khalin

И по 1000 записей переношу себе

плюс надо делать все в рамках транзакции

15:35пожаловаться #3

Каждый чанк?

15:35пожаловаться #4

да

15:35пожаловаться #5

Ну я вот сейчас переношу первый датасет себе

15:35пожаловаться #6

если ты 500 загрузишь и вилетит ошибка, при следующем запуске пойдут дубликаты

15:36пожаловаться #7

Уже около 30 минут прошло только 63к

15:36пожаловаться #8

Эт норм вообще?

15:36пожаловаться #9

сколько вся база весит?

15:36пожаловаться #10

Angry Hungry

если ты 500 загрузишь и вилетит ошибка, при следующем запуске пойдут дубликаты

У меня в чанке проерка имеется

15:36пожаловаться #11

Потому что обновлять так-же нужно старые записи

15:36пожаловаться #12

Но обновляться будут только те, у которых обновленная метка (парсер обновил их в базе)

15:37пожаловаться #13

250мб

15:37пожаловаться #14

тогда долго парсит, запрос на eloquent или на fluent писал?

15:38пожаловаться #15

блин, вот всегда хотел поработать с огромной базой, пока больше 150 мб в руки не попадалсь(

15:38пожаловаться #16

Fluent - всмысле обычный QueryBuilder?

15:39пожаловаться #17

да

15:40пожаловаться #18

Тогда Fluent

15:40пожаловаться #19

Потому что по факту будут данные из разных схем идти будут