SS
ну нет же) просто добавить своб функциональность. ООП же не зря придумали. у мня это например 20 строк примерно. для запросов to_tsquery
Size: a a a
2020 May 04
DP
Что произойдёт на этапе 2 если Кафка отвалится?
https://debezium.io/documentation/reference/1.1/connectors/postgresql.html
The connector is also tolerant of failures. As the connector reads changes and produces events, it records the position in the write-ahead log with each event. If the connector stops for any reason (including communication failures, network problems, or crashes), upon restart it simply continues reading the WAL where it last left off
A
ну нет же) просто добавить своб функциональность. ООП же не зря придумали. у мня это например 20 строк примерно. для запросов to_tsquery
все равно не совсем понял о чем именно речь(
погуглил, не нашел ничего подобного
погуглил, не нашел ничего подобного
SS
все равно не совсем понял о чем именно речь(
погуглил, не нашел ничего подобного
погуглил, не нашел ничего подобного
хм.. тоже курсовую пишите?)
A
хм.. тоже курсовую пишите?)
нет, первый раз имею дело с постгисом
Ø
https://debezium.io/documentation/reference/1.1/connectors/postgresql.html
The connector is also tolerant of failures. As the connector reads changes and produces events, it records the position in the write-ahead log with each event. If the connector stops for any reason (including communication failures, network problems, or crashes), upon restart it simply continues reading the WAL where it last left off
Хм, звучит очень хорошо
QH
спасибо, но пытался, не помогает
синтаксис все равно подсвечивается красным после within перед скобкой (
синтаксис все равно подсвечивается красным после within перед скобкой (
а работает-то?
A
а работает-то?
нет)
QH
нет)
блин) а что происходит?
У меня трёхэтажные запросы в постгрю. Правда, без постгиса. Но с триграммами, кубом и гео
У меня трёхэтажные запросы в постгрю. Правда, без постгиса. Но с триграммами, кубом и гео
A
блин) а что происходит?
У меня трёхэтажные запросы в постгрю. Правда, без постгиса. Но с триграммами, кубом и гео
У меня трёхэтажные запросы в постгрю. Правда, без постгиса. Но с триграммами, кубом и гео
сам не знаю( пол дня убил, не выходит
ну сейчас еще раз попробую) спасибо
ну сейчас еще раз попробую) спасибо
QH
сам не знаю( пол дня убил, не выходит
ну сейчас еще раз попробую) спасибо
ну сейчас еще раз попробую) спасибо
Ну что значит «не знаю»? Абстрактное «не работает» не работает :)
IR
Привет
Вопрос для тех кто сталкивался или имеет представление о том, как в распределенной системе добиться сохранения порядка сообщений(в некотором приближении)
Сообщения имеют инкрементальный sequence
Есть N инстансов, которые обрабатывают сообщения и складывают их в топик условного брокера(в топике должен быть сохранен порядок исходя из sequnce сообщения)
Очевидно что обработчики должны синхронизироваться
Но при этом синхронизация и отправка должны быть атомарны + появляется куча сайд эффектов в зависимости от места сбоя
Какой консенсус в решении задачи находили?
Вопрос для тех кто сталкивался или имеет представление о том, как в распределенной системе добиться сохранения порядка сообщений(в некотором приближении)
Сообщения имеют инкрементальный sequence
Есть N инстансов, которые обрабатывают сообщения и складывают их в топик условного брокера(в топике должен быть сохранен порядок исходя из sequnce сообщения)
Очевидно что обработчики должны синхронизироваться
Но при этом синхронизация и отправка должны быть атомарны + появляется куча сайд эффектов в зависимости от места сбоя
Какой консенсус в решении задачи находили?
часы Лэмпорта
Ø
часы Лэмпорта
Использования sequence - это же и есть часы Лэмпорта
IR
Использования sequence - это же и есть часы Лэмпорта
сорян, sequence не заметил
ночь на дворе...
ночь на дворе...
A
Ну что значит «не знаю»? Абстрактное «не работает» не работает :)
кажется, понял в чем дело Caused by: org.h2.jdbc.JdbcSQLSyntaxErrorException: Function "WITHIN" not found; SQL statement:
что-то раньше не догадался что видимо база не поддерживает
с постгисом получается нужно в локальную h2 добавлять поддержку и в продовую версию постгреса тоже?)
что-то раньше не догадался что видимо база не поддерживает
с постгисом получается нужно в локальную h2 добавлять поддержку и в продовую версию постгреса тоже?)
DP
Чтобы отбросить лишнее, можно упростить
На вход в распределённый обработчик сообщений прилетают инты
1,2,3,...,n
Нужно гарантировать такой же порядок в топике
На вход в распределённый обработчик сообщений прилетают инты
1,2,3,...,n
Нужно гарантировать такой же порядок в топике
как еще один наброс (довольно наркоманский уже) - давайте организуем шардирование обработчиков (например, с помощью консистентного хранилища) - условно говоря, пусть хэши от 1 до 10 обрабатывает первйы обработчик, от 10 до 20 - второй, и тд. Тогда мы сводим задачу к обеспечению порядка уже на одной ноде.
У нас всё еще есть открытые вопросы:
1) Что делать, если нода упала. Ну, давайте сделаем master-slave для каждого обработчика с помощью какого-нибудь внешнего механизма, типа консула, или игнайта,
2) Что делать, если мы получили 1, 2, ... 5, а 3 - не получили, в течение многих часов. Считаем, что его не существует? Или прекращаем обработку? Или включаем персистентный режим, и вместо хранения 1, 2 в памяти, перекладываем это в персистентную БД.
У нас всё еще есть открытые вопросы:
1) Что делать, если нода упала. Ну, давайте сделаем master-slave для каждого обработчика с помощью какого-нибудь внешнего механизма, типа консула, или игнайта,
2) Что делать, если мы получили 1, 2, ... 5, а 3 - не получили, в течение многих часов. Считаем, что его не существует? Или прекращаем обработку? Или включаем персистентный режим, и вместо хранения 1, 2 в памяти, перекладываем это в персистентную БД.
DP
а нет, я ерунду написал 😢