Это костыль. Всегда может случится так что прочитал - было всё хорошо, а в следующую секунду менеджер удалил

я вот и думаю, читать данные с CRM, ложить их в redis например, на сайте выводить из редиса, паралельно процесс работает непрерывно этот кеш обновляет, т.к. я не могу найти в API вообще данные о том, какой товар изменен или удален

Это костыль. Всегда может случится так что прочитал - было всё хорошо, а в следующую секунду менеджер удалил

Здравствуйте, кто ни будь разрабатывал сайты данные которых лежат на внешней CRM, т.е. заказчик говорит, вот мол: - "У меня все в CRM 100500 товаров" хочу сайт, чтобы все работало. На этой CRM внешней конечно есть ограничения на выполнения N-запросов в секунду и одновременно выполнять эти N-запросы.
По сути, берем данные из API, грузим себе куда ни будь в БД, т.е. нужно организовать некую синхронизацию.
У кого был такой опыт, как быть с консистентностью данных?
Например, взяли мы данные, положили у себя, тут пользователь на сайте оформляет заказ, а тут менеджер удаляет какую-то категорию товаров, переименовывает.

Да, вот я хз че с консистентностью

У многих сервисов, в том числе CRM ограничения по апи распространяются на ip адрес, с которого идут запросы. Может, имеет смысл уточнить этот момент? В моём понимании, это помогло бы избежать лишней головной боли

Не более 100 запросов за 5 секундный период
Не более 5 параллельных запросов от одного пользователя
Не более 15 параллельных запросов от аккаунта
Не более 500 параллельных запросов с одного ip-адреса
Не более 10 Мб данных в одном запросе, отправляемом на сервер

Ну и каждый аккаунт платный соответственно

Аааа

Распределенные системы это не что-то новое, посмотри как это решается там.

знакомы с этим чудом?

Спасибо, копаю инфу как раз таки

Но все это разрешается примерное как я описал.
Еще как вариант посмотри можно ли какие-нить фильтры, мидлвары сделать или плагины в CRM, чтобы перехватывать запросы к crm.
Мб есть возможность подписаться на изменения?

Да вот доку уже туды-сюды исчитал, пытаюсь найти... нашел что-то вроде хуков, но пока не понял как там с ними быть

Ну собственно это оно и есть лол) Когда достаточно просто нормально прочитать доку)
https://dev.moysklad.ru/workbook/api/remap/1.1/ru/webhooks.html
"Мы советуем использовать вебхуки, чтобы взаимодействие МоегоСклада с вашим интернет-магазином или приложением в реальном времени, и вы могли избавиться от периодических запросов изменений."