меня ничего не беспокоит, я же вроде чётко описал вопрос - это официальный бот или нет (не обязательно поломали)
мне настраивать систему, внося в whitelist эти адреса или дать ей блочить их дальше, считая, что это левый бот

» подозреваете, что их поломали?  репортите.
может это какая-то vps-подсеть облака или ещё чего...
я подумал возможно кто-то из этой конфы даст намётки куда копать...

судя по всему вы не сможете мне ответить Василий,
меня ничего не беспокоит совсем, мне просто надо знать официальный это бот или нет, я безусловно спрошу у поддержки, но подумал возможно кто-то натолкнёт на мысль раньше...

ставьте кеш на редис

Спасибо всем, но пагинация здесь вообще ни при чем. При генерации фида туда добавляются все товары. В случае с опенкартом одним запросом не обойдешься, так как нужно выбрать для каждого товара все изображения, высчитать цену с учетом акций, сгенерировать описание из атрибутов, сгенерировать сео урл и т.д. Просто хочется узнать как такие вещи реализованы в крупных магазинах.

Почему вас так беспокоит, что у кого-то есть вопрос, на который у вас нет ответа? Здесь могут найтись и более сведущие специалисты (например, из Яндекса).

Полагаю, крупные просто не выкладывают фид ;)

Знаю один сервис, которого каждый день сканит пара других крупных сервисов. Выкачивают и парсят с веба десятки миллионов позиций. Оверхед приличный, но всё штатными средствами, по-кусочкам, без транзакций в базе на 2 часа.

Будет ли когда -то отдельная конференция по базам данных ? Или смысла нет и это как часть хайлоад нормально идёт ?

Опасно концентрировать узких спецов из разных сект.

Ну на хайлоад они все дружно ходят .

Потому что грамотно разбавлены.

Вот если бы собиралась конфа разработчиков СУБД (т.е. движков), было бы круто. И из разных направлений есть, чему друг у друга поучиться.
Но их, как я понимаю, в отдельно взятой стране не так много.

есть у постгресоводов

На ПГ дейс я был в 2017. Народу было много. Вот может есть смысл и для конфы по базам данных . Выступили бы по ПГ , по КХ, тарантул есть.

по кешу

   proxy_cache_path    /cache/nginx/store3/storage     levels=1:2  keys_zone=fm_store3_storage:32m         max_size=5g;

заполнен на
115M /cache/nginx/store3/storage

count objects
552

       location ~ '^/source/file/(\w{8}-\w{4}-\w{4}-\w{4}-\w+(\w{2})(\w{2}))\.(\w+)(?:/.+)?\.(\w+)$' {
/old/source/file/((\w{8}-\w{4}-\w{4}-\w{4}-\w{12})\.(\w+)(?:/.+)?\.(\w+))
       location ~ '^/cache/(audio|photo|video|any|doc)/(([0-9a-f]{8})(-.+)([0-9a-f]{8}))\.(\w+)\.(\w+)$' {



 1094  0:43  grep -E "[m3u8|ts|msi|apk]" /spool/log/nginx.fonmix.store.content.access.log | grep 'GET ' | grep '" 200 ' | grep -v '?time' | grep 'cs=HIT' | awk -F" " '{print $7}' | less
 1095  0:43  grep -E "[m3u8|ts|msi|apk]" /spool/log/nginx.fonmix.store.content.access.log | grep 'GET ' | grep '" 200 ' | grep -v '?time' | grep 'cs=HIT' | awk -F" " '{print $7}' > ~/store_HIT.log
 1096  0:43  grep -E "[m3u8|ts|msi|apk]" /spool/log/nginx.fonmix.store.content.access.log | grep 'GET ' | grep '" 200 ' | grep -v '?time' | grep 'cs=MISS' | awk -F" " '{print $7";M"}' > ~/store_MISS.log
 1097  0:44  grep -E "[m3u8|ts|msi|apk]" /spool/log/nginx.fonmix.store.content.access.log | grep 'GET ' | grep '" 200 ' | grep -v '?time' | grep 'cs=HIT' | awk -F" " '{print $7";H"}' > ~/store_HIT.log


 1100  0:44  cat ~/store_MISS.log ~/store_HIT.log > ~/store_ALL.log


всего объектов было запрошено
root@proxy01:~ # cat ~/store_ALL.log | awk -F";" '{print $1}' | sort | uniq | wc -l
  14485

один раз запрашивались
root@proxy01:~ # cat ~/store_ALL.log | sort -k 1 -t';' | uniq -c | awk -F" " '{print $1";"$2}' | awk -F";" '{if($1=="1")print }'|wc -l
  14137

из них попало в кеш
root@proxy01:~ # cat ~/store_ALL.log | sort -k 1 -t';' | uniq -c | awk -F" " '{print $1";"$2}' | awk -F";" '{if($1=="1")print }' | grep ";H" | wc -l
42

не попало
root@proxy01:~ # cat ~/store_ALL.log | sort -k 1 -t';' | uniq -c | awk -F" " '{print $1";"$2}' | awk -F";" '{if($1=="1")print }' | grep ";M" | wc -l
  14095

запрашивались более 1 раза
root@proxy01:~ # cat ~/store_ALL.log | sort -k 1 -t';' | uniq -c | awk -F" " '{print $1";"$2}' | awk -F";" '{if($1!="1")print }' | wc -l
    532

из них попало в кеш
root@proxy01:~ # cat ~/store_ALL.log | sort -k 1 -t';' | uniq -c | awk -F" " '{print $1";"$2}' | awk -F";" '{if($1!="1")print }' | grep ";H" | wc -l
    417




  попало повторно (после MISS)
  75
root@proxy01:~ # cat ~/store_ALL.log | sort -k 1 -t';' | uniq -c | awk -F" " '{print $1";"$2}' | awk -F";" '{if($1!="1")print $2}' | sort | uniq -c | sort -n -k 1 | grep "2 "|wc -l

uuoc

Кстати, PGDay в этом году проводится вновь. Уже открыта предварительная продажа билетов - https://pgday.ru/ru/2020.

Всем поклонникам PostgreSQL будем рады!)

есть pgcon.org она сугубо для разработчиков постгресса, правда в Канаде, но там действительно собирается весь core team и интересно. На https://pgday.ru/en/2020 в этом году будет очень узкая публика - только постгрес, соотв шанс встретить постгрессового разраборчика будет достаточно высокий.

Не знаю, зачем принялись про Постгрес рассказывать. Понятно, что в каждой отдельной тусовке есть свои оффлайн-мероприятия. Но речь шла про то, чтобы свести их всех вместе из разных песочниц, причём не только разработчиков СУБД, но и пользователей (как большинство из нас). Вот этот вариант кажется сомнительным из-за  холиварной составляющей, усиленной узкой выборкой.

Грубо говоря, для тру-сектанта на Хайлоаде есть 5% своих, 10% чужих и 85% непойми-кого. А на узкотематическом сборище будет 20% своих и 80% врагов чужих. Как тут не поубивать друг друга...

Как вы себе представляете , что пользователи кликзауса буду конфликтовать с пользователями ПГ? Часто в организациях зоопарк

Я сам выступал с докладом по ораклу на конференции pg days. И там была отдельная секция для коммерческих баз. Никто на меня не нападал и я тоже )