в случае фидов (которые нужны целиком всегда! и opencart 1.5 что подразумевает что они генерятся опенкартом и их на самом деле никогда не будет очень сильно много) конечно вам никогда не нужно будет его дробить

Я так понял, проблема где угодно, но не в Опенкарте ;)

ну я не топик стартер, но опенкарт, маженто, вордкоммерс все генерят фиды, если проблема не в опенкарте то какой смысл его упоминать в принципе. Если говорить в общем и теоретически, то предполагая что определнный тип фидов допустим подходит для всех клиентов, то используя что-нибудь вроде S3 (ну или nginx+flat files) и используя fixed-columns-length формат вы можете получить возможность как скачать файл полностью так и частично используя http range хедер - и это скорее упрется в сеть чем в проблемы на бакенде

главная мысль - еще раз повторю, никогда не использовать pagination для такого use case

И что тут невалидного?

коллеги, может кто поможет...
с 6ти ip адресов
178.154.155.101, 178.154.155.102, 5.45.211.60, 5.45.211.61 , 5.45.216.109, 5.45.216.110

идут запросы от useragent'а:
MFBOT, Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots)

http://yandex.com/bots)

типа яндекс бот...
и судя по whois'у yandex подсеть...

у яндекса есть правило проверки:
https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html

и по нему они не пробиваются, у них просто нет PTR записи вообще...


при этом ровно такой же useragent приходит например с
5.255.253.25, 37.9.113.50, 141.8.188.6

и там всё хорошо
5-255-253-25.spider.yandex.com.
37-9-113-50.spider.yandex.com.
141-8-188-6.spider.yandex.com.


коллеги мне говорят, что те 6ть ip'шек типа легальный бот...
но мы ж программисты, нельзя же так, есть правила, правила не соблюдены 🤷‍♂️
как вы считаете, это легальные яндекс боты или... ?

почему вас это беспокоит ?
они соблюдают правила robots.txt ?
от них идут "странные" запросы ?

потому что у меня эти запросы детектятся одной системой как shellbot

и... судя по правилам яндекса... она права 🤷‍♂️

и в чём вопрос ?)

это яндекс подсеть...

кто-то из яндекса сканит мой портал под видом официального яндекс паука...

первый же адрес по ptrarchive пропал в 2017 http://ptrarchive.com/tools/lookup2.htm?ip=178.154.155.101

последняя запись
20170614    178.154.155.101    178.154.155.101-kiev.dhcp.yndx.net [RU] [ASN=13238 YANDEX LLC]

скан-то в чём заключается ?

в обходе страниц, в чём ещё

вернёмся к https://t.me/HighLoadTalks/32857

мне нужно знать это шелбот или нет

варианты...
1. это официальный бот яндекса (он делает 1 запрос в 3-4 секунды почти равномерно), но почему-то не соответствует правилам яндекса
2. это кто-то из яндекса играется, но слишком уж много и давно работает
3. это скан-шелбот из официальной подсети яндекса про который не знают яндексовцы...

что такое шелбот ?
я просто не в курсе.

P.S> я всё равно не могу понять что вас беспокоит.
да, в интернете все всех сканируют.
в чём проблема ?
AS Яндекса ?
подозреваете, что их поломали?
репортите.