Спасибо за статью. Интересно, но не отвечает на вопрос, как понять можно ли парсить?
В статье есть пункт, что компания может указать правила обращения с их сайтом и запретить это там. Где обычно располагают такие правила, страница сайта или какой-то файл в структуре?