ҒА
Есть готовая ссылка по которому я получаю контент и мне нужна цена, но она высчитывается в js
Size: a a a
2021 November 10
ҒА
Span приходит пустым потому что как я понял js не отработал
SR
чем парсишь?
ҒА
Просто php шным способом пробовал
ҒА
Get content
ҒА
Искал в инете не нашел
ҒА
Может быть не так искал
2021 November 11
AM
Вариант
1. смотреть куда на js летит запрос за ценой, если он летит и отправлять такой же самому
2. Делать разобфускацию кода (скорее всего разминификацию и копаться в этом дерьме) js и смотреть логику вычисления и делать вычисления на своей стороне
3 использовать сторонние движки, типа хромиума. Я хз, как там эта библа называется, надо погуглить, точно есть для ноды
1. смотреть куда на js летит запрос за ценой, если он летит и отправлять такой же самому
2. Делать разобфускацию кода (скорее всего разминификацию и копаться в этом дерьме) js и смотреть логику вычисления и делать вычисления на своей стороне
3 использовать сторонние движки, типа хромиума. Я хз, как там эта библа называется, надо погуглить, точно есть для ноды
AM
А вообще, парсинг дело неблагодарное в плане работы :) не говоря уже об этичности
AM
ФантомJS, точно
ДР
почему неблагодарное то?) просто нужно не на пхп это все делать
AM
Потому что
1. Требования большие
2. Может часто ломаться
3. Приходится писать много логики, что бы не ломало всё
4. При больших объемах данных нет возможности контролировать процесс и количество спарсенной информации
5. При этом клиент на каждую "неточность", может ебать мозг, вплоть до перепаршевания
1. Требования большие
2. Может часто ломаться
3. Приходится писать много логики, что бы не ломало всё
4. При больших объемах данных нет возможности контролировать процесс и количество спарсенной информации
5. При этом клиент на каждую "неточность", может ебать мозг, вплоть до перепаршевания
AM
Помню как-то циан парсил 🤦🏽♂️ там вообще пагинация конченная была, объявления херпойми как дублировались, на сайте есть, в парсере нет, и копаешься потом в этом дерьме
AM
Или каспи товары, цены для истории собирал. Но тут себе. Потом нашел XML через гуголь, а они просто перестали обновлять :)
AM
Ещё приходилось парсить города и историю временных изменений. Там вообще пизда полная! И ещё клиент тяжёлый
ДР
ты просто используешь не те инструменты, я тебе как человек который промышленным масштабом парсинг делает говорю)
AM
Я думаю не от инструментов всё же зависит 😅 но ввязываться в спор не буду, выше описал проблему, которые не один инструмент не решит
ДР
даже результаты выдачи Гугла с его блоками по ацпи и капчами не сложно)
L
Ты в айдокторе что ли?
ДР