t
• • •
Ребят, тут такое дело, очень хочется написать парсер картинок с сайта, но дело в том, что с вебом я никогда не работал. (сам сайт: https://wallhaven.cc)
По сути хочется спарсить все отлайканые картинки, которые хранятся в специальной "папке" юзера
(тут сразу же необходима авторизация, куки или ещё что-то, не уверен)
Структурно папка состоит из страниц, url каждой выглядит так: (домен/favorites?page=1)
На каждой из страниц около 10 картинок-превью, которые содержат ссылки на страницы с source картинкой, так сказать
Таким образом нужно перебрать все url от n до x, для каждой из url запастись ссылками на source страницу, потом перебрать эту страницу на наличие img элемента, и скачать этот элемент в отдельную папку
Последняя страница не содержит img элементов, поэтому по идее можно просто while-ом долбануть
Дополнительно очень хочется реализовать что-то вроде базы данных, которая хранит уже скачанные в архив картинки, и исходя из записей по базе и url страницы было произведено либо скачивание, либо пропуск конкретно этого элемента (дада собираю анимедевочек к себе на компутер =З)
Собственно вопрос: Какие либы понадобятся для всего вышеописанного? Что следует изучить перед тем как шарить по "how to", нужна ли какая-нибудь теория относительно веба и дата баз? Можно ли найти ответ на все вопросы в какой-то одной книге? Вроде задача не сложная, но куда ступать пока не понимаю)
По сути хочется спарсить все отлайканые картинки, которые хранятся в специальной "папке" юзера
(тут сразу же необходима авторизация, куки или ещё что-то, не уверен)
Структурно папка состоит из страниц, url каждой выглядит так: (домен/favorites?page=1)
На каждой из страниц около 10 картинок-превью, которые содержат ссылки на страницы с source картинкой, так сказать
Таким образом нужно перебрать все url от n до x, для каждой из url запастись ссылками на source страницу, потом перебрать эту страницу на наличие img элемента, и скачать этот элемент в отдельную папку
Последняя страница не содержит img элементов, поэтому по идее можно просто while-ом долбануть
Дополнительно очень хочется реализовать что-то вроде базы данных, которая хранит уже скачанные в архив картинки, и исходя из записей по базе и url страницы было произведено либо скачивание, либо пропуск конкретно этого элемента (дада собираю анимедевочек к себе на компутер =З)
Собственно вопрос: Какие либы понадобятся для всего вышеописанного? Что следует изучить перед тем как шарить по "how to", нужна ли какая-нибудь теория относительно веба и дата баз? Можно ли найти ответ на все вопросы в какой-то одной книге? Вроде задача не сложная, но куда ступать пока не понимаю)
