разумеется один, потому что условие в ифе всегда тру

у тебя if всегда тру, потому что ты не меняешь урл на что у тебя там в условии. Поэтому тут что есть иф, что нет, одинаково

если не хочешь дебажить дебаггером, учись дебажить глазами

Как мне вытащить текст, который лежит в  <a>

<div1>
<div2>
<...>
<div class="ap_col_wrap">
  <a href="link"> text </a>

Пробую так (из шелла):

response.css('.ap_col_wrap a.tag::text').getall()

Паук полностью цепочку div'ов хочет?
Получаю пустой список в ответ.

<div1>
<div2>
<...>
<div class="ap_col_wrap">
  <a href="link"> text </a>

response.css('.ap_col_wrap a.tag::text').getall()

Что такое a.tag?

По моим надеждам: <a href="link"> text </a>

a.tag это a с классом tag

попробуй a::text (без .tag)

О, так работает, спасибо большое.

https://github.com/cyluxx/robula-plus
Там еще были публикации/проекты на эту тему. Гуглится по Robust xpath locators. Вполне рабочая история, я юзал.

тут задача немного другая ) я автоматически определяю нужные блоки на странице, но нужно запомнить путь до этих блоков ) если запоминать абсолютный путь - это плохая история, т.к. верстка может чуть отличаться от страницы к странице. Если запоминать только текущий класс - классы бывают не уникальные. Самое простое, что приходит в голову, примерный алгоритм:
- берем название класса
- проверяем, уникальный ли он
- если уникальный - оставляем
- если не уникальный - двигаемся вверх по дереву, пока не найдем первый уникальный в пределах страницы класс

и т.п. )

но, наверняка же кто-то это уже сделал и в виде библиотеки на github/pip выложил )

что-то типа https://selectorgadget.com/ ?

Вопрос, иногда емейлы защищены js скриптом,  как это решить на уровне scrapy?

Сделать то, что делает скрипт

Зачастую там несложный шифр, и код можно воспроизвести на питоне

Ну или аякс просто

я почитал, про трехэтапку, просто пока учусь и пытаюсь понять, как реализовать в коде, спасибо за ответ!

Что это?

мог неправильно выразиться, как я почитал кодируется в 3 этапа просто.

Да вроде не в три, но ок