AK
Но, это было на виртуалке. Это может влиять?
Size: a a a
2019 July 17
МС
Но, это было на виртуалке. Это может влиять?
Агась
AK
Хм
АН
Тут есть два пути:
1. Поставить анакоду и скапаи
2. Поставить чистый питон, поипаться и поставить скрапи. Я как то умудрялся его поднять, но это гемор. Чуть ли не все зависимости руками ставить
1. Поставить анакоду и скапаи
2. Поставить чистый питон, поипаться и поставить скрапи. Я как то умудрялся его поднять, но это гемор. Чуть ли не все зависимости руками ставить
Просто это ппц, я примерно с теми же ошибками встречался на другом ноуте, но там все таки заработало, тут же что помогало там - не помогает(
DJ
что то я как то даже удивлен что столько людей windows пользуют для программирования
АН
что то я как то даже удивлен что столько людей windows пользуют для программирования
Не сказал бы, что горжусь этим, но вот как-то так..
DJ
я когда вникал в питон тоже на винде сидел, и тоже возился с зависимостями, анакондами, потом посмотрел в виртуалке как оно в линуксах все просто делается и не сразу, но плавно перелез на линукс и в целом очень доволен
AN
Roman V
Если винда 10 - прекрасно работает под wsl, ставите убунту через стор.
Согласен с автором
МС
я когда вникал в питон тоже на винде сидел, и тоже возился с зависимостями, анакондами, потом посмотрел в виртуалке как оно в линуксах все просто делается и не сразу, но плавно перелез на линукс и в целом очень доволен
Ахах, а чего тогда удивляешься? Ключевое слово "не сразу", как прижмёт человека - перелезет на линуха...😁
DJ
ну да, наверное нужно созреть, но все равно думалось что среди кодеров больше линуксоидов
B
Есть ещё макось(почти все как в линуксе) только имхо удобнее :)
B
И скрапи нормально встаёт
DJ
только оно других денег совсем стоит)
S
только оно других денег совсем стоит)
Да норм стоит, как такого же класса ноут в вин сегменте
M
Делаю так запрос
За первый обход он делает запросы и все хорошо
И затем, в цикле пишет что урл сгенерировал и сделал запрос но в parse респонс не высвечивает
for url in self.start_urls:
yield Request(url=api.format(url), method="POST", headers=headers, meta=self.meta, callback=self.parse, errback=self.error_handler)
За первый обход он делает запросы и все хорошо
И затем, в цикле пишет что урл сгенерировал и сделал запрос но в parse респонс не высвечивает
def parse(self, response):
print(response)
B
А что за второй обход? dont_filter ?
M
А что за второй обход? dont_filter ?
Донт филтер помог
B
Welcome
B
Что-то я никак не разберусь с scrapy-splash
Задача:
-Есть сайт
-Нужно сделать запрос на сайт, взять куки
-Со спокойной душой парсить
Проблема:
-При запросе на сайт идёт 2 запроса
-У обоих статус код: 200
-Первый запрос выдаёт просто жс, который и генерирует эти куки
-Надо как-то обработать этот жс
И я не могу понять, я вроде все в сеттингс вписал и начал делать запрос, но все равно тупо жс стоит и все. Что делать?
Задача:
-Есть сайт
-Нужно сделать запрос на сайт, взять куки
-Со спокойной душой парсить
Проблема:
-При запросе на сайт идёт 2 запроса
-У обоих статус код: 200
-Первый запрос выдаёт просто жс, который и генерирует эти куки
-Надо как-то обработать этот жс
И я не могу понять, я вроде все в сеттингс вписал и начал делать запрос, но все равно тупо жс стоит и все. Что делать?
Разобрались?