Size: a a a

2021 June 03

H

Harsh in Scrapy
like 50+ mb
источник

H

Harsh in Scrapy
we were trying to download pdfs
источник

H

Harsh in Scrapy
when message is : "Google Drive can't scan this file for viruses."

i,e this file: https://drive.google.com/u/0/uc?export=download&confirm=-V2S&id=1QU_zOqHU2OWI7nYKclpIy8of2dgBa6l9
источник

МС

Михаил Синегубов... in Scrapy
одно из двух
1. ты где то что то используешь, которое добавляет эти переводы строк
2. оно уже есть в тексте изначально

лоадер сам ничего не добавляет
источник

ИК

Иван Кемаев... in Scrapy
Ну у них написано в доке в разделе asyncio что то непонятное, ну ок, можно ли делать асинхроную очередь задач?
источник

ИК

Иван Кемаев... in Scrapy
Переслано от Иван Кемаев...
Всем привет, кто-нибуль знает как в scrapy обстоят дела с асиннхронностю? (Можно ли делать асирхроные запросы и асинхронные задачи?)
источник

AR

Andrey Rahmatullin in Scrapy
скрапи асинхронный и без использования asyncio
источник

AR

Andrey Rahmatullin in Scrapy
что такое  делать асинхроную очередь задач в скрапи?
источник

МС

Михаил Синегубов... in Scrapy
изначально скрапи (в ядре) написан на асинхронном твистеде. Недавно (относительно) стали добавлять поддержку asyncio
источник

ИК

Иван Кемаев... in Scrapy
А все пон
источник

MZ

Marsel Ziatdinov in Scrapy
Дело в том, когда я использую обычные словари, то всё печатается в строку. Ещё я сам убираю '\n'. Если  я закомментирую все эти функции, то ничего не изменится. Может дело в процессорах?
источник

AR

Andrey Rahmatullin in Scrapy
скорее дело в неправильном понимании
источник

AR

Andrey Rahmatullin in Scrapy
я кстати тут не вижу \n
источник

MZ

Marsel Ziatdinov in Scrapy
источник

MZ

Marsel Ziatdinov in Scrapy
Они есть, если смотреть variables
источник

MZ

Marsel Ziatdinov in Scrapy
debug
источник

МС

Михаил Синегубов... in Scrapy
Ещё раз, само оно ничего не делает
Отображение на экране, может
источник

AR

Andrey Rahmatullin in Scrapy
показывай
источник

МС

Михаил Синегубов... in Scrapy
Кстати, а текст новости от тегов чем чистишь? Не html2text случайно?
источник

МС

Михаил Синегубов... in Scrapy
источник