МС
Andrii
короче, я понял, убрать йелд и просто писать весь луп в файл ?)
🤬
Size: a a a
2020 October 30
AR
К
ну, у меня не настолько все "круто" :)). Сам паук по функции для базы :)
Ничего страшного, всё можно стартовать с небольших размеров. А там глядишь тебе и PR будут кидать
i
Можно ли ускорить работу Scrapy с кэшем на уровне кода? Если да, то в какую сторну смотреть?
я вспомнил как в скрапи кажется 1.7 выпилили leveldb кэш и заплакал, ыыыыыыыыы(((
i
Господа! Приветствую!
А никто не может подсказать как правильно организовывать работу с Scrapy - RabbitMQ? Хотелось бы увидеть пример работающего middleware и/или pipeline. Своими силами у меня получается как-то корявенько - очень часто теряется подключение по таймауту
А никто не может подсказать как правильно организовывать работу с Scrapy - RabbitMQ? Хотелось бы увидеть пример работающего middleware и/или pipeline. Своими силами у меня получается как-то корявенько - очень часто теряется подключение по таймауту
я постепенно пришел к мысли, что нафиг я буду эти очереди сам реализовывать и последовательность задачек, и лучше взять pipeline framework, вида apache airflow или luigi и там примерно то, что мне надо встроить в текущую инфраструктуру
ДТ
Здравствуйте,в моей голове появился интересный вопрос,как при открытии файла в название указать / ,чтобы это не считалась как переход в новую дирикторию?надеюсь понятно объяснил
S
Здравствуйте,в моей голове появился интересный вопрос,как при открытии файла в название указать / ,чтобы это не считалась как переход в новую дирикторию?надеюсь понятно объяснил
Почитать какие символы могут быть в названии
ДТ
Почитать какие символы могут быть в названии
хахах,я уже нашёл ответ
S
хахах,я уже нашёл ответ
За 30 секунд?
ДТ
не считал ,но быстро
A
1600 гривен
От 100$
ДТ
Andrii
От 100$
реально?
ДТ
Andrii
От 100$
не,там работа на 2 часа
A
реально?
Сколько времени потратил?