Телеграмм чат группы scrapy

попробуй запуситить, там одна небольшая категория, сразу увидишь, вот эта штука не отрабатывает

12:10пожаловаться #1

ну delay 5секунд че то не особо я наблюдаю, хз может из-за этого, но я думаю фреймворк должен такое сам хендлить

12:11пожаловаться #2

короче колли не умеет декомпресить gzip

12:30пожаловаться #3

или добавь кастомный, или задай

  itemCollector.OnRequest(func(r *colly.Request) {
    r.Headers.Set("accept-encoding", "identity")
  })

12:30пожаловаться #4

Andrey Rahmatullin in Scrapy

беда

12:31пожаловаться #5

та да, по скорости го почти самый топ, но по готовым решениям и скорости разработки...

12:32пожаловаться #6

воу, это че за магия?)

12:32пожаловаться #7

че за gzip?

12:32пожаловаться #8

сервер сжимает ответы, поэтому колли валился с unexpected EOF
добавь себе ещё обработчики c.OnError

будет больше инфы

12:34пожаловаться #10

ох, спасибо, низкоуровнево как то)) не ожидал) но чувсвтвую поковыряю денек еще да на scrapy вернусь

12:35пожаловаться #11

работу работать надо((

12:35пожаловаться #12

Та го крутой, просто привыкнуть нужно. А это минимум месяц кодинга

12:37пожаловаться #13

мне интересен он, но по сабжу доков и примеров почти нет

12:39пожаловаться #14

у колли документация из серии "мы забрали все ссылки со страницы, теперь вы умеете парсить"

12:40пожаловаться #15

Alexander B

мне интересен он, но по сабжу доков и примеров почти нет

Есть, ищи лучше. И не забывай if err != nil, не дропай ошибки.
Самое крутое в го, это горутины, пока до них не доберешься, особо не почувствуешь язык.

12:42пожаловаться #16

Elisei Badanin in Scrapy

Михаил Синегубов

так там же, вроде, только один метод, "выдать дату последнего снапшота", или я не туда смотрю?

Даты точно получить можно было, я уже не помню, давно парсил