Size: a a a

2020 July 16

zl

ziggy lucid in Go-go!
сонная википедия
они должны сохраниться в Jar
отсюда http://go-colly.org/docs/best_practices/storage/
Colly has an in-memory storage backend to store cookies and visited URLs, but it can be overwritten by any custom storage backend which implements colly/storage.Storage.
источник

d

dmitriy in Go-go!
ziggy lucid
отсюда http://go-colly.org/docs/best_practices/storage/
Colly has an in-memory storage backend to store cookies and visited URLs, but it can be overwritten by any custom storage backend which implements colly/storage.Storage.
Ну написано,что он есть, но возможно его заюзать надо?
источник

с

сонная википедия... in Go-go!
ziggy lucid
отсюда http://go-colly.org/docs/best_practices/storage/
Colly has an in-memory storage backend to store cookies and visited URLs, but it can be overwritten by any custom storage backend which implements colly/storage.Storage.
ну я глянул код, там storage это просто место для хранения сериализованных куков
источник

с

сонная википедия... in Go-go!
который реализует http.CookieJar
источник

zl

ziggy lucid in Go-go!
dmitriy
Ну написано,что он есть, но возможно его заюзать надо?
в приводимых там примерах ничего этого нет
просто берешь и юзаешь как есть по дефолту
источник

zl

ziggy lucid in Go-go!
попробую вручную указать конечно, может поможет
источник

с

сонная википедия... in Go-go!
https://github.com/gocolly/colly/blob/master/colly.go#L406
ну вот они в конструкторе создают Jar
источник

с

сонная википедия... in Go-go!
Init() вызывается конструктором
источник

с

сонная википедия... in Go-go!
который NewCollector()
источник

с

сонная википедия... in Go-go!
а потом просто дают его http клиенту
источник

zl

ziggy lucid in Go-go!
но в заголовках запроса реально пусто
юзерагент есть и все, больше ничего, хотя должны были подцепиться куки с предыдущей страницы
Headers: (*http.Header)(0xc00021c038)((len=1) {
 (string) (len=10) "User-Agent": ([]string) (len=1 cap=1) {
  (string) (len=115) "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"
 }
}),
источник

zl

ziggy lucid in Go-go!
у меня собственно вопрос - куки надо прикручивать к запросу вручную? в свойствах коллектора они есть, но в запрос не попадают почему-то
источник

zl

ziggy lucid in Go-go!
почему-то никакими куками тут и не пахнет
https://github.com/gocolly/colly/blob/bf058c816318bc91b0670cf8a11b91238d0c8060/colly.go#L538
в заголовок тыкается юзерагент и на этом всё
источник

с

сонная википедия... in Go-go!
указатель на Jar хранит в себе гошный http клиент, вроде как он должен добавлять куки
источник

K

Kirill in Go-go!
ребята, кому что нравится использовать в качестве сервера? http/fasthttp? что посоветуете?
источник

DP

Daniel Podolsky in Go-go!
посоветуем уходить со стандартного, ТОЛЬКО если вы будете знать, зачем
источник

p

pragus in Go-go!
Kirill
ребята, кому что нравится использовать в качестве сервера? http/fasthttp? что посоветуете?
Советую перестать оперировать "нравится" и исходить из практических соображений
источник

p

pragus in Go-go!
Kirill
ребята, кому что нравится использовать в качестве сервера? http/fasthttp? что посоветуете?
Вот вас чем не устраивает net/http?
источник

K

Kirill in Go-go!
pragus
Вот вас чем не устраивает net/http?
мне все нравится в нем, но я сегодня ознакомился с fasthttp и увидел, что он работает быстрее,я подумал, возможно есть смысл взять его в новый проект, и решил расширить свою мысль вопросом в чат сюда :)
источник

K

Kirill in Go-go!
да, такой вот популизм :)
источник