GK
crawlera нужна для того, чтобы обойти баны по ІР и аккуратно брать данные по расписанию
Size: a a a
2017 August 30
GK
portia бесплатна, но бывает глючновата
sn
sn
portia бесплатна, но бывает глючновата
получается portia это типа UI над API
A
Да что угодно умеет работать с xpath
A
Плюсы, питон, джава, руби и т.д.
sn
xpath может не везде пролезть...
если сервер будет отклонять запросы
если сервер будет отклонять запросы
A
Берешь сайт с паблик проксями и качаешь через них
A
многие либы поддерживают прокси
2017 September 06
AR
Результаты исследования спроса на открытые данные (собрано и обработано более 900 анкет):
https://opendata.by/blog/1535
https://opendata.by/blog/1535
H
Всем привет :)
AR
привет!
AR
Всем привет :)
расскажи о себе:)
H
Хм, меня Стас зовут. Работаю в епаме. Фриланшу часто. Пишу на Java, Go, изучаю Clojure. Люблю работать с соц сетями и мессендежерами, а также вытаскивать то, чего сложно вытаскивать :)
AR
Очень хороший набор компетенций:)
BB
А можно про вытаскивание невытаскиваемого поподробнее?
H
Ну, в основном это связано с закрытыми апишками, залочеными возможностями сервисов и подобного. Очень люблю тырить данные с сайтов, когда они не дают этого делать :D
H
Ковыряться, в общем, люблю