Size: a a a

Startup never sleeps

2020 December 17

U

User in Startup never sleeps
Рейт-лимит частично решается регистрацией пачки приложений / групп и использованием анонимных / принадлежащих группам ключей.

На каждое приложение создаётся execute-метод, чтобы батчить запросы.

Запросы гонятся через пачку тор-проксей(один токен-один инстанс тор), чтоб не триггернуть лимит по ip. Докер отлично справляется с развёртыванием.

Бо́льшая проблема — запись данных. Блобы в монге работают, но как промежуточный сторадж, а вот сразу в индексированную бд класть не удастся, если достаточно быстро качать. Несколько лет назаж укладывал в mysql через именованный пайп и load data infile, там получалось до полумиллиона строк в секунду, но это был отдельный процесс, который выступал как ETL между хранилищем сырых данных, а не было записью напрямую.
источник

U

User in Startup never sleeps
User
Рейт-лимит частично решается регистрацией пачки приложений / групп и использованием анонимных / принадлежащих группам ключей.

На каждое приложение создаётся execute-метод, чтобы батчить запросы.

Запросы гонятся через пачку тор-проксей(один токен-один инстанс тор), чтоб не триггернуть лимит по ip. Докер отлично справляется с развёртыванием.

Бо́льшая проблема — запись данных. Блобы в монге работают, но как промежуточный сторадж, а вот сразу в индексированную бд класть не удастся, если достаточно быстро качать. Несколько лет назаж укладывал в mysql через именованный пайп и load data infile, там получалось до полумиллиона строк в секунду, но это был отдельный процесс, который выступал как ETL между хранилищем сырых данных, а не было записью напрямую.
Аккаунт для регистрации приложений должен быть левым — мейлру судился с double data, которые продавали анализ результатов парсинга кредитным бюро. Не помню, чем закончилось, но лучше быть для их юристов невидимым, чем словить cease and desist и взаимодействовать с российской Фемидой.
источник

U

User in Startup never sleeps
George ꙮ
А вот такой вопрос -- мне нужны vk шные сервис ключики, я для исследовательских целей качаю социальный граф через friends.get, а там большой time limit. Нет идей, как это обойти?
А если для совсем исследовательских целей, можно им написать, у них даже где-то в доках контакты для ресёрчеров были
источник

MR

Maxim Rakov in Startup never sleeps
#whios учусь в ИТМО на 1 курсе
источник

В

Вахтер in Startup never sleeps
@asdkekkekkek молчит и покидает чат.
источник
2020 December 18

Gꙮ

George ꙮ in Startup never sleeps
User
А если для совсем исследовательских целей, можно им написать, у них даже где-то в доках контакты для ресёрчеров были
Поддержка отвечает что вск в порядке, проблем нет, качайте с рейт лимитом, мешать не будем
источник

В

Вахтер in Startup never sleeps
@DigitalDud молчит и покидает чат.
источник

В

Вахтер in Startup never sleeps
@rachel16\_16 молчит и покидает чат.
источник

v

vixryawa in Startup never sleeps
#whois мфти 4 курс. занимаюсь робототехникой в лабе, интересно, но хочется еще деньги получать
источник

I🍵

Iván 🍵 in Startup never sleeps
Да, мы разочарованы. Студентам мфти обычно есть, что интересного рассказать о себе кроме факта обучения в физкульттехникуме
источник

v

vixryawa in Startup never sleeps
:( дайте осмотреться
источник

🌸Ж

🌸 anatoly 🌠 Жуковски... in Startup never sleeps
vixryawa
#whois мфти 4 курс. занимаюсь робототехникой в лабе, интересно, но хочется еще деньги получать
Бот слишком короткое сообщение не заметил и все равно кикнет, нужно побольше воды налить
источник

I🍵

Iván 🍵 in Startup never sleeps
🌸 anatoly 🌠 Жуковский (Quasar)
Бот слишком короткое сообщение не заметил и все равно кикнет, нужно побольше воды налить
воды не нужно, нужно по сути
воду можно, если ее в вино можешь превратить
источник

🌸Ж

🌸 anatoly 🌠 Жуковски... in Startup never sleeps
Iván 🍵
воды не нужно, нужно по сути
воду можно, если ее в вино можешь превратить
Да ладно мы все всё понимаем
источник

Б

Безликий Товарищ... in Startup never sleeps
Iván 🍵
Да, мы разочарованы. Студентам мфти обычно есть, что интересного рассказать о себе кроме факта обучения в физкульттехникуме
Даже не знаю что расказать, кроме очередной кулстори про то как я ловко спихнул %предметнейм%
источник

В

Вахтер in Startup never sleeps
vixryawa
#whois мфти 4 курс. занимаюсь робототехникой в лабе, интересно, но хочется еще деньги получать
@vixryawa, Спасибо, вы приняты в сообщество! У нас целая экосистема чатов, подробнее в закрепленном сообщении.
источник

🌸Ж

🌸 anatoly 🌠 Жуковски... in Startup never sleeps
Ура успех
источник

IM

Ilya Melnikov in Startup never sleeps
vixryawa
#whois мфти 4 курс. занимаюсь робототехникой в лабе, интересно, но хочется еще деньги получать
А что конкретно делаешь по робототехнике?
источник

v

vixryawa in Startup never sleeps
Ilya Melnikov
А что конкретно делаешь по робототехнике?
разрабатываю устройство + программный комплекс для haptic feedback
источник

v

vixryawa in Startup never sleeps
паяю всякие штуки, программирую ардуину и в ros
источник