This article focuses on forming Document Embeddings from the Word Embeddings generated using different language models.

Petrovich, an inflector for Russian anthroponyms. Contribute to petrovich/petrovich-ruby development by creating an account on GitHub.

#анонс

Parsing Conf

Митап про сбор данных

————————————
Дата: 7 мая (пятинца)
Время: 20-00 по Москве
————————————

@fobscraft. "Микрооптимизации парсинга в промышленных масштабах"
Парсинг нужно делить на разные итерации задач, а именно, краулинг, временное хранение данных (очереди, кафка), обработка данных, запись данных, прокси, контейнеры. Объясню, почему я считаю важным разделение каждой задачи на отдельные этапы и как это все между собой связывать, как подбирать инструменты и языки под исполнения каждой задачи.

@Verz1Lka. "Как добывать данные когда их не хотят отдавать"
1. Почему так происходит? Сервис хочет отдавать данные только реальным пользователям. Что нам делать? Пытаться выглядеть как реальный пользователь.
2. Уровни симуляции пользователя: заголовки, IP, Сессии, Javascript, Сложные отпечатки (js fingerprint, network fingerprint).
3. Заголовки: порядок важен, регистр важен. Пробелы важны.
4. IP. Адреса Тора, плохие прокси, дата центр прокси, всё это можно проверить.
5. Сессии
6. Javascript.…