AK
What is the difference between Scrapy spider Middleware and Downloader Middleware?
Size: a a a
2020 February 27
2020 February 28
i
Всем привет, подскажите пожалуйста, какие таблицы базы данных должны быть для веб-сканера интернета, чтобы потом поисковую систему на ней сделать.
слишком общий вопрос. типа гугль-яндекс на дому построить или это просто задание курсовое какое-то расплывчатое? могу порекомендовать проект common crawl, на нем как на кошке можешь потрениться
EB
все украдено до вас(с) берем какой-нибудь сфинкс, индексируем инет, убиваем гугл/яндекс___
EB
да не, скорее всего лавры гугла покоя не дают
EB
А это не тот чувак с раздвоением личности, который аккаунт переименовывал?
i
Всем привет, подскажите пожалуйста, какие таблицы базы данных должны быть для веб-сканера интернета, чтобы потом поисковую систему на ней сделать.
может вот это нужно? https://eax.me/postgresql-full-text-search/
на хабре кстати видел цикл статей про это дело. заодно там же можно погуглить и другие текстовые поисковые движки упоминаемые в статье.
на хабре кстати видел цикл статей про это дело. заодно там же можно погуглить и другие текстовые поисковые движки упоминаемые в статье.
i
А это не тот чувак с раздвоением личности, который аккаунт переименовывал?
который типа девушка взявшая погонять акк парня?
EB
ага
EB
не, не он
EB
ну а в целом, правильно сформулировать вопрос уже 90% решения
VB
Подскажите как лучше обустроить врапер над апихой, где можно почитать/посмотреть примеры?
EB
какой-нибуть shopify как вариант
EB
или палку
