СХ
Nikolay
спасибо. тут 95 GB, created 6 days ago. это скорее всего сжатое ведь. т.е развернем и пара сотен гигов. на одну машину не влезет.
ээээ... вы на калькулятор развернуть хотите чтоли)
Size: a a a
2020 October 15
SB
Nikolay
спасибо. тут 95 GB, created 6 days ago. это скорее всего сжатое ведь. т.е развернем и пара сотен гигов. на одну машину не влезет.
Там карты целиком в XML формате, очень много инфы, не только координаты улиц. Но на смартфоне оффлайн поиск по всему миру вряд ли возможно сделать.
N
оно хранится 1 раз в 1 экземпляре
сколько по вашему? допустим не 200, а 50. вот уже набегает 50 гигов. в принципе с учетом https://planet.openstreetmap.org/ звучит логично.
SL
Nikolay
спасибо. тут 95 GB, created 6 days ago. это скорее всего сжатое ведь. т.е развернем и пара сотен гигов. на одну машину не влезет.
прямо сейчас времени нет сделать PoC, но что-то мне говорит что развернув 95 gb (даже если это 1tb) и наложив сверху Elasticsearch - я решу эту задачу даже на домашнем компьютере (без шардирования и кластеризации)
p
Nikolay
сколько по вашему? допустим не 200, а 50. вот уже набегает 50 гигов. в принципе с учетом https://planet.openstreetmap.org/ звучит логично.
заводится список всех улиц в городе, а дальше вместо улицы пишется индекс в этом списке. uint32_t должно хватить
N
прямо сейчас времени нет сделать PoC, но что-то мне говорит что развернув 95 gb (даже если это 1tb) и наложив сверху Elasticsearch - я решу эту задачу даже на домашнем компьютере (без шардирования и кластеризации)
ок . понял, что бы предлагаете сделать инвертированный индекс. сомнения в том, что он только на одной тачке поместится.
OS
улицы называются словами
слов вообще не так уж много
слов вообще не так уж много
N
заводится список всех улиц в городе, а дальше вместо улицы пишется индекс в этом списке. uint32_t должно хватить
ок. спасибо. на одной машине он поместится в памяти? скажем если мы даже возмет 128Гигов оперативки?
OS
Конечно было бы проще, если бы всё человечество тупо перешло на https://what3words.com/
SL
Nikolay
ок . понял, что бы предлагаете сделать инвертированный индекс. сомнения в том, что он только на одной тачке поместится.
»сомнения в том
сомнения разрешаются практикой (PoC), тестовые данные у вас есть, пример инструмента который может помочь тоже.
сомнения разрешаются практикой (PoC), тестовые данные у вас есть, пример инструмента который может помочь тоже.
p
Nikolay
ок. спасибо. на одной машине он поместится в памяти? скажем если мы даже возмет 128Гигов оперативки?
а зачем весь мир поднимать в память? поиск же происходит в конкретном городе.
N
»сомнения в том
сомнения разрешаются практикой (PoC), тестовые данные у вас есть, пример инструмента который может помочь тоже.
сомнения разрешаются практикой (PoC), тестовые данные у вас есть, пример инструмента который может помочь тоже.
если с другой стороны посмотреть. вот допустим они не помещаются. как вы сделаете шардирование?
SL
Конечно было бы проще, если бы всё человечество тупо перешло на https://what3words.com/
смешная штука, но для меня, как человека из мяса и костей, было бы приятно если есть некая логическая связь между соседними клетками
N
а зачем весь мир поднимать в память? поиск же происходит в конкретном городе.
google map ищет по всему миру. сейчас проверил. зашел в них. набрал улицу. она показала мне результаты и во франции и в России
AP
вот оно, новое поколение, привыкшее всё нафиг заливать железом.
То, что офлайн карта москвы для навигатора, например, весит пару сотен мегабайт, никого не смущает? )
То, что офлайн карта москвы для навигатора, например, весит пару сотен мегабайт, никого не смущает? )
AP
то, что прямой и обратный геокодинг для россии влезает в несколько гигов? )
OS
смешная штука, но для меня, как человека из мяса и костей, было бы приятно если есть некая логическая связь между соседними клетками
смотря для каких целей
как человек, выросший в городе без улиц - я немного шире смотрю на топик 🙂
как человек, выросший в городе без улиц - я немного шире смотрю на топик 🙂
OS
не говоря уже о целых странах, где люди живут без концепции улиц
PD
Nikolay
Архитекторы, а как гугл или яндекс мэп делают поиск по карте? адрессов же великое множество. скажем, что миллиадр. вот только чтобы хранить информацию о долготе и широте нужно 16Гигов, а если еще хранить что-то об аддресе( скажем 200 байт), то это уже 3.2 терабайта. на одну машину не поместиться. но они как-то обрабатывают такой кейс, что я ввожу только название улицы, а они выдают мне список в котором есть города Росии, Франции и т.д. т.е они ищут по всему миру
А как вообще Google search устроен - не задумывался? Там данных куда больше.
Поиск по адресам - простая частная задача.
Поиск по адресам - простая частная задача.
N
А как вообще Google search устроен - не задумывался? Там данных куда больше.
Поиск по адресам - простая частная задача.
Поиск по адресам - простая частная задача.
расскажи, если знаете. интересует вопрос шардирования данных.