Size: a a a

2021 June 20

Г

Гоша in gislab
В qgis такой конверт центров пикселей в точки есть
источник

Г

Гоша in gislab
источник

EL

Egor Larin in gislab
вот это повезло! спасибо! пойду попробую
источник

EL

Egor Larin in gislab
что-то много точек)
Dimensions  X: 3536 Y: 6454 Bands: 4
источник

AB

Anton Biatov in gislab
Большие растры в R ?

Привет всем, Подскажите пожалуйста, как заставить R переварить большие растры ?

Размер растров около 38 млрд пикселей 4 канала, около 35 гигов каждый -  геотифы сжатые LZW сжатием.

Пробую так:

rasterOptions(tmpdir = "E:/R/tempdir")

rasterOptions(todisk = TRUE)

start_img_06 <- brick("TIF/chernihivska_16_global_monthly_2020_06_mosaic.tif")

plotRGB(start_img_06, r = 1, g = 2, b = 3, axes=TRUE, main="img_06")  

VARI_calc <- function(x) {
#      ((x[,2]-x[,1])/(x[,2]+x[,1]-x[,3])+1)*100
    ((x[,2] - x[,1])/(x[,2] + x[,1] - x[,3]) + 1)*100
}

system.time( VARI_06 <- calc(start_img_06, VARI_calc) )

plot(VARI_06,  main = "VARI_06",  axes = FALSE, box = FALSE)

img_06 <- stack(start_img_06[[1:3]]*10, VARI_06[[1]])

writeRaster(img_06, filename="img_06.tif", format = "GTiff", datatype='INT2S', overwrite=TRUE)

на plotRGB() еще хватает ресурсов, отображает результат.
Сыпется на строчке VARI_06 <- calc(start_img_06, VARI_calc),  думает, считает, во временную папку пишет большие файлы, но потом вылетает.

Вылетает как и из Rstudio  так и из Rgui

R-4.1.0
Windows 10 64-bit
RAM: 128 Gb
процесор i9 8 ядер 2.5 GHz

потом я хочу еще посчитать медиану между такими растрами поканально

raster_median <- overlay(img_06, img_07, img_08, img_09,  fun=median, na.rm = TRUE)

Такое даже на фрагменте данных считает долго, но с полными растрами пока даже начальные этапы пройти не получается.

Свободного места на диске Е 650 Гигов

На вырезанном небольшом фрагменте все работает даже без rasterOptions(todisk = TRUE)


Подскажите пожалуйста, как можно такие большие растры пересчитать ?
источник

A

Antonio in gislab
Первое, с чего я бы советовал начать - поиграть со значениями опций maxmemory и chunksize у rasterOptions. Возможно, что не все ваши 128 гигов оперативки используются
источник

A

Antonio in gislab
Во-вторых, после увеличения maxmemory можно отключить принудительный  todisk=TRUE, потому что запись на диск - это очень медленно. При этом если r всё-таки не будет хватать оперативки, он сам включит себе запись на диск.
источник

A

Adam in gislab
Можно поинтересоваться,  а что за растры такие?  про что такие большие?
источник

i

igorr in gislab
Откроет ли такой Шейп?
источник

EL

Egor Larin in gislab
q gis да)) но очень долго и способ отрисовки напоминает струйный принтер
источник

EL

Egor Larin in gislab
я еще умудрился туда айди запихать)
источник

i

igorr in gislab
А для чего это?
источник

EL

Egor Larin in gislab
источник

EL

Egor Larin in gislab
балаюсь
источник

AB

Anton Biatov in gislab
Скачанные по TMS месячные RGB композиты  Planet
источник

AB

Anton Biatov in gislab
maxmemory не помогло, т.к. промежуточные растры получаются гигов по 250.

Помогло после добавления раста в переменную явно указал что растр переваривать поблочно и записывать каждый блок на диск.

canProcessInMemory(my_img) == FALSE

Долго, зато  переработало и не вылетело.  И нужно очень много дискового пространства свободного на диске где задан каталог для хранения временных файлов, т.к. они достигали размером 250 Гигов
источник
2021 June 21

EL

Egor Larin in gislab
а еще скажите пожалуйста

сделал Raster to points
получил shape с 620к точками

я правильно понимаю что по факту - точки это миниполигончики круглой формы?
источник

A

Antonio in gislab
Нет, не правильно
источник

EL

Egor Larin in gislab
хм
источник

A

Antonio in gislab
точки состоят из одной пары или тройки координат
источник