Доступ к общей памяти (читать текстуру случайно) дороже чем доступ к локальной памяти потока (изменить яркость пикселя уже прочитанного из текстуры)
Обновлять общую память (писать в чужие пиксели) - очень дорого
Так же и в распределенных сичтемах мы можем потратить х100 времени чтобы добиться какого-то консенсуса о "общей памяти".
Вопрос только в соотношении цен таких действий, но в случае прямой связи типа сосед-сосед (не через интернет) - цены могут быть сравнимы
Отличия все еще есть, типа меньшая важность расстояния в гпу. Но мне кажется ее лучше учитывать, для единообразия. Кеш делает ее важной, хотя и немного иначе.