Ты можешь с помощью матрицы разве что отфильтровывать за раз по цвету. Например умножать все пикселы на число, которое равно искомому цвету. В итоге на выхлопе более темные цвета дадут в целочисленной математике ноль, ибо они будут меньше делителя, и получится некий high pass filter. Минус — для вычленения определенного цвета надо пропустить картинку через несколько итераций срезая каждый раз по одному цвету. Но на вскидку такое должно быть явно быстрее перебора по пикселям