Мы много говорим об алгоритмах обработки изображения в том или ином телефоне. И, обычно, фото или видео обрабатывает процессор в связке с ИИ-чипом. Но картинка так или иначе поступает с сенсора, который "тупо" собирает свет и отправляет снимок на откуп алгоритмам. Sony, которая занимает 51% рынка фотосенсоров, считает, что матртице в вашем устройстве тоже пора поумнеть.
В рамках RISC-V Day Tokyo 2019 Хидейки Ёсида, главный по разработке сенсоров в Sony, предрёк появление ИИ-алгоритмов непосредственно в самих фоточипах. Отдельный ИИ-слой на матрице позволит вносить как базовые корректировки уже в момент спуска затвора (устранение муара, коррекция искажений, цветокоррекция), так и откроет новые возможности для распознавания объектов.
Уже сейчас Sony выпускает "слоёный" сенсор на котором распаяна оперативная память. Это позволяет камере гораздо быстрее фокусироваться и считывать объекты, устраняя эффект "желейного затвора". Однако ИИ-вычисления всё ещё ведутся за счёт процессоров камер или телефонов. Новое поколение сенсоров Sony, в идеале, должно существенно разгрузить железо тех устройств, которые будут его использовать. Многие корректировки возьмет на себя сама матрица уже в момент съемки, тогда как "железу" останется лишь навести финальный лоск на картинку.
Эта инновация особенно ценна для автоматизации и самоуправляемого транспорта, где борьба идёт за каждую крупицу машинного времени. Но даже в "классических" камерах такие сенсоры снимут с фотографов множество скучных обязанностей, которые сейчас приходится устранять вручную. Это и коррекция аберраций, и устранение эффекта "муара", и корректировка оптических искажений.
О сроках появления умных сенсоров господин Ёсида не сказал, но зная темпы Sony, можно ожидать ИИ-матрицу уже в следующем поколении фотоаппаратов компании.
https://www.sonyalpharumors.com/sony-manager-hideki-yoshida-shows-sony-plans-of-ai-integration-onto-image-sensors/
