Поиск по сайту Поиск

Улучшаем изображение с плохим освещением с помощью нейросети

Что такое фотография с точки зрения физики? Это отпечаток, возникающий на светочувствительной матрице при отражении от объекта источника света: солнца, вспышки или лазерного пучка. Съёмка при слабом освещении  неизбежно приводит к появлению шума на фотографиях. И, к сожалению, чем меньше света — тем хуже может быть качество снимка. В этой статье мы расскажем, как устранить шум, вызванный слабой освещённостью, с помощью обученных физическим законам глубоких нейронных сетей.

Восстановление фазы

Нейросети давно доказали свою эффективность в решении многих задач, связанных с обработкой изображений. Например, они неплохо повышают разрешение, выполняют ghost imaging, и даже используются для улучшения снимков с микроскопа и оптической томографии. Исследователи из Массачусетского технологического института решили продемонстрировать, что глубокие сети (Deep Neural Networks, DNN) также могут решить проблему восстановления фазы и тем самым улучшить качество затемнённых фотографий.

Фаза изображения несёт в себе гораздо больше информации, чем амплитуда. Она используется во многих задачах, например, выделение контуров, слияние изображений, оценка движения, реконструкция фотографий и шумоподавление. Также знания о световой фазе могут помочь при восстановлении контрастности между объектами с почти одинаковой прозрачностью.

В ситуациях, когда источник света слабый, обнаружение отношения сигнал/шум (Signal to Noise Ratio, SNR) становится затруднительным из-за квантового характера света. Это неизбежно приводит к появлению помех, и для их устранения необходимо разработать схемы регуляризации. Чем больше шума, тем хуже работают алгоритмы реконструкции изображений. Поэтому исследователи предположили, что можно обучить DNN восстанавливать те характеристики объектов, которые наилучшим образом объясняют наблюдаемое распределение сигнала. Чтобы продемонстрировать это, они провели эксперименты на двух наборах данных: первый содержит изображения интегральных схем (IC), а второй — повседневные снимки (датасет ImageNet).

Эксперименты

Исследователи использовали лазерную оптическую установку и три различных метода  реконструкции изображения: классический алгоритм Гершберга–Сакстона, нейросеть со сквозным обучением и физически обоснованную нейросеть Процесс восстановления оценивался для различных уровней зашумлённости изображения. 

Схема установки. VND: светофильтр (variable neutral density filter), P1-P2: поляризаторы, L1: линза 10x, L2: линза 100 мм, L3: линза 230 мм, L4: линза 100 мм, F1: камера обскура 5 мкм, F2: механическая диафрагма IRIS, SLM: пространственный модулятор света (Spatial Light Modulator), EM-CCD: матрица с управляемым вторично-электронным умножителем.

Световой луч в установке генерируется гелий-неоновым лазером с рабочей длиной волны 632.8 нм, расположенной в красной части видимого спектра.

Гелий-неоновый лазер

Для каждой категории изображений (ImageNet и IC) и уровня шума обучалась отдельная глубокая нейросеть. Примеры разделены на обучающую, тестовую и проверочную выборки, содержащие 9500, 450 и 50 фотографий соответственно. Исследователи использовали сеть с архитектурой «энкодер-декодер» из своей предыдущей работы, добавив в неё один дополнительный слой.

В таблице ниже указаны уровни шума для каждого эксперимента (они относятся к исходному падающему лучу без модуляции на SLM):

Условия освещения одинаковы как у изображений микросхем, так и у набора ImageNet. Количество фотонов считается для каждого пикселя и усредняется по участку фотографии, на который попадает лазерный луч (без модуляции на SLM). Сигнал/шум (SNR) также усредняется по всему полю зрения, а предел SNR — это квадратный корень из числа фотонов.

Результаты

Примеры реконструкции тестовых фотографий из ImageNet и IC с двумя экстремальными уровнями фотонов показаны на рисунке:

Здесь (a-b) — истинные изображения из датасетов IC и ImageNet, (c-f) — необработанные изображения, (g-j) — восстановление c-f с помощью алгоритма Гершберга-Сакстона, (k-n) — реконструкция с помощью сквозного обучения DNN, (o-r) — аппроксимация изображения, (s-v) — реконструкция с помощью физически обоснованной DNN.

DNN очень эффективно справляется с подавлением зернистости, а обучение с физической обоснованностью помогает лучше восстанавливать изображения даже с одним фотоном на пиксель. 

Результаты показывают, что глубокие нейронные сети можно использовать не только для обычного улучшения освещённости, но и для реконструкции прозрачных объектов, таких как биологические ткани и клетки. Например, при рентгене можно использовать меньшую дозу облучения и применить реконструкцию к полученному снимку — это поможет снизить риск онкологических заболеваний у пациентов. А в биологических исследованиях похожим образом можно уменьшить ущерб, причиняемый изучаемым образцам клеток.

⌘⌘⌘

Исследователи показали, что искусственный интеллект способен восстанавливать невидимые объекты практически из темноты. Также нейросети умеют улучшать качество старых или повреждённых фото: например, сервис 9may от Mail.ru реставрирует архивные военные снимки. Пишите в комментариях, какие ещё полезные применения можно найти для подобных нейросетей?

С оригинальной статьёй можно ознакомиться на сайте arxiv.org.

Domains weekly: повышение цен на .ORG, кража $1 млн с поддельным доменом и крупнейшие сделки недели

Domains weekly: повышение цен на .ORG, кража $1 млн с поддельным доменом и крупнейшие сделки недели

Привет! На связи редакция блога. Вы наверняка знаете, что все начинания часто откладываются на «после Нового года», «со следующего месяца»,...
Read More
Отличается умом и сообразительностью: неожиданные применения нейросетей

Отличается умом и сообразительностью: неожиданные применения нейросетей

В последнее время становится всё больше новостей, убеждающих нас в пользе искусственного интеллекта как для бизнеса, так и для обычных...
Read More
Какой хостинг выбрать для чат-бота?

Какой хостинг выбрать для чат-бота?

Чат-боты — это не всегда такие же сложные и продвинутые программы, как, например, голосовые помощники на основе нейросетей. Тем не...
Read More
Какие проблемы решил новый Личный кабинет REG.RU

Какие проблемы решил новый Личный кабинет REG.RU

Около года назад мы запустили новый Личный кабинет REG.RU. Без преувеличения наши коллеги проделали огромную работу. Этим текстом мы бы...
Read More
Как зарегистрировать домен и не попасть под суд

Как зарегистрировать домен и не попасть под суд

Итак, вы хотите стать владельцем доменного имени. Скорее всего, на этом этапе вас волнуют вопросы, где и как его регистрировать...
Read More
Что такое ЭДО и почему вам нужно подключить его прямо сейчас  

Что такое ЭДО и почему вам нужно подключить его прямо сейчас 

Ещё каких-то 15 лет назад принтеры, факсы и подобное оборудование были неотъемлемой частью любого крупного или небольшого офиса, но постепенно...
Read More
6 трендовых доменных зон для онлайн-бизнеса

6 трендовых доменных зон для онлайн-бизнеса

Первое знакомство клиента с организацией сегодня чаще всего происходит через всемирную паутину. Чем ярче проект — тем больше шансы выделиться...
Read More
Обучаем виртуального дракона фигурам высшего пилотажа

Обучаем виртуального дракона фигурам высшего пилотажа

В наши дни компьютерная графика присутствует во всех популярных видах визуального контента: от видеороликов YouTube-блогеров до полнометражных фильмов. Но проработка...
Read More
Стэнфордский курс: лекция 9. Архитектуры CNN

Стэнфордский курс: лекция 9. Архитектуры CNN

На прошлом уроке мы узнали о наиболее популярных библиотеках и фреймворках для глубокого обучения, рассмотрели их особенности и области применения....
Read More
GPT-2: нейросеть, которая закончит за вас предложение

GPT-2: нейросеть, которая закончит за вас предложение

Встречали ли вы когда-нибудь собеседника, который после нескольких сказанных вами слов заканчивал за вас предложение? GPT-2 умеет и не такое:...
Read More