Рус Eng Cn Перевести страницу на:  
Please select your language to translate the article


You can just close the window to don't translate
Библиотека
ваш профиль

Вернуться к содержанию

Программные системы и вычислительные методы
Правильная ссылка на статью:

Адаптивный алгоритм выбора информативных каналов в бортовых мультиспектральных видеосистемах

Бондаренко Максим Андреевич

кандидат технических наук

научный сотрудник, ФГУП "ГосНИИАС"

125319, Россия, г. Москва, ул. Викторенко, 7

Bondarenko Maxim Andreevich

PhD in Technical Science

Researcher, "GosNIIAS"

125319, Russia, g. Moscow, ul. Viktorenko, 7

max.bond@bk.ru
Другие публикации этого автора
 

 
Дрынкин Владимир Николаевич

начальник сектора, ФГУП "ГосНИИАС"

125319, Россия, г. Москва, ул. Викторенко, 7

Drynkin Vladimir Nikolaevich

Head of the Sector, "GosNIIAS"

125319, Russia, Moscow, ul. Viktorenko, 7

drynkinv@gosniias.ru
Другие публикации этого автора
 

 
Набоков Сергей Алексеевич

кандидат технических наук

старший научный сотрудник, ФГУП "ГосНИИАС"

125319, Россия, г. Москва, ул. Викторенко, 7

Nabokov Sergey Alekseevich

PhD in Technical Science

Senior Researcher at "GosNIIAS"

125319, Russia, g. Moscow, ul. Viktorenko, 7

nabokov@gosniias.ru
Павлов Юрий Васильевич

кандидат технических наук

начальник лаборатории, ФГУП "ГосНИИАС"

125319, Россия, г. Москва, ул. Викторенко, 7

Pavlov Yuri Vasil'evich

PhD in Technical Science

Head of Laboratory at "GosNIIAS"

125319, Russia, g. Moscow, ul. Viktorenko, 7

pavlov@gosniias.ru

DOI:

10.7256/2454-0714.2017.1.21952

Дата направления статьи в редакцию:

08-02-2017


Дата публикации:

31-03-2017


Аннотация: В статье рассматривается алгоритмическое обеспечение мультиспектральных видеосистем в части автоматического выбора наиболее информативных каналов, представляющих собой видеодатчики различных диапазонов спектра, формирующих изображения разной информативности в зависимости от метеоусловий. Такие системы могут использоваться для повышения информированности пилотов воздушных судов или операторов беспилотных летательных аппаратов в сложных погодных условиях. Применение данных алгоритмов рассматривается на примере бортовых авиационных систем улучшенного (усиленного) видения, где необходимо выдавать пилоту единое комбинированное изображение внешней обстановки в силу ограниченности пространства информационно-управляющего поля кабины экипажа и повышенных требований к принятию решения. Разработка и исследование проводились с использованием базы видеопоследовательностей, полученных в ходе реальных лётных экспериментов прототипа трёхканальной видеосистемы, а также экспертной оценки на согласованность результатов работы алгоритмов с визуальным восприятием. Работа является развитием алгоритмов анализа изображений в части их информативности. В статье предложен новый адаптивный алгоритм автоматического выбора отдельных видеоканалов для их последующего комплексирования на основе безэталонной метрики информативности. Предложенное автоматическое вычисление приоритета видеоканалов по информативности показало свою согласованность с субъективным восприятием полезной информации человеком-оператором.


Ключевые слова:

анализ изображений, оценка информативности, информативность изображений, визуальное восприятие, комбинированные изображения, комплексирование изображений, человеко-машинный интерфейс, система технического зрения, мультиспектральная система, система улучшенного видения

УДК:

004.932.2

Abstract: The article reviews algorithmic support of multispectral video systems in the part of automatic selection of the most informative channels, which are video sensors of different spectral ranges, forming images of different informativeness depending on weather conditions. Such systems can be used to increase the awareness of aircraft pilots or operators of unmanned aerial vehicles in difficult weather conditions. The usage of these algorithms is considered using the example of airborne systems of improved (enhanced) vision where it is necessary to give the pilot a single combined image of the external situation, due to the limited space of the information-control field of the cockpit and the increased requirements for decision-making. The development and research was carried out using the base of video sequences obtained in the course of real flight experiments of the prototype of a three-channel video system as well as expert judgment on the consistency of the results of the work of algorithms with visual perception. The study is the further development of image analysis algorithms in terms of their informativeness. The article proposes a new adaptive algorithm for automatic selection of individual video channels for their subsequent integration based on the information-free metric of informativity. The proposed automatic calculation of the priority of video channels for informativeness showed its consistency with the subjective perception of useful information by the human operator.


Keywords:

image analysis, evaluation of the information value, image information value, visual perception, combined images, image fusion, human-machine interface, computer vision system, multispectral system, enhanced vision system

Введение

Всё более широкое распространение получают бортовые мультиспектральные видеосистемы, формирующие комбинированное видеоизображение с информационными признаками от различных спектральных каналов. Такие системы могут использоваться для оптико-электронной разведки, повышения осведомлённости экипажей мобильной военной или гражданской техники, включая авиационную технику и беспилотные летательные аппараты, при пилотировании в сложных метеоусловиях. Достаточно широкую известность получили авиационные системы усиленного (улучшенного) видения (СУВ), используемые для повышения ситуационной осведомлённости экипажей гражданских самолётов и вертолётов при пилотировании на наиболее ответственных участках полётной траектории.

Вывод разных каналов спектра на различные дисплеи нецелесообразен и, как правило, неосуществим в силу ограниченности пространства вокруг пилота. Поэтому существует необходимость в выборе наиболее информативных каналов с последующим их комплексированием с выводом на один дисплей. В настоящее время в большинстве коммерчески доступных СУВ используется ручной выбор каналов, а их комплексирование основано на жёсткой логике. Данный подход представляется весьма неудобным для оператора, так как вынуждает его достаточно часто производить настройку вывода изображения внешней обстановки на экран. Если же говорить о комплексировании изображений, то оно полезно только при наличии существенной информации в двух и более видеоканалах. Поэтому нужно уметь количественно оценивать информативность видеоизображений. Это позволит автоматизировать выбор наиболее информативного канала, а в случае, когда информативных каналов окажется более одного, осуществлять их комплексирование без вмешательства оператора.

В результате анализа данных, полученных ФГУП "ГосНИИАС" в лётных испытаниях трёхканальной СУВ, состоящей из видеоканалов видимого спектрального диапазона 0,4 – 0,9 мкм, ближнего инфракрасного (ИК) диапазона 0,9 – 1,7 мкм и тепловизионного (дальнего ИК) диапазона 8 –14 мкм, были выявлены следующие особенности:

  1. В зависимости от погодно-суточных условий имеет место разная информативность каналов (вплоть до бесполезности некоторых из них для пилотов/операторов в определённых условиях).
  2. Имеет место динамическая изменчивость информативности в рамках одного канала: появление/пропадание объектов на изображениях, изменение погодно-суточных и широтных условий в процессе эксплуатации.
  3. Слабо формализуемое понятие «информативности изображений» в смысле объёма полезной информации, воспринимаемой пилотом/оператором.
  4. Известные безэталонные способы оценки информативности вычисляют абстрактные характеристики изображений, которые не учитывают человеческое восприятие их особенностей (признаков), поэтому для оценки информативности не подходят. В частности, формальная эквивалентность энтропии [1] и информации часто бывает лишена смысла, так как не учитывает пространственные зависимости яркостей элементов изображения и особенности их зрительного восприятия.
Адаптивный алгоритм выбора видеоканалов

Согласно исследованию [2], к существенным информационным признакам изображений относятся воспринимаемые детали (пространственные признаки), представляющие собой протяжённые перепады яркости, и спектральные контрасты или спектрально-энергетические признаки. В конечном счёте, безэталонную оценку информационных признаков изображения можно свести к оценке протяжённых перепадов его яркости. Предварительная обработка изображений выходит за рамки данной статьи, поэтому предполагается, что изображение не содержит протяжённых артефактов дискретизации, таких как неравномерная структура видеоматрицы, протяжённые области битых пикселей, «гребёнка» чересстрочности и т. д. Для такого случая эффективен следующий алгоритм:

1. Оценивают относительный уровень полезного сигнала IСЭП изображения I(x,y) путём вычисления отношения разности между минимумом (1) и максимумом (2) среднего модуля градиента яркости изображения в скользящем окне 5×5 пикселей по изображению к его максимуму (3). Такой размер окна соответствует минимальному размеру гарантированно воспринимаемых деталей объектов оператором._13

где |∇I(x,y)| – модуль градиента яркости изображения I в точке (x,y).

2. Вычисляют сумму тех модулей градиентов яркости изображения, значения которых выше адаптивного порога, который объективно разделяет постоянную шумовую составляющую изображения и перепады яркости, относящиеся к сигналу (5). Интегральный показатель IПП (6) характеризует меру насыщенности изображения воспринимаемыми объектами (деталями):

_47

3. Произведение вычисленных показателей Iинф (7) характеризует информативность изображения, то есть совокупность энергетики воспринимаемых объектов.

Для оценки приоритета видеоканалов вычисляют информативность каждого из них описанным выше способом и осуществляют её последующую нормировку. Если вычисленный приоритет одного канала существенно ниже остальных, то его информационные признаки не будут заметно различимы на комбинированном изображении. Поэтому вводится адаптивное условие использования видеоканала Ci εCmax, где Cmax – наибольший приоритет из всех каналов, Ci – приоритет i-го канала, коэффициент ε определяет минимально допустимую (воспринимаемую) долю любого другого канала в составляющей комбинированного видеосигнала по сравнению с наиболее приоритетным каналом и не зависит от количества информативных каналов. В предлагаемом алгоритме ε = 0,25 было выбрано опытным путем с шагом в 0,05 на выборке типовых лётных ситуаций (см. таблицу 1), так как в конечном счёте результирующее комбинированное изображение должно быть согласовано с визуальным восприятием.

Лётные эксперименты с трёхспектральной СУВ показали, что комплексирование всех трёх видеоканалов практически не добавляет полезных информационных признаков по сравнению с комплексированием двух наиболее информативных из данной тройки каналов. Поэтому наименее информативный канал исключается из рассмотрения.

После выбора информативных каналов необходимо осуществить их комплексирование. Согласно проведённой работе [2], наиболее перспективными представляются подходы на основе метода трёхмерной фильтрации [3], восстанавливающего многомерное сообщение в рассматриваемом случае по его элементам дискретизации в пространстве изображений и пространстве источников их формирования. Область пропускания такого фильтра нижних частот рассчитана исходя из общих спектральных свойств цифровых многомерных сигналов и анизотропии их визуального восприятия человеком, и представляет собой аппроксимацию октаэдра в области нормированных частот.

Результаты оценок информативности изображений для трёхспектральной видеосистемы

В таблице 1 ниже представлено несколько типовых лётных ситуаций информативности видеоканалов трёхспектральной СУВ в различных погодно-суточных условиях с указанием вычисленного приоритета канала и принятия решения о его использовании. Для корректной работы предложенного метода изображения прошли предварительную обработку, которая, однако, не смогла в полной мере устранить протяжённые помехи, воспринимаемые алгоритмом как часть полезного сигнала. Из данной таблицы видно, что полученные результаты в целом согласуются с субъективно воспринимаемой человеком оценкой информативности.

Таблица 1

Таблица 1. Примеры автоматического комплексирования при различных погодных условиях

Заключение

Предложенная безэталонная оценка позволяет в каждый момент времени производить автоматический выбор наиболее информативных каналов, согласованный с субъективным восприятием полезной информации человеком-оператором. Тем не менее, предлагаемый метод оценки чувствителен к протяжённым низкочастотным помехам. В этой связи он нуждается в дополнительной доработке.

На базе предложенной оценки в работе представлен адаптивный алгоритм выбора отдельных кадров для комплексирования, который является простейшим частным случаем локальной взвешенной оценки информативности составляющих мультиспектрального многомерного видеосигнала на уровне отдельных областей изображений. Такая локальная оценка информативности представляется более гибкой и потому более перспективной и будет исследована авторами в дальнейшем.

Библиография
1. Измерение информации. Энтропия [Электронный ресурс]. URL: http://spargalki.ru/priborostroenie/35-obrabotka-signalov.html?start=9 (дата обращения: 08.02.2017)
2. Бондаренко М. А., Дрынкин В. Н. Оценка информативности комбинированных изображений в мультиспектральных системах технического зрения [Текст] // Программные системы и вычислительные методы. – 2016. – №1. – С.64–79. DOI: 10.7256/2305-6061.2016.1.18047
3. Бондаренко А. В., Докучаев И. В., Ядчук К. А., Бондаренко М. А., Дрынкин В. Н. Пространственно-временная фильтрация движущихся изображений [Текст] // Техническое зрение. – 2014. – Вып. 1(5). – С. 32–38. URL: http://magazine.technicalvision.ru/spatio-temporal-filtering-of-moving-images/ (дата обращения: 08.02.2017)
References
1. Izmerenie informatsii. Entropiya [Elektronnyi resurs]. URL: http://spargalki.ru/priborostroenie/35-obrabotka-signalov.html?start=9 (data obrashcheniya: 08.02.2017)
2. Bondarenko M. A., Drynkin V. N. Otsenka informativnosti kombinirovannykh izobrazhenii v mul'tispektral'nykh sistemakh tekhnicheskogo zreniya [Tekst] // Programmnye sistemy i vychislitel'nye metody. – 2016. – №1. – S.64–79. DOI: 10.7256/2305-6061.2016.1.18047
3. Bondarenko A. V., Dokuchaev I. V., Yadchuk K. A., Bondarenko M. A., Drynkin V. N. Prostranstvenno-vremennaya fil'tratsiya dvizhushchikhsya izobrazhenii [Tekst] // Tekhnicheskoe zrenie. – 2014. – Vyp. 1(5). – S. 32–38. URL: http://magazine.technicalvision.ru/spatio-temporal-filtering-of-moving-images/ (data obrashcheniya: 08.02.2017)