Начало работы с гиперспектральной обработкой изображений

Гиперспектральная визуализация измеряет пространственные и спектральные характеристики объекта путем визуализации его на разных длинах волн. Область значений длин волн простирается за пределы видимого спектра и покрывает от ультрафиолетовых (УФ) до длинноволновых инфракрасных (LWIR) длин волн. Наиболее популярными являются видимые ближние инфракрасные и средние инфракрасные полосы длин волн. Гиперспектральный датчик изображения получает несколько изображений с узкими и смежными длинами волн в заданной спектральной области значений. Каждое из этих изображений содержит более тонкую и подробную информацию.

Гиперспектральная обработка изображений включает представление, анализ и интерпретацию информации, содержащейся в гиперспектральных изображениях.

Представление гиперспектральных данных

Значения, измеренные гиперспектральным датчиком формирования изображения, сохраняются в двоичном файле данных с использованием полосовых последовательных (BSQ), полосно-перемежающихся по пикселям (BIP) или полосно-перемежающихся по линиям (BIL) форматов кодирования. Файл данных сопоставлен с файлом заголовка, который содержит вспомогательную информацию (метаданные), такую как параметры датчика, настройки сбора, пространственные размерности, длины спектральных волн и форматы кодирования, которые требуются для правильного представления значений в файле данных.

Для гиперспектральной обработки изображений значения, считанные из файла данных, упорядочены в трехмерный (3-D) массив формы M -by- N -by- C, где M и N являются пространственными размерностями полученных данных, C является спектральной размерностью, определяющей количество спектральных длин волн, используемых во время сбора. Таким образом, можно рассматривать трехмерный массив как набор двумерных (2-D) монохроматических изображений, полученных при меняющихся длинах волн. Этот набор известен как hyperspectral data cube или data cube.

hypercube функция создает кубик данных путем чтения файла данных и информации о метаданных в связанном заголовочном файле. hypercube функция создает hypercube объект и сохраняет кубик данных, спектральные длины волн и метаданные в соответствии с его свойствами. Можно использовать hypercube объект как вход во все другие функции в Image Processing Toolbox™ библиотеке Hyperspectral Imaging Library.

Hyperspectral data cube and colorization

Цветовое представление куба данных

Чтобы визуализировать и понять объект, который отображается, полезно представлять кубик данных как 2-D изображение с помощью цветовых схем. Цветовое представление куба данных позволяет вам визуально просмотреть данные и поддерживает принятие решений. Вы можете использовать colorize функция для вычисления Red-Green-Blue (RGB), ложного цвета и цветного инфракрасного (CIR) представления куба данных.

Цветовая схема RGB использует красные, зеленые и синие спектральные характеристики полосы для генерации 2-D изображения куба гиперспектральных данных. Цветовая схема RGB приносит естественный внешний вид, но приводит к значительной потере тонкой информации.
В ложноцветовой схеме используется комбинация любого количества полос кроме видимых красных, зеленых и синих спектральных полос. Используйте представление ложного цвета, чтобы визуализировать спектральные отклики полос вне видимого спектра. Ложно-цветовая схема эффективно захватывает различную информацию во всех спектральных полосах гиперспектральных данных.
Цветовая схема CIR использует спектральные полосы в области значений NIR. Представление CIR куба гиперспектральных данных особенно полезно для отображения и анализа областей растительности куба данных.

Предварительная обработка

Гиперспектральные датчики визуализации обычно имеют высокое спектральное разрешение и низкое пространственное разрешение. Пространственные и спектральные характеристики полученных гиперспектральных данных характеризуются его пикселями. Каждый пиксель является вектором значений, которые задают интенсивность в местоположении (x, y) z различными полосами. Вектор известен как pixel spectrum, и он задает спектральную сигнатуру пикселя, расположенного в (x, y). Пиксельные спектры являются важными функциями в гиперспектральном анализе данных. Но эти пиксельные спектры искажаются из-за таких факторов, как сенсорный шум, атмосферные эффекты и низкое разрешение.

Data Cube and Pixel Spectrum

Вы можете использовать denoiseNGMeet функция для удаления шума из гиперспектральных данных с помощью нелокального глобального подхода.

Чтобы улучшить пространственное разрешение гиперспектральных данных, можно использовать методы слияния изображений. Подход слияния объединяет информацию из гиперспектральных данных низкого разрешения с мультиспектральными данными высокого разрешения или панхроматическим изображением той же сцены. Этот подход также известен как sharpening или pansharpening при гиперспектральном анализе изображений. Паншарпинг конкретно относится к слиянию между гиперспектральными и панхроматическими данными. Вы можете использовать sharpencnmf функция для точения гиперспектральных данных с использованием связанного нематричного метода факторизации.

Чтобы компенсировать атмосферные эффекты, необходимо сначала калибровать пиксельные значения, которые являются цифровыми числами (DN). Предварительно обработать данные необходимо путем калибровки DN с помощью радиометрических и атмосферных методов коррекции. Этот процесс улучшает интерпретацию пиксельных спектров и обеспечивает лучшие результаты при анализе нескольких наборов данных, как в задаче классификации. Для получения информации о радиометрической калибровке и методах атмосферной коррекции, см. «Гиперспектральная коррекция данных».

Другим шагом предварительной обработки, который важен во всех приложениях гиперспектральной визуализации, является уменьшение размерности. Большое количество полос в гиперспектральных данных увеличивает вычислительную сложность обработки куба данных. Смежный характер изображений полосы приводит к избыточной информации между полосами. Соседние полосы в гиперспектральном изображении имеют высокую корреляцию, что приводит к спектральной избыточности. Можно удалить избыточные полосы путем декоррелирования изображений групп. Популярные подходы для уменьшения спектральной размерности куба данных включают выбор полосы и ортогональные преобразования.

Подход band selection использует ортогональные проекции пространства, чтобы найти спектрально различные и наиболее информативные полосы в кубе данных. Используйте selectBands и removeBands функции для нахождения большинства информативных полос и удаления одной или нескольких полос, соответственно.
Orthogonal transforms, такие как анализ основного компонента (PCA) и максимальная доля шума (MNF), декоррелируют информацию о полосе и находят основные полосы компонентов.
PCA преобразует данные в более низкое размерное пространство и находит векторы основных компонентов с их направлениями вдоль максимальных отклонений входных полос. Основные компоненты находятся в порядке убывания от суммы объяснённого общего отклонения.
MNF вычисляет основные компоненты, которые максимизируют отношение сигнал-шум-, а не отклонение. Преобразование MNF особенно эффективно при выводе основных компонентов из шумных полосных изображений. Основные полосы компонентов являются спектрально различными полосами с низкой междиапазонной корреляцией.
hyperpca и hypermnf функции уменьшают спектральную размерность куба данных при помощи преобразований PCA и MNF соответственно. Можно использовать пиксельные спектры, выведенные из куба сокращенных данных, для гиперспектрального анализа данных.

Спектральная разметка

В гиперспектральном изображении значения интенсивности, записанные в каждом пикселе, определяют спектральные характеристики области, к которой принадлежит пиксель. Область может быть однородной поверхностью или неоднородной поверхностью. Пиксели, которые относятся к однородной поверхности, известны как pure pixels. Эти чистые пиксели составляют endmembers гиперспектральных данных.

Неоднородные поверхности являются комбинацией двух или более различных однородных поверхностей. Пиксели, принадлежащие гетерогенным поверхностям, известны как mixed pixels. Спектральная сигнатура смешанного пикселя является комбинацией двух или более сигнатур конечных элементов. Эта пространственная неоднородность в основном обусловлена низким пространственным разрешением гиперспектрального датчика.

Spectral unmixing

Спектральное размешивание - это процесс разложения спектральных сигнатур смешанных пикселей на составляющие их конечные элементы. Спектральный процесс размешивания включает две стадии:

Endmember extraction - Спектры конечных элементов являются заметными функциями в гиперспектральных данных и могут использоваться для эффективного спектрального размешивания, сегментации и классификации гиперспектральных изображений. Подходы, основанные на выпуклой геометрии, такие как индекс чистоты пикселей (PPI), быстрый итерационный индекс чистоты пикселей (FIPPI) и N-искатель (N-FINDR), являются одними из эффективных подходов для извлечения конечных элементов.
- Используйте ppi функция для оценки конечных элементов с помощью подхода PPI. Подход PPI проецирует пиксельные спектры на ортогональное пространство и идентифицирует экстремальные пиксели в проецируемом пространстве как конечные элементы. Это неитерационный подход, и результаты зависят от векторов случайных модулей, сгенерированных для ортогональной проекции. Чтобы улучшить результаты, необходимо увеличить векторы случайных модулей для проекции, что может быть вычислительно дорогим.
- Используйте fippi функция для оценки конечных элементов с помощью подхода FIPPI. Подход FIPPI является итеративным подходом, который использует процесс автоматической генерации цели, чтобы оценить начальный набор векторов модуля для ортогональной проекции. Алгоритм сходится быстрее, чем подход PPI, и идентифицирует конечные элементы, которые отличаются друг от друга.
- Используйте nfindr функция для оценки конечных элементов с помощью метода N-FINDR. N-FINDR является итеративным подходом, который создает симплекс с использованием пиксельных спектров. Подход принимает, что объем симплекса, формируемого конечными элементами, больше, чем объем, заданный любой другой комбинацией пикселей. Набор пиксельных сигнатур, для которых объем симплекса высок, является конечными элементами.
Abundance map estimation - учитывая сигнатуры конечного элемента, полезно оценить дробное количество каждого конечного элемента, присутствующего в каждом пикселе. Можно сгенерировать карты изобилия для каждого конечного члена, которые представляют распределение спектров конечных членов на изображении. Можно пометить пиксель как принадлежащий к спектрам конечных элементов, сравнив все значения карты изобилия, полученные для этого пикселя.
Используйте estimateAbundanceLS функция для оценки карты численности для каждых спектров конечных элементов.

Спектральное совпадение

Интерпретируйте пиксельные спектры путем выполнения spectral matching. Специфическое совпадение идентифицирует класс материала концевого элемента путем сравнения его спектров с одним или несколькими эталонными спектрами. Справочные данные состоят из чистых спектральных сигнатур материалов, которые доступны в виде спектральных библиотек.

Используйте readEcostressSig функция для чтения файлов эталонных спектров из спектральной библиотеки ECOSTRESS. Затем можно вычислить подобие между файлами в спектрах библиотеки ECOSTRESS и спектрами конечных членов при помощи spectralMatch функция.

Геометрические характеристики и значения распределения вероятностей пиксельных спектров являются важными функциями для спектрального согласования. Можно улучшить эффективность соответствия путем объединения как геометрических, так и вероятностных характеристик. Такие комбинированные меры имеют более высокий потенциал дискриминации по сравнению с индивидуальными подходами и более подходят для различения спектрально сходных целей (внутривидовых). В этой таблице перечислены функции, доступные для вычисления спектрального счета согласования.

Метод	Описание
`sam`	Спектральный преобразователь угла (SAM) совпадает с двумя спектрами на основе их геометрических характеристик. Мера SAM вычисляет угол между двумя спектральными сигнатурами. Меньший угол представляет лучшее соответствие между двумя спектрами. Эта мера нечувствительна к изменениям освещения.
`sid`	Расхождение спектральной информации (SID) совпадает с двумя спектрами на основе их распределений вероятностей. Этот способ эффективен при идентификации спектров смешанных пикселей. Низкое значение SID подразумевает более высокое сходство между двумя спектрами.
`sidsam`	Комбинация SID и SAM. Подход SID-SAM имеет лучшие возможности дискриминации по сравнению с SID и SAM индивидуально. Минимальный счет подразумевает более высокое сходство между двумя спектрами.
`jmsam`	Комбинация расстояния Джеффриса-Матуситы (JM) и SAM. Низкие значения расстояния подразумевают более высокое сходство между двумя спектрами. Этот способ особенно эффективен при различении спектрально близких мишеней.
`ns3`	Нормированный счет подобия спектров (NS3), которая объединяет Евклидово расстояние и SAM. Низкие значения расстояния подразумевают более высокое сходство между двумя спектрами. Этот метод имеет высокую способность различать, но требует обширных справочных данных для высокой точности.

Приложения

Приложения гиперспектральной обработки изображений включают классификацию, обнаружение цели, обнаружение аномалий и анализ материала.

Сегментируйте и классифицируйте каждый пиксель в гиперспектральном изображении посредством несмешивания и спектрального согласования. Для примеров классификации смотрите Hyperspectral Image Analysis Using Maximum Obundance Classification и Classify Hyperspectral Image Using Library Signatures and SAM.
Можно выполнить обнаружение цели путем согласования известной спектральной сигнатуры целевого материала с пиксельными спектрами в гиперспектральных данных. Для получения примера смотрите Обнаружение цели с использованием соответствия спектральной сигнатуры.
Можно также использовать гиперспектральную обработку изображений для обнаружения аномалий и анализа материалов, таких как анализ растительности.
- Используйте anomalyRX функция для обнаружения аномалий в гиперспектральном изображении.
- Используйте spectralIndices функция для анализа спектральных характеристик различных материалов, присутствующих в гиперспектральных данных.

См. также

Приложения

Hyperspectral Viewer

Функции

anomalyRX | estimateAbundanceLS | hypercube | ndvi | ppi | spectralMatch

Документация