Мультиспектральная камера Технология
Первые мультиспектральные системы использовались либо для космической науки, либо для анализа и цифровизации картин и культурного наследия. Оригинальный спутник LANDSAT 1, запущенный в 1972 году, был оснащен четырехполосной мультиспектральной системой изображения, включая видимые зеленые и красные каналы, а также два NIR-диапазона.
К моменту запуска LANDSAT 7 в 1999 году система была расширена до восьми мультиспектральных полос, охватывающих видимый синий свет и тепловую инфракрасную область. Эти мультиспектральные спутники и их преемники в основном используются для сельскохозяйственного и экологического анализа, включая наблюдение за побережьями и океанскими течениями, анализ растительности, стресс от засухи, участки, пострадавшие от пожаров, и даже модели облачного покрова. От оптики до используемых датчиков, это чрезвычайно сложные и дорогие системы.
Аналогично, современные мультиспектральные статические камеры используются в искусстве и археологии на протяжении многих лет. Эти камеры используют до 18 мультиспектральных полос для картирования и предварительной идентификации пигментов и украшений на произведениях искусства. Эти изображения также используются для цифровизации и/или визуального улучшения старых и выцветших документов и артефактов. Консерваторы также могут использовать мультиспектральное изображение, чтобы различать оригинальные и перекрашенные участки и выбирать соответствующие процедуры сохранения.
Со временем были разработаны различные типы мультиспектральных систем на основе спектроскопии с преобразованием Фурье, настраиваемых жидкокристаллических фильтров, широкополосных и узкополосных фильтров и т. д. С улучшением различных методов они мигрировали от ультравысококачественных спутников и систем сохранения произведений искусства к камерам машинного зрения, предлагая сочетание разрешения, частоты кадров и цены, что делает их подходящими для широкого спектра мультиспектральных приложений. В этом техническом руководстве мы сосредоточимся на этих технологиях мультиспектрального изображения на основе камер, которые становятся все более популярными в приложениях машинного зрения.
Две (или более) отдельные камеры (площадь или линейное сканирование)
Оригинальный метод добавления большего спектрального диапазона в установку машинного зрения заключается в выравнивании нескольких камер по отношению к цели. Например, если производитель фруктов хочет проверить цвет и наличие синяков, он может добавить NIR-камеру к своей установке наряду с цветной камерой. Однако комбинировать спектральные данные из двух изображений в одном шаге инспекции крайне сложно и подвержено ошибкам. Даже если две камеры расположены близко друг к другу, может быть достаточно оптического параллакса, что выравнивание пикселей двух изображений становится практически невозможным. Поэтому любая попытка "слияния" двух изображений часто терпит неудачу. Вместо этого большинство клиентов рассматривают дополнительное спектральное изображение как совершенно отдельный шаг инспекции, используя отдельные камеры, освещение, объективы и установки (и расходы), и не могут использовать данные изображения от любых других камер, использованных в процессе.
Камера с фильтровым колесом (площадь сканирования)
Камера с фильтровым колесом, также известная как имиджер на основе многосуженных фильтров, захватывает многоканальные спектральные изображения, вращая фильтры, установленные в фильтровом колесе, размещенном перед датчиком или объективом. Такое фильтровое колесо обычно может поддерживать до 12 полос. Спектральная отражательная способность каждого пикселя затем оценивается на основе мультиспектрального изображения. Преимуществом камеры на основе фильтрового колеса является полное пространственное разрешение для каждой полосы. Фильтры могут быть настроены в соответствии с требованиями приложения, и фильтровое колесо может быть модифицировано. Недостатками этой системы являются медленное и трудоемкое изображение, сложная регистрация изображений, сложные геометрические искажения и высокие затраты на индивидуальные фильтры. Еще одной проблемой является то, что добавление механических компонентов (электрическое колесо) в систему может потребовать регулярного обслуживания или замены.
Мультиспектральные камеры, использующие фильтровые колеса, могут захватывать мультиспектральные изображения. Это достигается путем вращения фильтрового колеса, установленного перед объективом или между датчиком и объективом.
Пиксельный мультиспектральный фильтровый массив (площадь сканирования)
Использование массива цветных фильтров Bayer (CFA) и демозаики для однодатчикового изображения хорошо зарекомендовало себя в современных компактных недорогих цветных цифровых камерах. Расширяя концепцию CFA до мультиспектрального фильтрового массива (MSFA), можно захватывать мультиспектральные изображения, а в некоторых случаях даже гиперспектральные изображения, не увеличивая размер или стоимость. Этот метод захвата также известен как снимок мозаичного изображения. Датчики мозаичного снимка могут поддерживать от 4 до 40 каналов в диапазонах VIS (видимый), VIS-NIR и NIR-SWIR. Достижение очень высокой пиксельной согласованности в производстве между партиями было сложной задачей. Реальные полосы могут иметь относительно высокий перекрестный разговор, что может повлиять на общую спектральную чувствительность, параметры шума, связанные с пикселями, и точность спектральной реконструкции. Алгоритмическая коррекция для этих фильтров довольно сложна. Более того, из-за очень разреженной выборки каждого спектрального диапазона в фильтровом массиве, мультиспектральная демозаика мультиспектральных фильтровых массивов всегда была сложной задачей. Чем больше полос, тем ниже пространственная точность каждой полосы.
Две камеры с делителем луча (площадь сканирования)
Один из подходов к решению проблем, связанных с методом многокамерного сканирования, заключается в введении элемента делителя луча, который может одновременно захватывать изображения из общего набора оптики на несколько камер. Например, используя две камеры с паттерном Bayer, можно захватить два 3-полосных изображения и реконструировать их в 6-канальное (2x RGB) спектральное изображение. В качестве альтернативы, камеру Bayer можно комбинировать с NIR-камерой для получения 4-канального RGB+NIR выхода. Дополнительные делители луча и камеры могут быть добавлены для захвата дополнительных полос. Этот метод облегчает захват изображений и проблемы регистрации изображений, связанные с базовым многокамерным подходом. Спектральная информация может быть сопоставлена и объединена между несколькими захваченными изображениями. Главный недостаток заключается в том, что если в системе несколько камер, она может стать очень громоздкой и дорогой. Более того, использование делителей луча приводит к потере световой интенсивности. Этот метод часто требует мощного освещения, что требует компромисса между высокой скоростью и светочувствительностью системы.
Эта техника мультиспектрального изображения использует делитель луча. Таким образом, несколько камер могут использоваться для одновременного захвата изображений
Это еще одна техника мультиспектрального изображения с использованием деления луча, в которой все оптические компоненты, включая объектив, общие для обоих датчиков, вместо использования двух отдельных камер и отдельных объективов, как в предыдущих методах, но с использованием общего делителя луча.
Мультидатчиковая камера с дихроическим призмой (площадь или линейное сканирование)
На первый взгляд это кажется очень похожим на метод делителя луча, но есть два заметных отличия. Во-первых, только датчики, а не полные камеры, устанавливаются и выравниваются по лицевой стороне призмы. Это значительно уменьшает размер по сравнению с ранее описанной системой изображения с делителем луча с несколькими камерами. Во-вторых, призменный блок использует жесткие дихроические покрытия, которые действуют как интерференционные фильтры, направляя соответствующий спектральный диапазон падающего света к каждому датчику. Таким образом, вместо того чтобы разделять один и тот же свет на несколько каналов и уменьшать его интенсивность, каждый канал получает полное количество света, необходимое для захвата, будь то широкополосный или узкополосный в видимых или невидимых областях. В отличие от мозаичного метода, полное пространственное разрешение для каждой полосы может быть достигнуто. В сценариях площадного сканирования разрешения до 3,2 МП теперь возможны, со скоростями, превышающими 100 кадров в секунду на полосу, в то время как в линейном сканировании камера может достигать 8192 пикселей на полосу при 35 кГц. Основное ограничение этого метода заключается в том, что размер призмы (а следовательно, и камеры) должен поддерживать несколько крупных датчиков. Это может ограничить максимальное разрешение и/или размер пикселей используемых датчиков.
В призменной камере призменный блок состоит из жестких дихроических покрытий, которые по сути являются интерференционными фильтрами. Эти фильтры отвечают за первоначальное разделение входящего света.
Дополнительные фильтры на призменном блоке используются для вторичного разделения.
Мультилинейные камеры (трехлинейные, четырехлинейные, TDI-тип линейного сканирования с фильтрами)
Камеры линейного сканирования с мультилинейными датчиками также могут использоваться для мультиспектральных приложений. Камеры линейного сканирования с трехлинейными RGB-датчиками обычно используются в цветных изображениях. Камеры с четырехлинейными датчиками могут состоять из комбинаций RGB-NIR или RGB-монохромных. Это один из методов достижения мультиспектрального изображения. Количество линий на мультилинейном датчике может варьироваться от 3 до нескольких десятков. Сегодня самые популярные камеры имеют от 8 до 16 линий, каждая из которых имеет уникальный спектральный полосовой фильтр, позволяя захватывать мультиспектральные изображения с до 16 полосами. Технология может быть расширена до датчиков типа TDI, которые состоят из почти 200 линий, разделенных на 3 или 4 спектральных области. Мультилинейные камеры также могут устанавливать дополнительные оптические фильтры на существующие RGB-датчики. Этот метод делит горизонтальное разрешение линии на до 4 частей, в зависимости от количества оптических фильтров. Объединив 5 оптических фильтров с RGB-датчиком, можно достичь до 15 спектральных полос. Недостатком этого метода является то, что по мере увеличения количества спектральных каналов горизонтальное разрешение системы уменьшается.
Камеры линейного сканирования с мультилинейными датчиками могут использоваться для мультиспектральных приложений, где каждая линия пикселей имеет уникальный спектральный полосовой фильтр.
Этот подход использует датчик линейного сканирования и, добавляя дополнительные фильтры к оптическому узлу, горизонтальное разрешение датчика может быть разделено на мультиспектральную область. Здесь трехлинейный датчик разделен на три спектральные разделения, что приводит к 9-канальной мультиспектральной камере.
Камеры Pushbroom для мультиспектрального изображения (линейное сканирование)
Метод pushbroom, традиционно используемый в гиперспектральных камерах, также можетможет быть применена к многоспектральной съемке, предлагая значительную гибкость в количестве спектральных полос, которые могут быть захвачены. Сканирование по x-λ (т.е. по горизонтальному разрешению и нескольким полосам) выполняется одновременно, в то время как сканирование вдоль направления транспортировки (ось y) является непрерывным. Эта технология может захватывать полную пространственную и спектральную информацию построчно. Камеры с пушбрумом состоят из трех основных компонентов: объектива, спектрометра и сенсора изображения на основе кремния (для VIS-NIR) или сенсора InGaAs (для NIR-SWIR). Спектрометр, состоящий из устройства дисперсии света и фокусирующей оптики, является ключевым компонентом камеры с пушбрумом. В спектрометре свет проходит через входной щель (коллиматор) к устройству дисперсии, а затем фокусируется на сенсоре изображения, предоставляя координаты x-λ для одной линии. Сегодня разрешение линий может достигать 1024 пикселей, при этом длина волны может свободно варьироваться от 5 до 224 полос. Спектральный диапазон зависит от типа используемого сенсора, но VIS-NIR является популярным. Хотя эта технология предлагает хорошую гибкость, недостатком является то, что скорость увеличивается с количеством каналов. В полном диапазоне (224 полосы) это гиперспектральный метод с частотой кадров всего 500 Гц. Для многих промышленных приложений это слишком медленно.
Многоспектральная съемка возможна с использованием технологии гиперспектральных камер с пушбрумом, которая может захватывать полную пространственную и спектральную информацию построчно.
Сканирование области против линейного сканирования в многоспектральной съемке
Среди объясненных методов многоспектральной съемки только несколько подходят для высокоскоростных промышленных приложений. В сканировании области многосенсорный призменный подход очень подходит для инспекции массовых продуктов на высокоскоростном производстве. Другие методы сканирования области, такие как пиксельные многоспектральные массивы (мозаики снимков) и методы на основе фильтров, слишком медленны для промышленной съемки. Кроме того, пространственное разрешение и реконструкция информации о пикселях с использованием камер мозаики снимков являются довольно сложными.
Камеры на основе фильтров громоздки и состоят из нескольких движущихся частей, что снижает надежность этого метода. Тем не менее, мозаики снимков и методы на основе фильтров предлагают больше спектральных полос по сравнению с многосенсорными призменными методами. Мозаики снимков подходят для сельского хозяйства, умного сельского хозяйства и медицинской визуализации, где не требуется высокая пространственная точность. Камеры на основе фильтров особенно подходят для цифрового архивирования старых картин и классического искусства. Многосенсорные призменные камеры очень подходят для точного сельского хозяйства, умного сельского хозяйства, инлайн-инспекции товаров, таких как фрукты, овощи, мясо, морепродукты, а также промышленных продуктов, таких как упаковка продуктов питания и фармацевтическая упаковка, электроника и печатные платы.
Для многоспектральной съемки с использованием линейных сканирующих камер два основных подхода показывают хорошие перспективы. Один из них - использование гиперспектральных сенсоров Pushbroom, которые позволяют уменьшить масштаб с гиперспектральных методов (225 спектральных полос) до многоспектральных методов (5 спектральных полос, 6,5 кГц скорость линии), что делает этот подход подходящим для промышленных приложений средней скорости, таких как инспекция продуктов питания, переработка и упаковка товаров.
Подход с многосенсорным призменным линейным сенсором достигает чрезвычайно высоких скоростей (до 77 кГц при 4K пикселях) и может одновременно изображать видимые и ближние инфракрасные полосы, комбинируя до четырех спектральных полос. Скорость делает этот подход подходящим для всех высокоскоростных приложений на основе сортировки по ленте, каналу или свободному падению.
Третий подход - использование стандартных трехлинейных сенсоров с оптическими фильтрами, уменьшающими горизонтальное разрешение линии и достигающими 6-12 каналов - пытался войти в сектора печати, продуктов питания, керамики и текстиля в течение многих лет, но потерпел неудачу из-за сложных процедур калибровки, низкой точности и трудных в использовании API.
Ключевые соображения при выборе технологии камер для многоспектральной съемки
Простота настройки (интеграция системы): Использование многоспектральной съемки значительно сложнее, чем использование стандартных камер машинного зрения. Для настройки и интеграции различных компонентов многоспектральной системы важно иметь хорошие знания не только в области камер, но и в процедурах калибровки, связанных с источниками света, природой объектов, которые необходимо инспектировать, и узкими местами, возникающими из обработки данных и коррекции изображений. Общая интеграция системы может быть не такой сложной, как в гиперспектральных системах, но на самом деле зависит от того, что пользователь хочет достичь с помощью многоспектральной системы.
Скорость и разрешение: Промышленные процедуры инспекции требуют высокой пропускной способности. Архитектура считывания и структура многих многоспектральных систем ограничены по скорости. Скорость зависит от количества каналов длины волны, типа используемой многоспектральной технологии и интерфейса. Чем больше спектральных полос, тем сложнее захватить необходимое количество света для высокоскоростных приложений. Пространственное разрешение также является проблемой для многоспектральной съемки, особенно при обнаружении мелких объектов. Камеры на основе сенсоров мозаики снимков используют интерполяцию для оценки недостающей пространственной информации из значений отдельных пикселей, но этот метод не очень точен при обнаружении меньших размеров дефектов. Каждое приложение может требовать различного компромисса между возможным количеством многоспектральных каналов и достижимой скоростью и разрешением.
Количество спектральных полос: Необходимое количество спектральных полос для приложения на самом деле зависит от природы объекта, который необходимо обнаружить, требуемой точности обнаружения и точности, которую можно достичь в обработке изображений с использованием дополнительных методов спектральной оценки. В некоторых приложениях, таких как обнаружение красной границы или анализ NDVI, ясно, какие полосы в красной и NIR областях необходимы для захвата требуемых данных от растений. То же самое касается пластиковых и органических материалов, для которых спектральные данные хорошо известны. Другой пример - флуоресцентная эндоскопия, где известны полосы поглощения и отражения флуоресценции ICG. В таких случаях может быть достаточно ограниченного количества полос. Однако существуют также приложения, связанные со смесями различных материалов, которые необходимо инспектировать или требующие нескольких спектральных полос для точной идентификации конкретных полос длины волны или приложений спектрального цветового измерения на основе многоспектральной съемки. Такие приложения требуют относительно большого количества спектральных полос.
Гибкость: Гибкая или масштабируемая многоспектральная система в основном подходит для приложений, где на одной машине инспектируются различные типы материалов. Гибкость позволяет пользователям настраивать многоспектральную систему в соответствии с требованиями приложения. Эта гибкость в основном отражается в количестве необходимых спектральных полос, что увеличивает или уменьшает скорость системы изображения. Гибкость некоторых систем также означает меньшую надежность, поскольку может потребоваться замена изменяющихся или движущихся компонентов (например, в методе с фильтром, фильтр может быть легко заменен, но это добавляет движущийся компонент в систему, что влияет на ее надежность). С другой стороны, некоторые камеры имеют гибкость при производстве, но не после завершения продукта. Многосенсорные призменные камеры имеют гибкость во время производства, позволяя выбирать желаемую спектральную реакцию камеры на основе жестких дихроичных покрытий и основных параметров призмы. Однако, как только компонент призменного сенсора изготовлен, его нельзя изменить. Камеры на основе сенсоров мозаики снимков имеют ту же логику. Как только многоспектральный фильтровый массив фиксируется на сенсоре, его нельзя заменить или изменить во время инспекционной задачи.
Обработка многоспектральных кубов данных и потоков данных: Одной из проблем многоспектральной съемки является обработка многоспектральных кубов данных. Это гораздо менее сложно, чем гиперспектральные кубы данных, которые могут иметь несколько сотен спектров на пиксель, но это более сложно, чем обработка традиционных систем камер RGB. Архитектура системы должна быть способна правильно обрабатывать, фильтровать и интерпретировать многоспектральные данные. Чем меньше спектральных каналов, тем проще это. Вторая проблема может возникнуть из метода, используемого для потока данных от камеры к станции обработки. В случае нескольких потоков преимущество заключается в том, что каждый поток данных может контролироваться независимо, а проблема заключается в управлении этим в прикладном программном обеспечении. Обработка нескольких потоков требует архитектуры программного обеспечения, способной обрабатывать два или более потоков одновременно. Программное обеспечение, разработанное только для одного потока, ожидает, что устройство отправит один кадр или несколько доступных одновременно полезных нагрузок. Поэтому как для одиночных кадров, так и для нескольких полезных нагрузок пользователи могут вызывать одну функцию и получать изображения из одного потока. Однако существуют также платформы, такие как JAI's eBUS Player, которые могут открывать устройства камер второй или третий раз в режиме только для чтения и обрабатывать несколько потоков данных.
Стоимость системы: Стоимость всегда является движущим фактором в принятии решений. Компактные, удобные в использовании, массово производимые камеры стоят дешевле, чем высокоспециализированные и громоздкие системы. Стоимость также зависит от инспекционной задачи, которую необходимо выполнить. Приложения, ориентированные на конечных потребителей или находящиеся близко к конечным потребителям, такие как инспекции продуктов питания и сельского хозяйства, более чувствительны к цене по сравнению с приложениями в области исследований, высоких технологий или научной визуализации. В настоящее время высококачественные гиперспектральные системы начинаются от около 20 000 евро за систему камеры. Массово производимые многоспектральные камеры должны быть значительно ниже 10 000 евро, чтобы быть коммерчески привлекательными. Многоспектральные камеры на основе нескольких камер дороже, чем другие методы, такие как многосенсорные призменные камеры или камеры на основе многоспектральных массивов. Также важно отметить, что обсуждение стоимости можетдолжны быть оценены и рассмотрены или упрощены на основе ценности, которую многоспектральная съемка может предоставить для решения существующих проблем изображения.