Technologie de caméra multispectrale
Les premiers systèmes multispectraux étaient soit utilisés pour l'imagerie scientifique spatiale, soit pour analyser et numériser des peintures et du patrimoine culturel. Le satellite LANDSAT 1, lancé en 1972, était équipé d'un système d'imagerie multispectrale à quatre bandes, comprenant des canaux visibles vert et rouge ainsi que deux bandes NIR.
Au moment du lancement de LANDSAT 7 en 1999, le système avait été étendu à huit bandes multispectrales, allant de la lumière bleue visible à l'infrarouge thermique. Ces satellites multispectraux et leurs successeurs sont principalement utilisés pour l'analyse agricole et environnementale, y compris l'observation des côtes et des courants océaniques, l'analyse de la végétation, le stress de sécheresse, les zones touchées par des brûlures/incendies, et même les motifs de couverture nuageuse. De l'optique aux capteurs utilisés, ce sont des systèmes extrêmement complexes et coûteux.
De même, des caméras statiques multispectrales avancées sont utilisées dans l'art et l'archéologie depuis des années. Ces caméras utilisent jusqu'à 18 bandes multispectrales pour cartographier et identifier préliminairement les pigments et les embellissements sur les œuvres d'art. Ces images sont également utilisées pour numériser et/ou améliorer visuellement des documents et des artefacts anciens et fanés. Les conservateurs peuvent également utiliser l'imagerie multispectrale pour distinguer les sections originales et repeintes et sélectionner les procédures de conservation appropriées.
Au fil du temps, différents types de systèmes multispectraux ont été développés sur la base de la spectroscopie par transformée de Fourier, de filtres à cristaux liquides accordables, de filtres à large bande et à bande étroite, etc. Avec l'amélioration de diverses méthodes, ils ont migré des satellites ultra-haut de gamme et des systèmes de préservation d'œuvres d'art vers des caméras de vision machine, offrant une combinaison de résolution, de fréquence d'images et de prix qui les rend adaptés à un large éventail d'applications multispectrales. Dans ce guide technique, nous nous concentrerons sur ces technologies d'imagerie multispectrale basées sur des caméras, qui sont de plus en plus populaires dans les applications de vision machine.
Deux (ou plusieurs) caméras séparées (scan de zone ou scan linéaire)
La méthode originale pour ajouter plus de gamme spectrale à une configuration de vision machine consiste à aligner plusieurs caméras vers la cible. Par exemple, si un producteur de fruits souhaite inspecter la couleur et vérifier les meurtrissures, il pourrait ajouter une caméra NIR à sa configuration aux côtés d'une caméra couleur. Cependant, combiner les données spectrales de deux images en une seule étape d'inspection est très difficile et sujet à des erreurs. Même si deux caméras sont placées très près l'une de l'autre, il peut encore y avoir suffisamment de parallaxe optique pour que l'alignement des pixels des deux images devienne presque impossible. Par conséquent, toute tentative de "fusionner" les deux images échoue souvent. Au lieu de cela, la plupart des clients considèrent l'imagerie spectrale supplémentaire comme une étape d'inspection complètement séparée, utilisant des caméras, un éclairage, des lentilles et des installations (et des dépenses) séparés, et ne peuvent pas tirer parti des données d'image d'autres caméras utilisées dans le processus.
Caméra à roue de filtres (scan de zone)
Une caméra à roue de filtres, également connue sous le nom d'imager basé sur des filtres multi-bande étroite, capture des images spectrales multi-canaux en faisant tourner des filtres installés dans une roue de filtres placée devant le capteur ou l'objectif. Une telle roue de filtres peut généralement supporter jusqu'à 12 bandes. La réflectance spectrale de chaque pixel est ensuite estimée sur la base de l'image multispectrale. L'avantage d'une caméra basée sur une roue de filtres est la pleine résolution spatiale pour chaque bande. Les filtres peuvent être personnalisés en fonction des exigences de l'application, et la roue de filtres peut être modifiée. Les inconvénients de ce système incluent une imagerie lente et chronophage, un enregistrement d'image complexe, une distorsion géométrique complexe et des coûts élevés pour des filtres sur mesure. Un autre problème est que l'ajout de composants mécaniques (roue électrique) au système peut nécessiter un entretien ou un remplacement régulier.
Les caméras multispectrales utilisant des roues de filtres peuvent capturer des images multispectrales. Cela est réalisé en faisant tourner la roue de filtres montée devant l'objectif ou entre le capteur et l'objectif.
Réseau de filtres multispectraux pixelisés (scan de zone)
L'utilisation de l'Array de filtres de couleur Bayer (CFA) et du démosaïquage pour l'imagerie à capteur unique a été bien établie dans les caméras numériques couleur compactes et à faible coût actuelles. En étendant le concept de CFA à l'Array de filtres multispectraux (MSFA), on peut capturer des images multispectrales, et même des images hyperspectrales dans certains cas, sans augmenter la taille ou le coût. Cette méthode de capture est également connue sous le nom d'imagerie mosaïque instantanée. Les capteurs mosaïques instantanés peuvent supporter de 4 à 40 canaux dans les longueurs d'onde VIS (Visible), VIS-NIR et NIR-SWIR. Atteindre une très haute cohérence basée sur les pixels dans la fabrication entre les lots a été un défi. Les bandes réelles peuvent avoir un couplage croisé relativement élevé, ce qui peut affecter la sensibilité spectrale globale, les paramètres de bruit liés aux pixels et la précision de la reconstruction spectrale. La correction algorithmique pour ces filtres est assez complexe. Plus important encore, en raison de l'échantillonnage très clairsemé de chaque bande spectrale dans l'array de filtres, le démosaïquage multispectral des arrays de filtres multispectraux a toujours été un problème difficile. Plus il y a de bandes, plus la précision spatiale de chaque bande diminue.
Deux caméras avec séparateur de faisceau (scan de zone)
Une approche pour résoudre les problèmes liés à la méthode multi-caméras consiste à introduire un élément séparateur de faisceau qui peut capturer simultanément des images d'un ensemble commun d'optique sur plusieurs caméras. Par exemple, en utilisant deux caméras à motif Bayer, on peut capturer deux images à 3 bandes et les reconstruire en une image spectrale à 6 canaux (2x RGB). Alternativement, une caméra Bayer peut être combinée avec une caméra NIR pour produire une sortie à 4 canaux RGB+NIR. Des séparateurs de faisceau et des caméras supplémentaires peuvent être ajoutés pour capturer des bandes supplémentaires. Cette méthode atténue les problèmes de capture d'image et d'enregistrement d'image associés à l'approche de base multi-caméras. Les informations spectrales peuvent être corrélées et combinées entre plusieurs images capturées. Le plus grand inconvénient est que s'il y a plusieurs caméras dans le système, cela peut devenir très encombrant et coûteux. De plus, l'utilisation de séparateurs de faisceau entraîne une perte d'intensité lumineuse. Cette méthode nécessite souvent un éclairage haute puissance, nécessitant un compromis entre la haute vitesse et la sensibilité lumineuse du système.
Cette technique d'imagerie multispectrale utilise un séparateur de faisceau. Par conséquent, plusieurs caméras peuvent être utilisées pour capturer des images simultanément
C'est une autre technique d'imagerie multispectrale utilisant le découpage de faisceau, dans laquelle tous les composants optiques, y compris l'objectif, sont communs aux deux capteurs, au lieu d'utiliser deux caméras séparées et des objectifs séparés comme dans les méthodes précédentes, mais en utilisant un séparateur de faisceau commun.
Caméra à prisme dichroïque multi-capteurs (scan de zone ou scan linéaire)
À première vue, cela semble très similaire à la méthode du séparateur de faisceau, mais il y a deux différences notables. Premièrement, seuls les capteurs, et non les caméras complètes, sont montés et alignés sur la face du prisme. Cela réduit considérablement la taille par rapport au système d'imagerie à séparateur de faisceau multi-caméras décrit précédemment. Deuxièmement, le bloc de prisme utilise des revêtements dichroïques durs qui agissent comme des filtres d'interférence, dirigeant la gamme spectrale appropriée de la lumière incidente vers chaque capteur. Par conséquent, au lieu de diviser la même lumière en plusieurs canaux et de réduire son intensité, chaque canal reçoit la pleine quantité de lumière dont il a besoin pour capturer, qu'il s'agisse d'une large bande ou d'une bande étroite dans les régions visibles ou invisibles. Contrairement à la méthode mosaïque, une pleine résolution spatiale pour chaque bande peut être atteinte. Dans les scénarios de scan de zone, des résolutions allant jusqu'à 3,2 MP sont désormais possibles, avec des vitesses dépassant 100 fps par bande, tandis qu'en scan linéaire, la caméra peut atteindre 8192 pixels par bande à 35 kHz. La principale limitation de cette méthode est que la taille du prisme (et donc de la caméra) doit supporter plusieurs grands capteurs. Cela peut limiter la résolution maximale et/ou la taille des pixels des capteurs qui peuvent être utilisés.
Dans une caméra à prisme, le bloc de prisme se compose de revêtements dichroïques durs, qui sont essentiellement des filtres d'interférence. Ces filtres sont responsables de la séparation initiale de la lumière entrante.
Des filtres supplémentaires sur le bloc de prisme sont utilisés pour une séparation secondaire.
Caméras multi-lignes (scan linéaire à trois lignes, quatre lignes, type TDI avec filtres)
Les caméras à scan linéaire avec capteurs multi-lignes peuvent également être utilisées pour des applications multispectrales. Les caméras à scan linéaire avec capteurs RGB à trois lignes sont couramment utilisées dans les applications d'imagerie couleur. Les caméras à capteurs à quatre lignes peuvent consister en des combinaisons RGB-NIR ou RGB-monochrome. C'est l'une des méthodes pour réaliser une imagerie multispectrale. Le nombre de lignes sur un capteur multi-lignes peut varier de 3 à plusieurs dizaines. Les caméras les plus populaires d'aujourd'hui ont de 8 à 16 lignes, chacune avec un filtre de bande passante spectrale unique, permettant la capture d'images multispectrales avec jusqu'à 16 bandes. La même technologie peut être étendue aux capteurs de type TDI, qui se composent de près de 200 lignes divisées en 3 ou 4 domaines spectraux. Les caméras multi-lignes peuvent également monter des filtres optiques supplémentaires sur les capteurs RGB existants. Cette méthode divise la résolution de ligne horizontale en jusqu'à 4 parties, selon le nombre de filtres optiques. En combinant 5 filtres optiques avec un capteur RGB, jusqu'à 15 bandes spectrales peuvent être atteintes. L'inconvénient de cette méthode est qu'à mesure que le nombre de canaux spectraux augmente, la résolution horizontale du système diminue.
Les caméras à scan linéaire avec capteurs multi-lignes peuvent être utilisées pour des applications multispectrales, où chaque ligne de pixel a un filtre de bande passante spectrale unique.
Cette approche utilise un capteur de scan linéaire et en ajoutant des filtres supplémentaires à l'assemblage optique, la résolution horizontale du capteur peut être divisée en un domaine multispectral. Ici, un capteur à trois lignes est divisé en trois séparations spectrales, résultant en une caméra multispectrale à 9 canaux.
Caméras Pushbroom pour l'imagerie multispectrale (scan linéaire)
La méthode pushbroom, traditionnellement utilisée dans les caméras hyperspectrales, peut égalementpeut être appliquée à l'imagerie multispectrale, offrant une flexibilité significative dans le nombre de bandes spectrales pouvant être capturées. Le balayage x-λ (c'est-à-dire, à travers la résolution horizontale et plusieurs bandes) est effectué simultanément, tandis que le balayage le long de la direction de transport (axe y) est continu. Cette technologie peut capturer des informations spatiales et spectrales complètes ligne par ligne. Les caméras pushbroom se composent de trois composants principaux : un objectif, un spectromètre d'imagerie et un capteur d'image à base de silicium (pour VIS-NIR) ou un capteur InGaAs (pour NIR-SWIR). Le spectromètre d'imagerie, composé d'une unité de dispersion de lumière et d'optique de mise au point, est un composant clé de la caméra pushbroom. Dans le spectromètre d'imagerie, la lumière passe à travers la fente d'entrée (collimateur) vers l'unité de dispersion, puis se concentre sur le capteur d'image, fournissant des coordonnées x-λ pour une seule ligne. Aujourd'hui, les résolutions de ligne peuvent atteindre 1024 pixels, avec une longueur d'onde librement sélectionnable entre 5 et 224 bandes. La plage spectrale dépend du type de capteur utilisé, mais le VIS-NIR est populaire. Bien que cette technologie offre une bonne flexibilité, l'inconvénient est que la vitesse augmente avec le nombre de canaux. Dans la plage complète (224 bandes), il s'agit d'une méthode hyperspectrale avec un taux de trame de seulement 500 Hz. Pour de nombreuses applications industrielles, cela est trop lent.
L'imagerie multispectrale est possible en utilisant la technologie de caméra hyperspectrale push-broom, qui peut capturer des informations spatiales et spectrales complètes ligne par ligne.
Scan de zone vs. Scan de ligne en imagerie multispectrale
Parmi les méthodes d'imagerie multispectrale expliquées, seules quelques-unes sont adaptées aux applications industrielles à grande vitesse. Dans le scan de zone, l'approche à prisme multi-capteurs est très adaptée pour inspecter des produits en vrac dans une production à grande vitesse. D'autres méthodes de scan de zone, telles que les matrices de pixels multispectrales pixelisées (mosaïques instantanées) et les approches basées sur des roues de filtres, sont trop lentes pour l'imagerie industrielle. De plus, la résolution spatiale et la reconstruction des informations de pixels utilisant des caméras mosaïques instantanées sont assez difficiles.
Les caméras basées sur des roues de filtres sont encombrantes et se composent de plusieurs pièces mobiles, ce qui réduit la robustesse de cette méthode. Cela dit, les mosaïques instantanées et les méthodes à roues de filtres offrent plus de bandes spectrales par rapport aux méthodes à prisme multi-capteurs. Les mosaïques instantanées sont adaptées aux applications agricoles, à l'agriculture intelligente et à l'imagerie médicale où une bonne précision spatiale n'est pas requise. Les caméras basées sur des roues de filtres sont particulièrement adaptées à l'archivage numérique de vieilles peintures et d'art classique. Les caméras à prisme multi-capteurs sont très adaptées à l'agriculture de précision, à l'agriculture intelligente, à l'inspection en ligne de produits comme les fruits, les légumes, la viande, les fruits de mer et les produits industriels tels que l'emballage alimentaire et pharmaceutique, l'électronique et les cartes de circuits imprimés.
Pour l'imagerie multispectrale utilisant des caméras à balayage de ligne, deux approches principales montrent un bon potentiel. L'une consiste à utiliser des capteurs hyperspectraux pushbroom, qui permettent de réduire les méthodes hyperspectrales (225 bandes spectrales) aux méthodes multispectrales (5 bandes spectrales, 6,5 kHz de taux de ligne), rendant cette approche adaptée aux applications industrielles à vitesse moyenne telles que l'inspection des aliments, le recyclage et l'emballage des biens.
L'approche de capteur de ligne à prisme multi-capteurs atteint des vitesses extrêmement élevées (jusqu'à 77 kHz à 4K pixels) et peut simultanément imager des bandes visibles et proches infrarouges, combinant jusqu'à quatre bandes spectrales. La vitesse rend cette approche adaptée à toutes les applications à grande vitesse basées sur le tri par bande, canal ou chute libre.
La troisième approche - utilisant des capteurs de ligne standard à trois lignes avec des filtres optiques, réduisant la résolution de ligne horizontale et atteignant 6 à 12 canaux - tente d'entrer dans les secteurs de l'impression, de l'alimentation, de la céramique et de l'inspection textile depuis des années mais a échoué en raison de procédures de calibration complexes, de faible précision et d'APIs difficiles à utiliser.
Considérations clés lors du choix de la technologie de caméra d'imagerie multispectrale
Facilité de configuration (intégration système) : L'utilisation de l'imagerie multispectrale est significativement plus complexe que l'utilisation de caméras de vision industrielle standard. Pour configurer et intégrer différents composants d'un système d'imagerie multispectrale, il est important d'avoir une bonne expertise, non seulement dans les caméras mais aussi dans les procédures de calibration impliquant des sources de lumière, la nature des objets à inspecter et les goulets d'étranglement résultant du traitement des données et de la correction des données d'image. L'intégration globale du système peut ne pas être aussi complexe que celle des systèmes hyperspectraux, mais cela dépend en fait de ce que l'utilisateur souhaite réaliser à travers le système d'imagerie multispectrale.
Vitesse et résolution : Les procédures d'inspection industrielle nécessitent un débit élevé. L'architecture de lecture et la structure de nombreux systèmes multispectraux sont limitées en vitesse. La vitesse dépend du nombre de canaux de longueur d'onde, du type de technologie multispectrale utilisée et de l'interface. Plus il y a de bandes spectrales, plus il est difficile de capturer la quantité de lumière requise pour des applications à grande vitesse. La résolution spatiale est également un défi pour l'imagerie multispectrale, en particulier lors de la détection de petits objets. Les caméras basées sur des capteurs de mosaïque instantanée utilisent l'interpolation pour estimer les informations spatiales manquantes à partir des valeurs de pixels uniques, mais cette méthode n'est pas très précise lors de la détection de tailles de défauts plus petites. Chaque application peut nécessiter un compromis différent entre le nombre possible de canaux multispectraux et la vitesse et la résolution réalisables.
Nombre de bandes spectrales : Le nombre de bandes spectrales requises pour une application dépend en fait de la nature de l'objet à détecter, de la précision de détection requise et de la précision qui peut être atteinte dans le traitement d'image en utilisant des techniques d'estimation spectrale supplémentaires. Dans certaines applications, telles que la détection de bord rouge ou l'analyse NDVI, il est clair quelles bandes dans les régions rouge et NIR sont nécessaires pour capturer les données requises des plantes. Il en va de même pour les plastiques et les matériaux organiques où les données spectrales sont bien connues. Un autre exemple est l'endoscopie par fluorescence, où les bandes d'absorption et de réflexion de fluorescence de l'ICG sont connues. Dans de tels cas, un nombre limité de bandes peut être suffisant. Cependant, il existe également des applications impliquant des mélanges de différents matériaux à inspecter ou nécessitant plusieurs bandes spectrales pour identifier avec précision des bandes de longueur d'onde spécifiques, ou des applications de mesure de couleur spectrale basées sur l'imagerie multispectrale. De telles applications nécessitent un nombre relativement élevé de bandes spectrales.
Flexibilité : Un système multispectral flexible ou évolutif est principalement adapté aux applications où différents types de matériaux sont inspectés sur la même machine. La flexibilité permet aux utilisateurs d'ajuster le système d'imagerie multispectrale en fonction des exigences de l'application. Cette flexibilité se reflète principalement dans le nombre de bandes spectrales requises, ce qui augmente ou diminue la vitesse du système d'imagerie. La flexibilité de certains systèmes signifie également une robustesse inférieure car elle peut nécessiter le remplacement de composants changeants ou mobiles (par exemple, dans la méthode de la roue de filtre, la roue de filtre peut être facilement remplacée, mais cela ajoute un composant mobile au système, ce qui affecte sa robustesse). D'autre part, certaines caméras ont de la flexibilité lors de la fabrication mais pas après que le produit soit finalisé. Les caméras à prisme multi-capteurs ont de la flexibilité pendant la fabrication, permettant la sélection de la réponse spectrale souhaitée de la caméra basée sur des revêtements dichroïques durs et des paramètres de prisme de base. Cependant, une fois le composant de capteur à prisme fabriqué, il ne peut pas être changé. Les caméras basées sur des capteurs de mosaïque instantanée ont la même logique. Une fois que la matrice de filtres multispectraux est fixée sur le capteur, elle ne peut pas être remplacée ou modifiée pendant la tâche d'inspection.
Traitement des cubes de données multispectrales et des flux de données : L'un des défis de l'imagerie multispectrale est le traitement des cubes de données multispectrales. Cela est bien moins complexe que les cubes de données hyperspectrales, qui peuvent avoir plusieurs centaines de spectres par pixel, mais c'est plus complexe que le traitement des systèmes de caméras RGB traditionnels. L'architecture du système doit être capable de traiter, filtrer et interpréter correctement les données multispectrales. Moins il y a de canaux spectrals, plus cela est simple. Le deuxième défi peut provenir de la méthode utilisée pour le flux de données de la caméra à la station de traitement. Dans le cas de plusieurs flux, l'avantage est que chaque flux de données peut être contrôlé indépendamment, et le défi réside dans la gestion de cela sur le logiciel d'application. Le traitement de plusieurs flux nécessite une architecture logicielle capable de gérer deux flux ou plus simultanément. Les logiciels conçus uniquement pour un seul flux s'attendent à ce que l'appareil envoie une seule image ou plusieurs charges utiles disponibles simultanément. Par conséquent, pour les images uniques et les charges utiles multiples, les utilisateurs peuvent appeler une seule fonction et obtenir des images d'un flux. Cependant, il existe également des plateformes, telles que le JAI eBUS Player, qui peuvent ouvrir des dispositifs de caméra une seconde ou une troisième fois en mode lecture seule et traiter plusieurs flux de données.
Coût du système : Le coût est toujours un facteur déterminant dans la prise de décision. Les caméras compactes, conviviales et produites en masse sont moins coûteuses que les systèmes hautement spécialisés et encombrants. Le coût dépend également de la tâche d'inspection qui doit être effectuée. Les applications motivées par les consommateurs finaux ou celles proches des consommateurs finaux, telles que les inspections alimentaires et agricoles, sont plus sensibles aux prix par rapport aux applications en recherche, haute technologie ou imagerie scientifique. De nos jours, les systèmes d'imagerie hyperspectrale haut de gamme commencent à environ 20 000 euros par système de caméra. Les caméras multispectrales produites en masse devraient être significativement en dessous de 10 000 euros pour être commercialement attractives. Les caméras multispectrales basées sur plusieurs caméras sont plus coûteuses que d'autres méthodes, telles que les caméras à prisme multi-capteurs ou les caméras basées sur des matrices multispectrales. Il est également important de noter que la discussion sur le coût mudoit être pesé et traité ou simplifié en fonction de la valeur que l'imagerie multispectrale peut apporter pour résoudre les problèmes d'imagerie existants.