Un système de vision industrielle capable de localiser et d'identifier les fleurs du roi des pommiers dans les grappes de fleurs des arbres des vergers a été conçu par des chercheurs de Penn State - une première étape cruciale dans le développement d'un système de pollinisation robotique - dans le cadre d'une étude unique en son genre. .
Les fleurs de pommier poussent en groupes de quatre à six fleurs attachées aux branches, et la fleur centrale est connue sous le nom de fleur royale. Cette fleur s'ouvre en premier dans la grappe et produit généralement le plus gros fruit. C'est donc la cible clé d'un système de pollinisation robotique, selon le chercheur Long He, professeur adjoint de sciences agricoles et agricoles. génie biologique.
La pollinisation par les insectes est traditionnellement utilisée pour la productivité des pommes. Cependant, les preuves suggèrent que les services de pollinisation, tant ceux des abeilles domestiques que des pollinisateurs sauvages, ne répondent pas à la demande croissante, a-t-il noté. En raison de trouble d'effondrement des colonies, les abeilles du monde entier meurent à un rythme alarmant. En conséquence, les producteurs ont besoin de méthodes alternatives de pollinisation.
Cette étude est la dernière menée par le groupe de recherche de He au Collège des sciences agricoles, qui se consacre au développement de systèmes robotiques pour accomplir des tâches agricoles à forte intensité de main-d'œuvre telles que la cueillette des champignons, la taille des pommiers et l'éclaircissage des fruits verts. L'objectif principal de ce projet, a expliqué He, était de développer un système de vision basé sur l'apprentissage profond qui pourrait identifier et localiser avec précision les fleurs royales dans la canopée des arbres.
"Nous pensons que ce résultat fournira des informations de base pour un système de pollinisation robotique, qui conduirait à une pollinisation efficace et reproductible des pommes afin de maximiser le rendement de fruits de haute qualité", a-t-il déclaré. "En Pennsylvanie, nous pouvons toujours compter sur les abeilles pour polliniser les cultures de pommes, mais dans d'autres régions où la mortalité des abeilles a été plus grave, les producteurs pourraient avoir besoin de cette technologie le plus tôt possible."
Xinyang Mu, doctorant au Département de génie biologique agricole, a dirigé l'étude sur la fleur royale. Mu a utilisé Mask R-CNN, un programme informatique d'apprentissage en profondeur populaire qui effectue une segmentation au niveau des pixels pour détecter les objets partiellement masqués par d'autres objets, pour identifier et localiser les fleurs royales dans un système de vision industrielle.
Pour construire le modèle de détection basé sur Mask R-CNN, il a capturé des centaines de photos de grappes de fleurs de pommier. Il a ensuite développé un algorithme de segmentation des fleurs royales pour identifier et localiser les fleurs royales à partir de cet ensemble de données brutes d'images de fleurs de pommier. La recherche a été menée au Fruit Research and Extension Center de Penn State, à Biglerville.
Gala et Honeycrisp pomme des variétés ont été sélectionnées pour les tests. Les arbres d'essai ont été plantés en 2014 avec un espacement des arbres d'environ 5 pieds (Gala) et 6 1/2 pieds (Honeycrisp). Ces arbres ont été formés dans une architecture à haute canopée fusiforme, avec une hauteur moyenne d'environ 13 pieds. Le système d'acquisition d'images avec caméra a été monté sur un véhicule utilitaire manoeuvré entre des rangées d'arbres.
Entraîner le système de vision industrielle pour localiser les fleurs royales était un défi, a souligné Mu, car elles ont la même taille, la même couleur et la même forme que les fleurs latérales en grappes, et les fleurs royales sont généralement obscurcies par les fleurs environnantes en raison de leur position centrale.
Pour répondre aux exigences de l'apprentissage par transfert pour la formation du modèle Mask R-CNN, les images brutes ont été étiquetées en deux classes prédéfinies : fleurs individuelles et fleurs obstruées. Pour améliorer la précision, l'ensemble de données de formation a été agrandi quatre fois à l'aide d'approches d'augmentation des données, a expliqué Mu.
"Pour distinguer les fleurs royales des fleurs latérales, la fleur la plus centrale de chaque grappe de fleurs a été ciblée ou localisée", a-t-il déclaré. « Le système de vision a automatiquement localisé les grappes de fleurs séparément sur la base d'une approche de cartographie bidimensionnelle de la densité des fleurs. Dans chaque grappe de fleurs détectée, la fleur – ou le masque – située à la position la plus centrée a été déterminée comme étant la fleur royale cible.
Dans des conclusions récemment publiées dans Technologie agricole intelligente, les chercheurs ont signalé un niveau élevé de précision de détection des fleurs royales résultant de l'algorithme de Mu. Par rapport aux mesures prises manuellement par les chercheurs identifiant les fleurs royales à l'œil nu – appelées mesures de vérité terrain par les chercheurs – la précision de détection des fleurs royales par vision industrielle variait de 98.7 % à 65.6 %.