Кутырёв Алексей Игоревич, кандидат техн. наук, заведующий лабораторией интеллектуальных цифровых систем мониторинга, диагностики и управления процессами в сельскохозяйственном производстве, ведущий научный сотрудник
1-й Институтский проезд, д.5, г. Москва, e-mail: vim@vim.ru
Alexey I. Kutyrev, PhD in Engineering, Head of the Laboratory of intelligent digital systems for monitoring, diagnostics and process management in agricultural production, leading researcher
1st Institute passage, 5, Moscow
В статье предложен метод оценки интенсивности цветения яблони для выполнения технологической операции прореживания, включающий подготовку набора данных (dataset) и обучение моделей сверточных нейронных сетей YOLOv8-seg (n, s, m, l, x) для сегментации изображений. В исследованиях применена техника трансферного обучения, использованы предварительно обученные модели на наборе данных датасета COCO (Common Objects in Context). Набор изображений цветков яблони собран с использованием камеры GoPro HERO 11. Аннотация (разметка) изображений была выполнена на платформе Roboflow с применением инструментов выделения прямоугольных рамок (Bounding-box) и аннотации полигонов (Polygon Annotation and Labeling). Для расширения набора данных и повышения обобщающей способности моделей при обучении проведена аугментация исходных изображений, включающая горизонтальное отражение, горизонтальный поворот на 90°, поворот от -15° до +15°, добавление шумов до 5 % пикселей, размытие до 2,5 пикселей, горизонтальные и вертикальные сдвиги от -10° до 10°, а также изменение оттенка цветов от -15° до +15°. Метрики бинарной классификации, такие как точность Precision (точность) и Recall (полнота) использованы для оценки качества работы обученных моделей по распознаванию цветков яблони на изображениях при использовании ограничивающих рамок и масочной сегментации. Функция потерь 𝑳𝒐𝒔𝒔𝑩𝒐𝒙/𝑴𝒂𝒔𝒌 использована для оценки ошибок модели в определении ограничивающих рамок и масок сегментации объектов на изображении в процессе обучения. В результате проведенных исследований определены гиперпараметры алгоритма машинного обучения модели YOLOv8-seg для распознавания, классификации и сегментации изображений цветков яблони. Установлено, что модели YOLOv8x-seg (метрика mAP50 = 0,591) и YOLOv8l-seg (метрика mAP50 = 0,584) показывают более высокую производительность при распознавании цветков яблони. Скорость обработки кадров (Frame Rate, FR) моделями сверочных нейронных сетей составила от 10,27 (модель YOLOv8x-seg) до 57,32 кадра/с (модель YOLOv8n-seg). Средняя абсолютная ошибка моделей при распознавании цветков яблони и подсчете их количества на тестовой выборке не превышает 9 %.
The article provides a method for assessing the intensity of apple blossom for the thinning technological operation, including dataset preparation and training of YOLOv8-seg convolutional neural network models (n, s, m, l, x) for image segmentation. Transfer learning technique was applied in the research, utilizing pretrained models on the COCO dataset (Common Objects in Context). The apple blossom image dataset was captured using a GoPro HERO 11 camera. Image annotation was performed on the Roboflow platform using tools for bounding box and polygon annotation and labeling. To expand the dataset and improve the models' generalization during training, augmentation of original images was conducted, including horizontal flipping, horizontal rotation by 90°, rotation from -15° to +15°, adding noise up to 5% of pixels, blurring up to 2.5 pixels, horizontal and vertical shifts from -10° to 10°, and color hue adjustment from -15° to +15°. Binary classification metrics such as Precision and Recall were used to evaluate the performance of trained models in recognizing apple blossoms in images using bounding boxes and mask segmentation. The Loss(Box/Mask) loss function was used to assess model errors in determining bounding boxes and segmentation masks of objects in images during training. The hyperparameters of the YOLOv8-seg model for image recognition, classification, and segmentation of apple blossom images were identified through the YOLOv8x-seg (mAP50 metric = 0.591) and YOLOv8l-seg (mAP50 metric = 0,584) models demonstrate higher performance in apple blossom recognition. The frame processing speed (Frame Rate, FR) of convolutional neural network models ranged from 10.27 (YOLOv8x-seg model) to 57.32 (YOLOv8n-seg model). The average absolute error of the models in recognizing apple blossoms and counting their quantity in the test dataset does not exceed 9 %.
The authors declare that there are no conflicts of interest present.