Сверточная нейронная сеть для сегментации цветков яблони на изображениях

В статье предложен метод оценки интенсивности цветения яблони для выполнения технологической операции прореживания, включающий подготовку набора данных (dataset) и обучение моделей сверточных нейронных сетей YOLOv8-seg (n, s, m, l, x) для сегментации изображений. В исследованиях применена техника трансферного обучения, использованы предварительно обученные модели на наборе данных датасета COCO (Common Objects in Context). Набор изображений цветков яблони собран с использованием камеры GoPro HERO 11. Аннотация (разметка) изображений была выполнена на платформе Roboflow с применением инструментов выделения прямоугольных рамок (Bounding-box) и аннотации полигонов (Polygon Annotation and Labeling). Для расширения набора данных и повышения обобщающей способности моделей при обучении проведена аугментация исходных изображений, включающая горизонтальное отражение, горизонтальный поворот на 90°, поворот от -15° до +15°, добавление шумов до 5 % пикселей, размытие до 2,5 пикселей, горизонтальные и вертикальные сдвиги от -10° до 10°, а также изменение оттенка цветов от -15° до +15°. Метрики бинарной классификации, такие как точность Precision (точность) и Recall (полнота) использованы для оценки качества работы обученных моделей по распознаванию цветков яблони на изображениях при использовании ограничивающих рамок и масочной сегментации. Функция потерь 𝑳𝒐𝒔𝒔_𝑩𝒐𝒙/𝑴𝒂𝒔𝒌 использована для оценки ошибок модели в определении ограничивающих рамок и масок сегментации объектов на изображении в процессе обучения. В результате проведенных исследований определены гиперпараметры алгоритма машинного обучения модели YOLOv8-seg для распознавания, классификации и сегментации изображений цветков яблони. Установлено, что модели YOLOv8x-seg (метрика mAP50 = 0,591) и YOLOv8l-seg (метрика mAP50 = 0,584) показывают более высокую производительность при распознавании цветков яблони. Скорость обработки кадров (Frame Rate, FR) моделями сверочных нейронных сетей составила от 10,27 (модель YOLOv8x-seg) до 57,32 кадра/с (модель YOLOv8n-seg). Средняя абсолютная ошибка моделей при распознавании цветков яблони и подсчете их количества на тестовой выборке не превышает 9 %.

1. Pflanz M., Gebbers R., Zude M. Influence of tree-adapted flower thinning on apple yield and fruit quality considering cultivars with different predisposition in fructification. Acta Hortic. 2016;1130:605–611. DOI: https://doi.org/10.17660/ActaHortic.2016.1130.90

2. Link H. Significance of flower and fruit thinning on fruitquality. Plant growth regulation. 2000;31(1):17–26. DOI: https://doi.org/10.1023/A:1006334110068

3. Bhattarai U., Bhusal S., Majeed Y., Karkee M. Automatic Blossom Detection in Apple Trees Using Deep Learning. IFAC-PapersOnLine 2020;53(2):15810–15815. DOI: https://doi.org/10.1016/j.ifacol.2020.12.216

4. Lei X., Yuan Q., Xyu T., Qi Y., Zeng J., Huang K., et al. Technologies and Equipment of Mechanized Blossom Thinning in Orchards: A Review. Agronomy. 2023;13(11):2753. DOI: https://doi.org/10.3390/agronomy13112753

5. Robinson T. L., Gonzalez L., Cheng L., Ziang Y., Peck G., Arnoldussen B., et al. Studies in precision crop load management of apple. Acta Hortic. 2023;1366:219–226. DOI: https://doi.org/10.17660/ActaHortic.2023.1366.25

6. Ahmed D., Sapkota R., Churuvija M., Karkee M. Machine Vision-Based Crop-Load Estimation Using YOLOv8. 2023. pp. 1–22 DOI: https://doi.org/10.48550/arXiv.2304.13282

7. Anthony B., Serra S., Musacchi S. Optimizing Crop Load for New Apple Cultivar: “WA38”. Agronomy. 2019;9(2):107. DOI: https://doi.org/10.3390/agronomy9020107

8. Sun K., Wang X., Liu S., Liu C. Apple, Peach, and Pear Flower Detection Using Semantic Segmentation Network and Shape Constraint Level Set. Computers and Electronics in Agriculture. 2021;185:106150. DOI: https://doi.org/10.1016/j.compag.2021.106150

9. Chen Z., Su R., Wang Y., Chen G., Wang Z., Yin P., Wang J. Automatic Estimation of Apple Orchard Blooming Levels Using the Improved YOLOv5. Agronomy. 2022;12(10):2483. DOI: https://doi.org/10.3390/agronomy12102483

10. Aggelopoulou A. D., Bochtis D., Fountas S., Swain K. C., Gemtos T. A., Nanos G. D. Yield prediction in apple orchards based on image processing. Precision Agriculture. 2011;12(3):448–456. DOI: https://doi.org/10.1007/s11119-010-9187-0

11. Horton R., Cano E., Bulanon D., Fallahi E. Peach Flower Monitoring Using Aerial Multispectral Imaging. Journal of Imaging. 2017;3(1):2. DOI: https://doi.org/10.3390/jimaging3010002

12. Shurygin B., Smirnov I., Chilikin A., Khort D., Kutyrev A., Zhukovskaya S., Solovchenko A. Mutual Augmentation of Spectral Sensing and Machine Learning for Non-Invasive Detection of Apple Fruit Damages. Horticulturae. 2022;8(12):1111. DOI: https://doi.org/10.3390/horticulturae8121111

13. Wang X. A., Tang J., Whitty M. DeepPhenology: Estimation of Apple Flower Phenology Distributions Based on Deep Learning. Computers and Electronics in Agriculture. 2021;185:106123. DOI: https://doi.org/10.1016/j.compag.2021.106123

14. Zhou X., Sun G., Xu N., Zhang X., Cai J., Yuan Y., Huang Y. A Method of Modern Standardized Apple Orchard Flowering Monitoring Based on S-YOLO. Agriculture. 2023;13(2):380. DOI: https://doi.org/10.3390/agriculture13020380

15. Yuan W., Hua W., Heinemann P. H., He L. UAV Photogrammetry-Based Apple Orchard Blossom Density Estimation and Mapping. Horticulturae. 2023;9(2):266. DOI: https://doi.org/10.3390/horticulturae9020266

16. Farjon G., Krikeb O., Hillel A. B., Alchanatis V. Detection and counting of flowers on apple trees for better chemical thinning decisions. Precision Agriculture. 2020;21(3):503–521. DOI: https://doi.org/10.1007/s11119-019-09679-1

17. Terven J., Córdova-Esparza D-M., Romero-González J-A. A Comprehensive Review of YOLO Architectures in Computer Vision: From YOLOv1 to YOLOv8 and YOLO-NAS. Machine Learning and Knowledge Extraction. 2023;5(4):1680–1716. DOI: https://doi.org/10.3390/make5040083

18. Wang J., Gao Z., Zhang Y., Zhou J., Wu J., Li P. Real-Time Detection and Location of Potted Flowers Based on a ZED Camera and a YOLO V4-Tiny Deep Learning Algorithm. Horticulturae. 2022;8(1):21. DOI: https://doi.org/10.3390/horticulturae8010021

19. Wu D. H., Lv S. C., Jiang M., Song H. B. Using channel pruning-based YOLO v4 deep learning algorithm for the real-time and accurate detection of apple flowers in natural environments. Computers and Electronics in Agriculture. 2020;178:105742. DOI: https://doi.org/10.1016/j.compag.2020.105742

20. Lin T.-Y., Maire M., Belongie S., Hays J., Perona P., Ramanan D., et al. Microsoft coco: Common objects in context. In European conference on computer vision. Springer, 2014. pp. 740–755. DOI: https://doi.org/10.48550/arXiv.1405.0312

21. Maxwell A. E., Warner T. A., Guillén L. A. Accuracy Assessment in Convolutional Neural Network-Based Deep Learning Remote Sensing Studies - Part 1: Literature Review. Remote Sensing. 2021;13(13):2450. DOI: https://doi.org/10.3390/rs13132450

22. Хорт Д. О., Кутырёв А. И., Смирнов И. Г., Моисеев Г. В., Соловьев В. И. Управление движением сельскохозяйственной автономной роботизированной платформы. Сельскохозяйственные машины и технологии. 2023;17(1):25–34. DOI: https://doi.org/10.22314/2073-7599-2023-17-1-25-34 EDN: UXTFRN

23. Хорт Д. О., Кутырёв А. И., Смирнов И. Г., Воронков И. В. Разработка системы автоматизированного управления агротехнологиями в садоводстве. Сельскохозяйственные машины и технологии. 2021;15(2):61–68. DOI: https://doi.org/10.22314/2073-7599-2021-15-2-61-68 EDN: AQNSNT