Применение компьютерного зрения и глубокого обучения для автоматизированного мониторинга роста растений земляники садовой

В статье представлен разработанный алгоритм и программное обеспечение для автоматизированного мониторинга роста растений земляники садовой с применением нейросетевых технологий. Модели YOLO11x и YOLOx-seg, предварительно обученные методом трансферного обучения (transfer learning), адаптированы для распознавания и классификации растений (класс «plant»), листьев (класс «leaf») и эталонного маркера (класс «ref_obj») известного размера. Сегментация листьев земляники с помощью модели YOLO11x-seg позволяет анализировать морфометрические параметры отдельных листовых пластин (площадь, периметр, округлость, соотношение сторон). Сформирован и аннотирован набор RGB-изображений (2000 шт.), полученных с использованием камеры GoPro HERO11, в контролируемых лабораторных условиях, с последующей аугментацией для повышения устойчивости модели к вариациям условий съемки. Разработанный алгоритм преобразует координаты ограничивающих рамок (bounding boxes) и масок сегментации распознанных объектов в метрические единицы через калибровочные коэффициенты, вычисляемые по маркеру известного размера (100×100 мм). Программное обеспечение, реализованное с применением библиотек PyQt5, TensorFlow, Keras, OpenCV, предоставляет не только визуализацию результатов, но и хранение данных в локальной базе SQLite с возможностью экспорта в форматы JSON и Excel. Валидация модели показала высокую точность детектирования ограничивающих рамок растений (mAP50 = 0,906) и сегментации листьев (mAP50-mask = 0,625). Средняя скорость обработки составила 20,3 мс/кадр для детектирования и 34,5 мс/кадр для сегментации. Погрешность измерений составила менее 3,5 % для габаритных параметров растения и 5,2 % для морфометрических показателей листьев, подтверждая эффективность метода для оценки высоты, ширины и площади растений, а также анализа листового аппарата. Результаты исследований показали перспективность подхода для автоматизации фенотипирования растений в режиме реального времени.

1. Ожерельев В. Н., Ожерельева М. В., Гринь А. М., Сомин В. В. Динамика производства ягод земляники садовой по странам мира. Вестник Брянской государственной сельскохозяйственной академии. 2019;(4(74)):60–66. Режим доступа: https://elibrary.ru/item.asp?id=39174971 EDN: EMFTKC

2. Марченко Л. А. Продуктивность земляники садовой и селекционные возможности ее повышения. Сибирский вестник сельскохозяйственной науки. 2021;51(3):65–74. DOI: https://doi.org/10.26898/0370-8799-2021-3-7 EDN: XRWZRZ

3. Guan Z., Abd-Elrahman A., Fan Z., Whitaker V. M., Wilkinson B. Modeling strawberry biomass and leaf area using object-based analysis of high-resolution images. ISPRS Journal of Photogrammetry and Remote Sensing. 2020;163:171–186. DOI: https://doi.org/10.1016/j.isprsjprs.2020.02.021

4. Марченко Л. А., Акимова С. В., Соловьев А. В., Макаров С. С., Самощенков Е. Г., Тер-Петросянц Г. Э., Зубков А. В. Роль минеральных элементов в питании растений земляники садовой. Овощи России. 2024;(5):79–83. DOI: https://doi.org/10.18619/2072-9146-2024-5-79-83 EDN: PXIWHJ

5. Haida M., El Khalloufi F., Mugani R., Redouane E. M., Campos А., Vasconcelos V., Oudra B. Effects of Irrigation with Microcystin-Containing Water on Growth, Physiology, and Antioxidant Defense in Strawberry Fragaria vulgaris under Hydroponic Culture. Toxins. 2022;14(3):198 DOI: https://doi.org/10.3390/toxins14030198

6. Mi Z., Yan W. Q. Strawberry Ripeness Detection Using Deep Learning Models. Big Data and Cognitive Computing. 2024;8(8):92. DOI: https://doi.org/10.3390/bdcc8080092

7. Хорт Д. О., Кутырев А. И., Смирнов И. Г., Воронков И. В. Разработка системы автоматизированного управления агротехнологиями в садоводстве. Сельскохозяйственные машины и технологии. 2021;15(2):61–68. DOI: https://doi.org/10.22314/2073-7599-2021-15-2-61-68 EDN: AQNSNT

8. Zhang Y., Zhang L., Yu H., Guo Z., Zhang R., Zhou X. Research on the Strawberry Recognition Algorithm Based on Deep Learning. Applied Sciences. 2023;13(20):11298. DOI: https://doi.org/10.3390/app132011298

9. Shurygin B., Smirnov I. G., Chilikin A., Khort D. O., Kutyrev A. I., Zhukovskaya S., Solovchenko A. Mutual augmentation of spectral sensing and machine learning for non-invasive detection of apple fruit damages. Horticulturae. 2022;8(12):1111. DOI: https://doi.org/10.3390/horticulturae8121111

10. Khort D. O., Kutyrev A., Smirnov I., Andriyanov N., Filippov R., Chilikin A. et al. Enhancing sustainable automated fruit sorting: hyperspectral analysis and machine learning algorithms. Sustainability . 2024:16(22):10084. DOI: https://doi.org/10.3390/su162210084

11. Хорт Д. О., Кутырев А. И., Смирнов И. Г., Филиппов Р. А., Вершинин Р. В. Разработка алгоритмов системы распознавания ягод земляники садовой при роботизированном сборе. Электротехнологии и электрооборудование в АПК. 2020:67(1(38)):133–141. DOI: https://doi.org/10.22314/2658-4859-2020-67-1-133-141 EDN: BYNXCB

12. Xie D., Yao W., Sun W., Song Z. Real-Time Identification of Strawberry Pests and Diseases Using an Improved YOLOv8 Algorithm. Symmetry. 2024:16(10):1280. DOI: https://doi.org/10.3390/sym16101280

13. Yang J.-W., Kim H.-I. An Overview of Recent Advances in Greenhouse Strawberry Cultivation Using Deep Learning Techniques: A Review for Strawberry Practitioners. Agronomy. 2024;14(1):34. DOI: https://doi.org/10.3390/agronomy14010034

14. Jovanović R., Djordjevic A., Stefanovic M., Eric M., Pajić N. Enhanced Defect Management in Strawberry Processing Using Machine Vision: A Cost-Effective Edge Device Solution for Real-Time Detection and Quality Improvement. Applied Sciences. 2024;14(17):7771. DOI: https://doi.org/10.3390/app14177771

15. Fan L., Yu J., Zhang P., Xie M. Prediction of Strawberry Quality during Maturity Based on Hyperspectral Technology. Agronomy. 2024;14(7):1450. DOI: https://doi.org/10.3390/agronomy14071450

16. Basak J. K., Paudel B., Kim N. E., Deb N. C. Kaushalya Madhavi B. G., Kim H. T. Non-Destructive Estimation of Fruit Weight of Strawberry Using Machine Learning Models. Agronomy. 2022;12(10):2487. DOI: https://doi.org/10.3390/agronomy12102487

17. Christakakis P., Giakoumoglou N., Kapetas D., Tzovaras D., Pechlivani E.-M. Vision Transformers in Optimization of AI-Based Early Detection of Botrytis cinerea. AI. 2024;5(3):1301–1323. DOI: https://doi.org/10.3390/ai5030063

18. Xiao J.-R., Chung P.-C., Wu H.-Y., Phan Q.-H., Yeh J.-L.A., Hou M.T.-K. Detection of Strawberry Diseases Using a Convolutional Neural Network. Plants. 2021;10(1):31. DOI: https://doi.org/10.3390/plants10010031

19. Kesler S., Karakan A., Oğuz Y. Real-Time Strawberry Plant Classification and Efficiency Increase with Hybrid System Deep Learning: Microcontroller and Mobile Application. Applied Sciences. 2022;12(17):8860. DOI: https://doi.org/10.3390/app12178860

20. Kim H., Kim D. Deep-Learning-Based Strawberry Leaf Pest Classification for Sustainable Smart Farms. Sustainability. 2023;15(10):7931. DOI: https://doi.org/10.3390/su15107931

21. Wang C., Wang H., Han Q., Zhang Z., Kong D., Zou X. Strawberry Detection and Ripeness Classification Using YOLOv8+ Model and Image Processing Method. Agriculture. 2024;14(5):751. DOI: https://doi.org/10.3390/agriculture14050751

22. Chen Y., Xu H., Chang P., Huang Y., Zhong F., Jia Q. et al. CES-YOLOv8: Strawberry Maturity Detection Based on the Improved YOLOv8. Agronomy. 2024;14(7):1353. DOI: https://doi.org/10.3390/agronomy14071353

23. Maxwell A. E., Warner T. A., Guillén L. A. Accuracy Assessment in Convolutional Neural Network-Based Deep Learning Remote Sensing Studies - Part 1: Literature Review. Remote Sensing. 2021;13(13):2450. DOI: https://doi.org/10.3390/rs13132450

24. Saha K. K., Tsoulias N., Weltzien C., Zude-Sasse M. Estimation of Vegetative Growth in Strawberry Plants Using Mobile LiDAR Laser Scanner. Horticulturae. 2022;8(2):90. DOI: https://doi.org/10.3390/horticulturae8020090