agronaukaАграрная наука Евро-Северо-ВостокаAgricultural Science Euro-North-East2072-90812500-1396FARC North-East10.30766/2072-9081.2023.24.4.672-684agronauka-1418Research ArticleОРИГИНАЛЬНЫЕ СТАТЬИ: МЕХАНИЗАЦИЯ, ЭЛЕКТРИФИКАЦИЯ, АВТОМАТИЗАЦИЯОRIGINAL SCIENTIFIC ARTICLES: MECHANIZATION, ELECTRIFICATION, AUTOMATIONРазработка системы технического зрения технологической линии сортировки плодов яблони на основе искусственной нейронной сетиDevelopment of a vision system for a technological line for sorting apple fruits based on an artificial neural networkhttps://orcid.org/0000-0002-9102-2816КазакевичП. П.KazakevichP. P.

Петр Петрович Казакевич, доктор техн. наук, профессор, член-корреспондент НАН Беларуси, заместитель Председателя Президиума Национальной академии наук Беларуси

220072

пр. Независимости, д. 66

Минск

Petr P. Kazakevich, DSc in Engineering, professor, Corresponding Member, Deputy Chairman of the Presidium of the National Academy of Sciences of Belarus

220072

66 Nezalezhnosti Ave.

Minsk

oan2011@mail.ruhttps://orcid.org/0009-0009-2099-8975КомлачД. И.KomlachD. I.

Дмитрий Иванович Комлач, кандидат техн. наук, доцент, генеральный директор

220049

ул. Кнорина, д. 1

Минск

Dmitry I. Komlach, PhD in Engineering, Associate Professor. General Director

220049

st. Knorina, 1

Minsk

info@belagromech.byhttps://orcid.org/0000-0001-9348-8110ЮринА. Н.YurinA. N.

Антон Николаевич Юрин, кандидат техн. наук, доцент, заведующий лабораторией

220049

ул. Кнорина, д. 1

Минск

e-mail: anton-jurin@rambler.ru

Anton N. Yurin, PhD in Engineering, Associate Professor

220049

st. Knorina, 1

Minsk

e-mail: anton-jurin@rambler.ru

info@belagromech.byПрезидиум Национальной академии наук БеларусиБеларусьPresidium of the National Academy of Sciences of BelarusBelarusРУП «Научно-практический центр Национальной академии наук Беларуси по механизации сельского хозяйства»БеларусьScientific and Practical Center of the National Academy of Sciences of Belarus for Agricultural MechanizationBelarus202331082023244672684Copyright © Казакевич П.П., Комлач Д.И., Юрин А.Н., 20232023Казакевич П.П., Комлач Д.И., Юрин А.Н.Kazakevich P.P., Komlach D.I., Yurin A.N.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.agronauka-sv.ru/jour/article/view/1418

   В данной статье рассмотрен процесс создания обучающей выборки искусственной нейронной сети (в дальнейшем ИНС) системы технического зрения. Обучение ИНС проводилось на основе аннотированных изображений реальных яблок, содержащих описание различных дефектов в виде отдельных полигонов посредством программы LabelMe. На изображении плода размечалось само яблоко и его помологические особенности, такие как цветоложе, плодоножка и лист, а также 10 различных дефектов плодов, каждому из которых присваивалось соответствующее название: сетка, нажим, порез, гниль, парша, градобоина и т. д. Полученные размеченные изображения плодов с дефектами сформировали эталонную обучающую выборку для ИНС. Проверку эффективности работы ИНС осуществляли путем оценки правильности распознавания изображений плодов при сравнивании их с эталонными изображениями. Обучение ИНС каждому из дефектов яблок останавливали при достижении 95 %-ной вероятности правильной оценки дефекта. ИНС, обученную на созданной выборке, использовали в системе технического зрения технологической линии ЛСП-4, обеспечивающей сортировку яблок на три товарных сорта по размеру и дефектам от механических повреждений, болезней и вредителей. Точность сортировки по размеру составила 75,4 %, по наличию дефектов – 73,1 %.

   This article describes the process of creating a training sample of an artificial neural network (hereinafter – ANN) of a vision system. Training the ANN was carried out on the basis of annotated images of real apples containing a description of various defects in the form of separate polygons using the LabelMe program. On the image of the fruit, the apple itself and its pomological features, such as receptacle, stalk and leaf, were marked, as well as 10 different fruit defects, each of which was given an appropriate name: mesh, pressure, cut, rot, scab, hailstone, etc. The obtained labeled images of fetuses with defects formed a reference training set for the ANN. The performance of the ANN was tested by evaluating the correctness of recognition of fetal images when comparing them with reference images. Training the ANN for each of the defects in apples was stopped when 95 % of the probability of correct assessment of the defect was reached. The ANN trained on the created training sample was used in the vision system of the LSP-4 production line, which sorted apples into three commercial varieties by size and defects from mechanical damage, diseases, and pests. The accuracy of sorting by size was 75.4 %, and by the presence of defects – 73.1 %.

классификациядефектлистплодоножкачашелистикпаршаградобоинанажимгнильраспознаваниеclassificationdefectleafstalksepalscabhailstonepressurerotrecognitionРабота выполнена в рамках задания 5 «Разработать и освоить производство технологической линии сортировки и фасовки яблок» подпрограммы «Белсельхозмеханизация-2025» государственной научно-технической программы «Инновационные агропромышленные и продовольственные технологии» 2021-2025 гг.The work was carried out as part of task 5 "Develop and master the production of a technological line for sorting and packing apples" of the subprogram "Belselkhozmekhanizatsiya-2025" of the state scientific and technical program "Innovative agro-industrial and food technologies" 2021-2025ReferencesСмирнов И. Г., Хорт Д. О., Кутырев А. И. Интеллектуальные технологии и роботизированные машины для возделывания садовых культур. Сельскохозяйственные машины и технологии. 2021;15(4):35-41. doi: 10.22314/2073-7599-2021-15-4-35-41 EDN: NDDMCHSmirnov I. G., Khort D. O., Kutyrev A. I. Intelligent Technologies and Robotic Machines for Garden Crops Cultivation. Sel'skokhozyaystvennye mashiny i tekhnologii = Agricultural Machinery and Technologies. 2021;15(4):35-41. (In Russ.). doi: 10.22314/2073-7599-2021-15-4-35-41Балабанов П. В., Дивин А. Г., Мищенко С. В., Макарова В. С., Марков А. В., Садомов Я. О. Роботизированный комплекс для сортировки яблок. Цифровизация агропромышленного комплекса : сб. научн. ст. II Междунар. науч.-практ. конф. Тамбов: Тамбовский государственный технический университет, 2020. Т. II. С. 44-47. Режим доступа: https://elibrary.ru/item.asp?id=45032750&pff=1 EDN: JHNDCXBalabanov P. V., Divin A. G., Mishchenko S. V., Makarova V. S., Markov A. V., Sadomov Ya. O. Robotic complex for sorting apples. Digitalization of the agro-industrial complex: collection of scientific articles of the II International Scientific and Practical Conference. Tambov: Tambovskiy gosudarstvennyy tekhnicheskiy universitet, 2020. Vol. II. pp. 44-47. URL: https://elibrary.ru/item.asp?id=45032750&pff=1Szegedy C., Vanhoucke V., Ioffe S., Shlens J., Wojna Z. Rethinking the Inception Architecture for Computer Vision. Cornel Univercity Library. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. pp. 2818-2826. doi: 10.1109/CVPR.2016.308Szegedy C., Vanhoucke V., Ioffe S., Shlens J., Wojna Z. Rethinking the Inception Architecture for Computer Vision. Cornel Univercity Library. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. pp. 2818-2826. doi: 10.1109/CVPR.2016.308Yuzhen Lu, Renfu Lu. Development of a multispectral Structured Illumination Reflectance Imaging (SIRI) system and its application to bruise detection of apples. Transactions of the ASABE. 2017;60(4):1379-1389. doi: 10.13031/trans.12158Yuzhen Lu, Renfu Lu. Development of a multispectral Structured Illumination Reflectance Imaging (SIRI) system and its application to bruise detection of apples. Transactions of the ASABE. 2017;60(4):1379-1389. doi: 10.13031/trans.12158Казакевич П. П., Юрин А. Н., Прокопович Г. А. Система технического зрения распознавания дефектов яблок: обоснование, разработка, испытание. Весці Нацыянальнай акадэміі навук Беларусі. Серыя аграрных навук. 2021;59(4):488-500. doi: 10.29235/1817-7204-2021-59-4-488-500 EDN: WGJHODKazakevich P. P., Yurin A. N., Prokopovich G. A. Technical vision system for apple defects recognition: justification, development, testing. Vestsі Natsyyanal'nay akademіі navuk Belarusі. Seryya agrarnykh navuk = Proceedings of the National Academy of Sciences of Belarus. Agrarian series. 2021;59(4):488-500. (In Belarus). doi: 10.29235/1817-7204-2021-59-4-488-500Юрин А. Н. Инновационные технологические процессы и технические комплексы для интенсивного садоводства Беларуси. Минск: Беларуская навука, 2022. 208 c.Yurin A. N. Innovative technological processes and technical complexes for intensive horticulture in Belarus. Minsk: Belaruskaya navuka, 2022. 208 p.Хорт Д. О., Кутырев А. И., Смирнов И. Г., Филиппов Р. А., Вершинин Р. В. Разработка алгоритмов системы распознавания ягод земляники садовой при роботизированном сборе. Электротехнологии и электрооборудование в АПК. 2020;67(1(38)):133-141. doi: 10.22314/2658-4859-2020-67-1-133-141 EDN: BYNXCBKhort D. O., Kutyrev A. I., Smirnov I. G., Filippov R. A., Vershinin R. V. Developing algorithms for a berry recognition system used in robotized harvesting of garden strawberry. Elektrotekhnologii i elektrooborudovanie v APK. 2020;67(1(38)):133-141. (In Russ.). doi: 10.22314/2658-4859-2020-67-1-133-141Жиркова А. А., Балабанов П. В., Дивин А. Г. Автоматизированная система гиперспектрального контроля дефектов яблок. Современная наука: теория, методология, практика : мат-лы III Всеросс. (национ.) науч.-практ. конф. Тамбов: Издательство ИП Чеснокова А. В., 2021. С. 291-296. Режим доступа: https://elibrary.ru/item.asp?id=45831350&selid=46177515 EDN: YXUHYMZhirkova A. A., Balabanov P. V., Divin A. G. Automated System for Hyperspectral Inspection of Apple Defects. Modern science: theory, methodology, practice: Proceedings of the 3rd All-Russian (national) scientific and practical. conf. Tambov: Izdatel'stvo IP Chesnokova A. V., 2021. pp. 291-296. URL: https://elibrary.ru/item.asp?id=45831350&selid=46177515Хорт Д. О., Кутырёв А. И., Филиппов Р. А., Вершинин Р. В., Смирнов И. Г. Нейронная сеть для распознавания плодов и ягод садовых культур: свидетельство о регистрации программы для ЭВМ № 2020660182 Российская Федерация. № 2020619124: заяв. 14. 08. 2020; опубл. 28. 08. 2020.Khort D. O., Kutyrev A. I., Filippov R. A., Vershinin R. V., Smirnov I. G. Neural network for recognition of fruits and berries of horticultural crops: certificate of registration of a computer program no. 2020660182 RF. 2020.Азаренко В. В., Комлач Д. И., Голдыбан В. В., Барановский И. А., Прокопович Г. А. Разработка навесной системы для управления пропашным культиватором в автоматическом режиме. Весці Нацыянальнай акадэміі навук Беларусі. Серыя аграрных навук. 2021;59(2):232-242. doi: 10.29235/1817-7204-2021-59-2-232-242 EDN: CYVPGMAzarenko V. V., Komlach D. I., Goldyban V. V., Baranovskiy I. A., Prokopovich G. A. Development of mounted system for controlling row crop cultivator in automatic mode. Vestsі Natsyyanal'nay akademіі navuk Belarusі. Seryya agrarnykh navuk = Proceedings of the National Academy of Sciences of Belarus. Agrarian series. 2021;59(2):232-242. (In Belarus). doi: 10.29235/1817-7204-2021-59-2-232-242Дорохов А. С., Аксенов А. Г., Хорт Д. О., Кутырёв А. И., Тетерев А. В., Сибирёв А. В., Московский М. Н., Филиппов Р. А., Семичев С. В., Мосяков М. А. База данных спектральных изображений болезней и повреждений злаковых культур, плодов и клубней картофеля: свидетельство о регистрации базы данных № 2021620285 Российская Федерация. № 2021620155: заяв. 08. 02. 2021; опубл. 16. 02. 2021.Dorokhov A. S., Aksenov A. G., Khort D. O., Kutyrev A. I., Teterev A. V., Sibirev A. V., Moskovskiy M. N., Filippov R. A., Semichev S. V., Mosyakov M. A. Database of spectral images of diseases and injuries of cereal crops, fruits and tubers of potatoes: certificate of registration of the database no. 2021620285 RF. 2021.Kortylewski A., Schneider A., Gerig T., Egger B., Morel-Forster A., Vetter T. Training deep face recognition systems with synthetic data. Cornell University Library. 2018. URL: https://arxiv.org/pdf/1802.05891.pdfKortylewski A., Schneider A., Gerig T., Egger B., Morel-Forster A., Vetter T. Training deep face recognition systems with synthetic data. Cornell University Library. 2018. URL: https://arxiv.org/pdf/1802.05891.pdfHuang J., Rathod V., Sun Ch., Zhu M., Korattikara A., Fathi A., Fischer I., Wojna Z., Song Ya., Guadarrama S., Murphy K. Speed/accuracy trade-offs for modern convolutional object detectors. Cornel University Library. 2016. URL: https://arxiv.org/pdf/1611.10012.pdfHuang J., Rathod V., Sun Ch., Zhu M., Korattikara A., Fathi A., Fischer I., Wojna Z., Song Ya., Guadarrama S., Murphy K. Speed/accuracy trade-offs for modern convolutional object detectors. Cornel University Library. 2016. URL: https://arxiv.org/pdf/1611.10012.pdfGanganagowdar N. V., Gundad A. V. An intelligent computer vision system for vegetables and fruits quality inspection using soft computing techniques. Agricultural Engineering International. 2019;21(3):171-178. URL: https://cigrjournal.org/index.php/Ejounral/article/view/5188Ganganagowdar N. V., Gundad A. V. An intelligent computer vision system for vegetables and fruits quality inspection using soft computing techniques. Agricultural Engineering International. 2019;21(3):171-178. URL: https://cigrjournal.org/index.php/Ejounral/article/view/5188Юрин А. Н., Викторович В. В., Игнатчик А. А. Снижение затрат труда применением системы технического зрения при сортировке яблок. Механизация и электрификация сельского хозяйства. 2022;(55):88-95. Режим доступа: https://mechel.belal.by/jour/article/view/707/712Yurin А. N., Viktorovich V. V., Ignatchik A. A. Reducing labor costs by using the vision system when sorting apples. Mekhanizatsiya i elektrifikatsiya sel'skogo khozyaystva = Mechanization and Electrification of Agriculture. 2022;(55):88-95. (In Russ.). URL: https://mechel.belal.by/jour/article/view/707/712

The authors declare that there are no conflicts of interest present.