Российские инженеры разработали и испытали дрон, обнаруживающий борщевик Сосновского (Heracleum sosnowskyi) с воздуха и размечающий его на снимках для последующего уничтожения. Испытания показали, что точность определения борщевика на кадрах составляет 96,9 процента. Статья о разработке опубликована в IEEE Transactions on Computers.
Борщевик Сосновского — это один из самых известных и проблемных инвазивных видов в России (впрочем, он также распространился и на территорию Европы). Изначально его ареал обитания был ограничен Кавказом, но после того, как в середине XX его решили культивировать на остальной территории СССР, он стал активно распространяться в новой среде и это распространение не удается взять под контроль до сих пор, спустя несколько десятилетий после прекращения сельскохозяйственной культивации.
Одна из проблем в борьбе с борщевиком заключается в его живучести и масштабном распространении семян даже из единичных растений. Из-за этого для обнаружения и составления карт для уничтожения этого растения необходимо либо вручную обходить поля и прочие территории, либо использовать летательные аппараты — большинство спутников дают недостаточно высокое разрешение для выявления единичных растений. Но учет растений с помощью летательных аппаратов пока слабо автоматизирован и зачастую основан на применении дорогих в эксплуатации самолетов.
Инженеры из Сколтеха под руководством Андрея Сомова (Andrey Somov) разработали алгоритм, позволяющий использовать мультикоптеры для автономного распознавания борщевика Сосновского на территории под ними. В качестве аппаратной платформы они выбрали квадрокоптер DJI Matrice 200 и одноплатный компьютер NVIDIA Jetson Nano с относительно мощным видеоускорителем, позволяющим запускать прямо на устройстве нейросети.
За поиск борщевика на кадрах с камеры дрона отвечает сверточная нейросеть, которая получает кадр и проводит семантическую сегментацию, размечая на нем области с борщевиком. Разработчики выбрали три популярные архитектуры сверточных нейросетей, чтобы сравнить их эффективность для этой задачи: U-Net, SegNet и RefineNet. Они сами собрали датасет для обучения алгоритмов. Для этого они сняли множество кадров с дрона в Московской области, используя два разных дрона и одну экшн-камеру (закрепленную на дроне). В результате они получили 263 снимка и разметили на них области с борщевиком. Датасет доступен на GitHub.
Обучив нейросети, авторы протестировал их на одноплатном компьютере и выяснили, что они работают с частотой в десятые или сотые доли кадров в секунду. Наилучший результат дала сеть на базе U-Net — 0,7 кадра в секунду. Наилучшую классификацию показала сеть на базе SegNet с площадью под ROC-кривой (распространенная метрика оценки качества бинарной классификации), равной 0,969.
Ранее другие инженеры тоже использовали дроны для распознавания растений на снимках, в том числе хлопка и деревьев в лесу. А также дроны предлагают использовать и для уничтожения растений, например, сорняков и кокаиновых кустов.
Григорий Копиев