ПРИМЕНЕНИЕ АЛГОРИТМОВ ДЕТЕКТИРОВАНИЯ ДЛЯ ОБНАРУЖЕНИЯ ГРАФФИТИ С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ

​APPLICATION OF DETECTION ALGORITHMS FOR GRAFFITI DETECTION USING MACHINE LEARNING METHODS

Irina Khamgushkeeva

student, Department of Intelligent Control Systems, Siberian federal University,

Russia, Krasnoyarsk

Daria Liksonova

scientific supervisor, candidate of Technical Sciences, associate professor, Siberian federal University,

Russia, Krasnoyarsk

АННОТАЦИЯ

Цель работы заключается в обнаружении таких классов граффити, как опасных и допустимых, на изображениях с использованием архитектур глубокого обучения. Для достижения цели был проведен анализ места размещения классов граффити, реализована архитектура сверточной нейронной сети YOLOv8 и проведен эксперимент для обнаружения классов опасных и допустимых граффити на изображениях, используя созданный и аннотированный набор данных. В результате были получены значения метрик качества модели и проведен анализ ее эффективности.

ABSTRACT

The aim of the work is to detect such classes of graffiti as dangerous and acceptable in images using deep learning architectures. To achieve this goal, an analysis of the placement of graffiti classes was carried out, the architecture of the YOLOv8 convolutional neural network was implemented, and an experiment was conducted to detect classes of dangerous and permissible graffiti in images using a created and annotated dataset. As a result, the values of the quality metrics of the model were obtained and an analysis of its effectiveness was carried out.

Ключевые слова: граффити, опасные граффити, допустимые граффити, глубокое обучение, нейронные сети, YOLOv8.

Keywords: graffiti, dangerous graffiti, acceptable graffiti, deep learning, neural networks, YOLOv8.

Введение:

В данной работе мы попробуем разработать нейронную сеть для использования в работе служб города. К сведению, все граффити были сделаны в городе Красноярск. Граффити каждый день меняют вид города, иногда могут наносить непоправимый вред объектам культурного и исторического назначения. Отметим, что в данной работе мы проведем разделение граффити на два вида. Допустимые граффити – рисунки, роспись, а также граффити «опасные», содержащие запрещенную рекламу. Данное разделение важно для служб города потому, что службы смогут знать где располагаются «опасные» граффити и в первую очередь применять меры по их устранению. Поэтому разработка нейронной сети, направленной на задачу поиска граффити так важна для жизни и процветания города.

Данная работа основывается на задаче детекции, для поиска граффити на различных поверхностях. Нейросеть основывается на другой нейронной сети, в основе которой лежит архитектура yolov8.

YOLO (You Only Look Once – стоит только раз взглянуть) — современный одноступенчатый алгоритм обнаружения объектов, алгоритм глубокого обучения, быстрой детекции, который широко используется для обнаружения объектов [1, с. 10]. Принцип работы YOLO подразумевает ввод сразу всего изображения, которое проходит через сверточную нейронную сеть только один раз [4, с. 8]. YOLOv8 – это последняя версия YOLO от Ultralytics. Эта архитектура состоит из 53 сверточных слоев и использует частичные межэтапные соединения для улучшения информационного потока между различными слоями. Голова YOLOv8 состоит из нескольких сверточных слоев, за которыми следует ряд полносвязных [2, с. 12]. Эти слои отвечают за прогнозирование ограничивающих прямоугольников (bounding boxes), оценки объектности (objectness scores) и вероятности классов для объектов, обнаруженных на изображении. Одной из ключевых особенностей YOLOv8 является использование механизма самоконтроля в голове сети.

1 Набор данных

Набор данных представляет собой 4-х канальные изображения размером 640х640 пикселей в формате .jpg, которые были собраны вручную с помощью камеры мобильного устройства и приложения GoogleMaps*. Всего в наборе содержится 500 фотографий. Каждая фотография расположена в отдельной папке, которая принадлежит определенному классу, где класс - это набор фотографий, на которых изображено одно или несколько граффити. Количество классов в наборе – 2. На первый класс приходится 200, на второй класс приходится от 300 до 500 изображений (Таблица 1).

Таблица 1

Количество изображений на каждый класс

Разметку проводили с использованием инструмента roboflow. Пример разметки представлен на рисунке 2.

Рисунок 2. Разметка изображения

Дополнение набора данных производилось с помощью инструмента roboflow с использованием горизонтального переворота, поворота на 90 градусов по часовой и против стрелки, изменением положения на противоположное относительно горизонтали. По проведении дополнений, количество изображений увеличилось до 1167. Также в данном инструменте произвели деление набора данных на обучающую, проверочную и тестовую выборку. Обучающая выборка включает в себя 80% от всех изображений, проверочная 20%.

2 Методы

Для численной оценки точности модели были использованы показатели, такие как mAP (англ. mean average precision), precision и recall. mAP – это усреднённая по всем категориям величина средней точности, которая учитывает обе метрики precision и recall. Рассчитывается из precision и recall, где precision – точность, которая определяет отношения числа корректно обнаруженных объектов ко всему количеству обнаруженных объектов, а recall - это количество правильно идентифицированных положительных результатов, деленное на количество всех объектов, которые должны были быть идентифицированы как положительные [3, с. 4].

mAP можно представить в виде формулы 7:

                                    (1)

                              (2)

         (3)

                                                                                      (4)

                                                                                            (5)

                                                            (6)

                                                                                                  (7)

3 Итоговые результаты

Для разработки нейронной сети был выбран язык программирования Python (наиболее оптимальный и имеющий множество нужных библиотек для машинного обучения). В процессе использования использовалась облачная среда разработки Google Colab* [5, с. 1].

В результате обучения точность модели составила до 74%. В результате работы с размером обучающей выборки 1167 изображений было проведено обучение модели, которая основывалось на 100 эпохах с размером обучающей выборки равным 80 процентов, проверочной выборки 20 процентов. За одну эпоху модель обучалась в течение 84 секунд. Общее время обучения модели составило 4 часа.  На основе проведения итогового тестирования на независимых данных были получены предсказания классов моделью нейронной сети и составлена матрица ошибок которая представленная на рисунке 6.

Рисунок 6. Матрица ошибки

На основании матрицы ошибок были рассчитаны метрики оценки качества работы модели нейронной сети (таблица 2). Средние значения полученных метрик качества представлены в таблице 3.

Таблица 2

Метрики оценки качества модели нейронной сети

Таблица 3

Среднее метрик оценки качества модели нейронной сети

Графики потерь в рамках, классовые потери, потери фокуса распределения, метрик precision, recall, mAP50 и mAP50-95 представлены на рисунке 7.

Рисунок 7. Графики потерь и метрик модели

Рисунок 8. Пример работы модели

Пример работы модели представлен на рисунке 8.

Итоговая точность модели составляет 74%. Таким образом можно сделать вывод, что полученная модель показывает достаточно неплохие значения метрик, однако, стоит отметить, что это связано с особенностями решаемой задачи: наличием специфичного класса, такого класса как «danger_graffiti». В итоге получили среднюю различимость граффити на большинстве снимков.

Заключение:

В результате можно сделать вывод, что полученная модель показывает достаточно неплохие значения метрик, однако, стоит отметить, что это связано с особенностями решаемой задачи: наличием специфичного класса, такого класса как «danger_graffiti». В итоге получили среднюю различимость граффити на большинстве снимков. Данная модель не является окончательной, так как есть недостатки в определении классов, которые заключаются в сложноопределяемых видов граффити. Кроме того, в дальнейшем можно разработать модель многоклассовой классификации: определять цвет граффити, уровень качества рисунка, классификация рисунков по «подчерку» человека, который его создал.

*(По требованию Роскомнадзора информируем, что иностранное лицо, владеющее информационными ресурсами Google является нарушителем законодательства Российской Федерации – прим. ред.)

Список литературы:

1. Научный журнал: статья / Использование нейронной сети Yolov8 для детектирования на изображении лабораторного грызуна (крысы или мыши) в установке «Квадратное открытое поле». – Волгоград : 2023 – . [Электронный ресурс] – Режим доступа. – URL: http://novaum.ru/public/p2690 (дата обращения 01.10.2023)
2. Научная статья: / Алгоритм YOLO простым языком : 2021 – . [Электронный ресурс] – Режим доступа. – URL: https://nuancesprog.ru/p/12888/ (дата обращения 04.11.2023)
3. Электронная библиотека : библиотека выпускных работ : сайт / Томский государственный университет. – Томск : 2021 – . [Электронный ресурс] – Режим доступа. – URL: https://vital.lib.tsu.ru/vital/access/services/Download/vital:15249/SOURCE01 (дата обращения 01.10.2023)
4. Научный журнал: статья / Сравнение Yolov5 и Faster R-CNN для обнаружения людей на изображении в потоковом режиме. – Москва : 2022 – . URL: https://cyberleninka.ru/article/n/sravnenie-yolo-v5-i-faster-r-cnn-dlya-obnaruzheniya-lyudey-na-izobrazhenii-v-potokovom-rezhime (дата обращения 06.10.2023)
5. Google colab* [Электронный ресурс] – Режим доступа. – URL:  https://colab.google/(дата обращения 28.12.2023)