Цель проекта состоит в разработке программного комплекса для автоматизации сортировки твёрдых бытовых отходов с возможностью адаптивного переобучения.

В проекте представлена автономная система, позволяющая автоматизировать процесс классификации твёрдых бытовые отходов, а также управлять манипулятором-сортировщиком мусора. Сортировка выполняется на основе материала, формы, либо конкретного класса объекта. Сортировка реализована на основе алгоритмов компьютерного зрения и машинного обучения. Разработка сосредоточилась на адаптивности и ускорении обучения, что позволяет системе приспосабливаться к изменениям в отходах.

В ходе работы была разработана архитектура композитной системы классификации. Система состоит из частично замороженной переобученной кодирующей части глубокого свёрточного авто-энкодера, данные латентного пространства которого классифицируются параметрическим классификатором. В роли конечного классификатора был выбран метод опорных векторов. Сбор обучающей выборки производился как с помощью виртуальной среды, так и с помощью ручного сканирования реальных бытовых отходов. В конечном итоге, было отсканировано около 70 кг отходов. Помимо этого, была сформирована отличная от обучающей тестовая выборка около 20 кг. Тестирование проводилось с моделированием условий реальной работы: подача объектов конвейером, сортировка разработанным манипулятором кинематической системы SCARA. Согласно метрике F2, конечная точность равна 93.9%.