Обработка лидарных данных с мобильного комплекса дорожного сканирования, используемого компанией ООО "Цифровые дороги" в рамках проекта Автодисквери.
Наша команда разработала инновационное программное обеспечение, которое в составе мобильного комплекса полностью автоматизирует обработку данных для оценки состояния объектов дорожно-транспортной инфраструктуры. Один комплекс может оцифровать до 200 км территории в день, создавая цифровые двойники с высокой точностью определения координат объектов.
Дорожные знаки
Фонарные столбы
Барьерное ограждение
Светафоры
Дорожная разметка
Прочие
Это был масштабный и ответственный проект по созданию цифрового двойника города. Поскольку цифровизация городской инфраструктуры это критически важный этап развития мегаполиса. И это крайне полезно для людей живущих в городе, ведь хорошие дороги - это меньше пробок и сгоревших нервных клеток.
Проект ЦОДД Автодискавери.
Участие phygital.team в проекте Автодискавери.
Автокомплекс
Данные
с проезда
с проезда
Сопоставление
с другими 3D
составляющими
двойника
с другими 3D
составляющими
двойника
Создание
цифрового
двойника ДТИ
цифрового
двойника ДТИ
Постобработка
согласование
с 2D детекцией
согласование
с 2D детекцией
Агрегация
данных
в 3D формат
данных
в 3D формат
Генератор
синтетических
данных
синтетических
данных
Нейросетевая
модель детекции
знаков
модель детекции
знаков
Выделение
знаков
знаков
3D детекция объекта в результирующем облаке точек
Фильтрация
Определение пространственных
характеристик
характеристик
Предобработка
2D изображений
2D изображений
Предобработка
координат
координат
Сегментация
Наша экспертиза:
Автокомплекс движущийся по дорогам, сканирует дорожное полотно и окружающую среду при помощи высокотехнологичных видеокамер и LiDAR, создавая панорамное видео проезда и гигантское облако точек. Основной фокус был на работе с облаком точек.
Визуализация данных LiDAR сканирования
Цель нашего участия - обнаружить дорожные знаки в потоке данных от LiDAR и измерить их линейные размеры и взаиморасположение.
Как LiDAR “видит”улицу
Что требуется получить
План проекта содержит следующие этапы:
4
Анализ данных, пришедших на сервер;
Информация о распознанных знаках на маршруте (shapefile с координатами, лассами и дополнительными атрибутами знака)
6
Трек положения лидара в пространстве и временные метки
2D панорамное видео проезда
Размеченные 2D данные
Предобработка данных глобального облака точек проезда;
5
Предобработка локального облака точек;
Детектирование знака;
создание генератора синтетических данных
обучение нейросетевых моделей детекции знаков
повышение точности детекции
1
Определение пространственных характеристик;
Автоматизация и оптимизация процессов для работы в реальном времени.
Мы создали оптимизированный план работ,учитывающий параллельные задачи для максимальной экономии времени проекта.
2
Анализ данных, пришедших на сервер
Для начала мы визуализировали исходные данные с помощью Cloud Compare, после чего глобально сегментировали их, чтобы облегчить и подготовить к анализу.
3
После преобразовали облака точек в воксельный и в векторный формат, это помогло отфильтровать лишние данные и облегчить дальнейшую обработку.
Предобработка данных глобального облака точек проезда
Продолжили сегментировать глобальное облако на зоны интереса, где располагаются знаки, Используя информацию с GPS трекера проезда, мы отслеживаем, где и как были собраны данные. Мы наносим позиции на глобальное облако точек и на карту.
Предобработка локального облака точек
С помощью анализа записи панорамного видео и проецировании точек на основе параметров камеры мы спрогнозировали предварительное расположение объектов интереса.
Пример разметки данных в реальном времен
Пример разметки объектов интереса в облаке точек из датасетаWAYMO.
Частично разметка объектов интереса была произведена вVR. Полезный usecaseVR, такой подход разметки превосходит SOTA решения по скорости и качеству аннотации, что логично, ведь это невероятно удобно и просто.
Детектирование знака
Чтобы научить систему распознавать конкретный вид знака, по форме, цифрам и символам на нём необходимо обучить нейросетевую модель. Для обучения модели нужно очень большое количество размеченных данных (аналогичные сканирования, где уже определены размечены знаки.
Имеющихся реальных данных было недостаточно, поэтому мы также создали генератор синтетических данных для получения большого количества размеченных знаков различных форм. На основе этих данных были обучены две нейросетевые модели: DGCNN и PointNet. DGCNN показал более стабильные и качественные результаты.
Для повышения точности нахождения знаков и определения их пространственных характеристик мы провели ряд работ:
Применили Simple Scene Graph SSG для построения семантического графа сцены.
Провели детекцию и фильтрацию плоскостей, что бы выделить плоскости дорожных знаков) в облаке точек с использованием алгоритма RANSAC.
Устранили смещение знаков путем сравнения координат знаков в облаке точек
и результатов анализа сферических видео проезда.
и результатов анализа сферических видео проезда.
Применили статистические фильтры и фильтры по поиску опорных поверхностей для очистки облака от незначительных деталей.
Пример входного сферического изображения.
Система должна работать в реальном времени, поэтому сделана подгонка гиперпараметров на основе тестов с реальными данными. В совокупности с этими фильтрами будет применена сегментация и детекция плоскостей поэтому для них также сделана подгонка гиперпараметров на основе целевых данных.
После этих работ все требования к ПО были достигнуты. Все описанные процессы были автоматизированы и запакованы в решение, способное в реальном времени и с высокой точностью определять объекты ДТИ и их взаиморасположение в пространстве.
Этот проект демонстрирует нашу способность разрабатывать и внедрять передовые технологические решения, способные кардинально улучшить самые разные процессы. Мы готовы предложить инновационные и эффективные решения для реализации ваших проектов.
