Испанские исследователи представили необычную систему машинного зрения, способную определять расстояние до объектов без второй камеры, лидара или инфракрасного сканера. Новая разработка использует всего один объектив, но при этом может одновременно отслеживать движение и строить карту глубины окружающего пространства.

Технология ориентирована на роботов, беспилотные аппараты и другие автономные устройства, которым необходимо быстро анализировать обстановку при минимальном энергопотреблении. По словам разработчиков, в перспективе такая система сможет заменить более сложные и дорогие комплексы машинного зрения в ряде задач.

Вдохновением стал глаз насекомого

Разработку представил испанский технологический центр IKERLAN.

Прототип получил название BEGI и относится к классу нейроморфных систем машинного зрения. Его архитектура вдохновлена устройством сложного глаза насекомых, который способен эффективно воспринимать движение и изменения окружающей среды.

Главное отличие новой системы заключается в том, что она работает пассивно. В отличие от лидаров и камер глубины, BEGI не использует лазеры или инфракрасные излучатели, а анализирует только естественный свет.

Один объектив вместо двух

В основе устройства лежит событийный сенсор Sony–Prophesee IMX636, поверх которого установлена специальная матрица микролинз.

В отличие от обычных камер, такой датчик не снимает изображение с фиксированной частотой кадров. Каждый пиксель передаёт информацию только тогда, когда замечает изменение яркости. Это значительно сокращает объём передаваемых данных и уменьшает задержку обработки.

Матрица микролинз позволяет определить направление, из которого поступил свет. Затем специальный алгоритм анализирует эти события и вычисляет:

• глубину сцены;
• форму объектов;
• направление движения;
• оптический поток.

При этом для построения объёмной картины используется всего один объектив.

Высокая скорость при низком энергопотреблении

Используемый сенсор обладает разрешением 1280 × 720 пикселей.

Его задержка составляет менее 100 микросекунд при освещённости около 1000 люкс, динамический диапазон превышает 120 дБ, а максимальное энергопотребление находится на уровне 205 мВт.

Такие характеристики делают систему привлекательной для мобильных устройств, где особенно важны скорость реакции и экономия энергии.

Пока технология работает только на небольшом расстоянии

Несмотря на перспективность проекта, у нынешнего прототипа есть ограничения.

Для вычисления глубины одна и та же точка должна одновременно попадать сразу на несколько пикселей под разными углами. Из-за этого практическая дальность работы пока не превышает одного метра, а угол обзора составляет примерно 20–40 градусов.

Поэтому на текущем этапе технология подходит прежде всего для задач ближнего действия.

Где новую систему можно использовать уже сейчас

Разработчики считают, что даже в нынешнем виде BEGI может найти применение в различных областях.

Среди возможных сценариев использования:

• промышленные роботизированные манипуляторы;
• контроль движущихся механизмов;
• высокоточная автоматизация производственных линий;
• финальные этапы стыковки космических аппаратов, где требуется мгновенно фиксировать даже минимальные смещения при ограниченном энергопотреблении.

Следующая цель — увеличить дальность до 16 метров

Сейчас вычисления выполняются на программируемой логической матрице FPGA, которая формирует карты глубины, движения и оптического потока.

Следующим этапом проекта станет разработка специализированного чипа ASIC и создание нового сенсора с существенно большим количеством пикселей.

По расчётам инженеров, это позволит увеличить дальность определения глубины примерно до 16 метров, а угол обзора расширить до 120 градусов, сохранив при этом конструкцию с одним объективом и микросекундную скорость обработки.

Если эти планы удастся реализовать, технология сможет использоваться не только в промышленной автоматизации, но и в мобильных роботах, беспилотниках, автономном транспорте и навигационных системах нового поколения.