Обзор от компании Immervision — поставщика «технологий глубокого видения».
Не всегда возможно управлять дронами при дневном свете и на широких открытых пространствах. Существует множество приложений, для которых возможность управлять дронами в условиях низкой освещенности является необходимостью. Зачастую проблема усугубляется необходимостью работать в замкнутых пространствах (например, шахтах, канализации, водоводах плотин гидроэлектростанций) или в пространствах с препятствиями (например, заводских зданиях, складах, лесу).
Несколько примеров применения при слабом освещении включают кинопроизводство, наблюдение за людьми и объектами, представляющими интерес, проверку инфраструктуры, такой как нижняя часть мостов и внутренняя часть железнодорожных туннелей, доставка лекарств в сельские районы и изолированные места, а также жизненно важные ситуации, такие как обыск и спасательные операции, которые необходимо проводить день и ночь, потому что на счету каждая секунда.
Операторам коммерческих дронов открываются новые возможности для полетов на большие расстояния и на больших высотах, это включает в себя полеты в условиях низкой освещенности. и ночью.
К сожалению, эти возможности остаются недосягаемыми из-за отсутствия эффективного и действенного решения для безопасной эксплуатации дронов в условиях неидеального освещения.
Альтернативные варианты датчика слабой освещенности
По умолчанию дроны не предназначены для работы в условиях низкой освещенности или ночью. Один из вариантов — дополнить дроны специальными сенсорными технологиями.
Ультразвуковые датчики небольшие, легкие, работают при любых условиях освещенности и могут представлять ограниченный интерес для определенных приложений, таких как определение высоты дрона при приземлении. Однако эти датчики имеют ограниченную дальность действия, ограниченную точность, негибкие методы сканирования и крайне ограниченное разрешение, которое предоставляет только информацию «что-то есть» или «там ничего нет».
Радарные датчики, подходящие для использования на дронах, также работают при любых условиях освещенности, устойчивы к плохой погоде (туман, дождь, снег) и имеют разумный радиус действия. Однако опять же, эти датчики обеспечивают ограниченное разрешение, имеют узкое поле зрения (FoV) и представляют ограниченный интерес для большинства применений в условиях низкой освещенности.
Существует две основные технологии LiDAR — времяпролетная (ToF) и непрерывная волна с частотной модуляцией (FMCW), каждая из которых имеет свои преимущества и недостатки. Их главное преимущество в случае операций в условиях низкой освещенности заключается в том, что они используют лазер для «подсветки» объекта, а это означает, что на них не влияет отсутствие естественного света. Хотя LiDAR может предложить значительно более высокое разрешение, чем радар, это разрешение составляет лишь часть того, что предлагают технологии камер. Кроме того, данные LiDAR обычно не раскрашиваются, что делает их интерпретацию и анализ неопределенными. Кроме того, характеристики размера, веса и мощности (SWaP) датчиков LiDAR ограничивают их использование во всех дронах, кроме самых крупных.
Все рассмотренные выше датчики по своей природе активны, то есть излучают энергию и измеряют отраженный или рассеянный сигнал. Для сравнения — при условии, что они не дополнены дополнительным источником света для освещения окружающей среды — камеры пассивны по своей природе, что означает, что они обнаруживают естественный свет, отраженный или излучаемый объектами в окружающей среде. Эта пассивная возможность может быть обязательной в некоторых приложениях. Камеры также имеют множество других преимуществ, в том числе низкую стоимость, малый вес и низкое энергопотребление в сочетании с высоким разрешением и — при оснащении соответствующей подсистемой объективов — полем зрения на 180 или 360 градусов.
Что на самом деле можно назвать камерой для слабого освещения?
Существует множество камер, которые утверждают, что способны снимать в условиях низкой освещенности. Однако не существует четкого определения того, что на самом деле можно считать камерой для слабого освещения. Люди могут субъективно оценить качество изображения, но как объективно оценить производительность системы при слабом освещении?
В Immervision нам часто задают такие вопросы, как «Насколько темно может быть, пока ваша камера все еще видит?» Это сложный вопрос, потому что эти вещи очень субъективны. Во многом ответ зависит от того, что там можно увидеть. Например, в контексте компьютерного зрения для обнаружения объектов тип объекта, его форма, цвет и размер — все это влияет на то, насколько легко его можно обнаружить. Это означает: «Насколько темно может быть, пока ваша камера все еще может видеть?» — это неправильный вопрос, который следует задавать, если вы хотите определить, подходит ли камера для условий низкой освещенности… или нет.
К счастью, существуют варианты, предлагающие более детерминированный и количественный подход. Например, модель детектора Харриса обнаруживает переходы в изображении (например, углы и края). Эту модель можно использовать для количественной оценки качества изображения, создаваемого камерой для использования в приложениях машинного зрения. Кроме того, использование моделей искусственного интеллекта (ИИ) для обнаружения и распознавания объектов может стать хорошим подходом для измерения производительности камеры и сравнения различных вариантов.
Создание отличной камеры для слабого освещения
Есть три основных элемента, которые влияют на чувствительность и возможности камеры при слабом освещении: объектив в сборе, датчик и процессор сигналов изображения.
- Сборка объектива. Многие широкоугольные объективы приводят к тому, что получаемое изображение «сжимается» по краям. Чтобы противодействовать этому, несколько сублинз, образующих сборку, должны быть изготовлены таким образом, чтобы в результате на всем изображении появлялось больше «полезных пикселей». Кроме того, что касается работы в условиях низкой освещенности, линза в сборе должна максимизировать концентрацию света на пиксель на датчике изображения. Это достигается за счет увеличения диафрагмы (т. е. открытия линзы, измеряемого как F# или «число F»), чтобы пропускать больше света. Чем ниже F#, тем лучше качество изображения при слабом освещении. Однако за понижение F# приходится платить, поскольку оно увеличивает сложность конструкции и — при неправильной реализации — может повлиять на качество изображения. Хорошая сборка объектива для слабого освещения также должна обеспечивать четкое изображение, резкость которого можно измерить как функцию передачи модуляции (MTF) объектива.
- Датчик изображения: это компонент, который преобразует свет от объектива в цифровой эквивалент, который будет обрабатываться остальной частью системы. Хорошая камера для съемки при слабом освещении должна использовать датчик с высокой чувствительностью и квантовой эффективностью. Такие датчики обычно имеют большой размер пикселей, что способствует светочувствительности модуля камеры за счет улавливания большего количества света на пиксель.
- Процессор сигналов изображения. Цифровые данные, генерируемые датчиком изображения, обычно передаются на процессор сигналов изображения (ISP). Задача этого компонента (или функции в более крупной интегральной схеме) — получить наилучшее изображение в соответствии с требованиями приложения. Интернет-провайдер контролирует параметры, связанные с датчиком изображения, например экспозицию, а также применяет свои собственные. Калибровка интернет-провайдера называется настройкой качества изображения (настройкой IQ). Это сложная наука, которой овладели немногие компании, одной из которых является Immervision.
Что доступно сейчас
Новые достижения в области камер и систем технического зрения для слабого освещения помогают расширить сферу применения (например, картографирование местоположения, визуальная одометрия и обход препятствий) и улучшить эксплуатационные возможности, позволяя дронам эффективно взлетать, перемещаться и приземляться в сложных условиях освещения. и неблагоприятные погодные сценарии.
В Immervision мы разрабатываем передовые системы технического зрения, сочетающие оптику, обработку изображений и технологию объединения датчиков. Blue UAS — это целостный и непрерывный подход к быстрому созданию прототипов и масштабированию коммерческих технологий БПЛА для Министерства обороны. В рамках программы Blue UAS команда Immervision InnovationLab разработала широкоугольную навигационную камеру под названием IMVISIO-ML, которая может работать в условиях экстремально низкой освещенности ниже 1 люкс.
Наряду с модулем камеры доступна расширенная библиотека обработки изображений с такими функциями, как устранение искажений, объединение датчиков, сшивка камер, стабилизация изображения и многое другое. Мы также предоставляем услуги настройки IQ для оптимизации производительности системы в зависимости от целевого приложения.
Система навигационных камер IMVISIO-ML для слабого освещения теперь широко доступна производителям дронов и робототехники. Этот модуль камеры, интегрированный с платформами Qualcomm RB5 и ModalAI VOXL2, уже используется производителями дронов, такими как Teal Drones, ведущим поставщиком дронов из списка Blue UAS Cleared. Как сообщается на сайте DroneLife , новейшая модель дрона Golden Eagle от Teal будет оснащена двумя модулями камер Immervision для работы в условиях низкой освещенности, которые улучшат навигацию в условиях низкой освещенности и обеспечат стереоскопическое зрение для автономной пилотной системы Teal.