Полусферические камеры прикладных телевизионных систем: получение и преобразование полусферических изображений
В статье рассматриваются методы получения информации прикладными телевизионными системами и методы преобразований полусферических изображений в панорамные.
Прикладные телевизионные системы по назначению и принципу действия можно разделить на две основные группы. К первой группе относятся наблюдательные системы, которые в некоторых источниках называют обзорно-поисковыми или информационными. Они предназначены для наблюдения за общей обстановкой внутри заданного пространства, ограниченного полем зрения объектива. Ко второй группе относятся телевизионные измерительные системы, которые решают задачи измерения геометрических размеров, углов перемещений, координат и других параметров протяженных и малоразмерных (точечных) объектов с точностью, сопоставимой, а порой и превышающей точность традиционных оптико-электронных приборов.
Вне зависимости от решаемой задачи к системам предъявляются требования получения информации об окружающем пространстве в максимально широком диапазоне углов, как по азимуту, так и по углу местности; формирование неискаженных изображений; возможность выполнять селекцию объектов.
И если задача селекции объектов решается программными средствами на основе анализа серии изображений, то формирование неискаженного или, по крайней мере, с минимальными искажениями изображения возможно только при использовании в системе широкоугольных камер либо при реконструкции панорамы из нескольких изображений.
Методы получения информации в широком диапазоне углов
Получить изображение в максимально широком диапазоне углов можно с помощью любого из трех методов:
Использовать камеры с широкоугольными объективами типа fisheye («рыбий глаз»).
Реконструировать панораму из нескольких изображений (метод мозаики).
Использовать полусферические камеры, которые представляют собой комбинацию видеокамеры и зеркала сложной формы.
Объективы fish-eye (рис. 1) являются наиболее распространенным способом получения изображений в широком диапазоне углов в масштабе реального времени.
Рис. 1. Широкоугольный объектив типа fish-eye
Сегодня в линейке любого производителя оптических систем найдется не одна модель широкоугольных объективов, причем некоторые модели обладают компактными размерами. Однако в силу особенностей конструкции (рис. 2) широкоугольным объективам присуща достаточно большая дисторсия — погрешность изображения, при которой нарушается геометрическое подобие между объектом и его изображением (рис. 3). Эту погрешность в некоторых случаях трудно удалить.
Рис. 2. Распространение лучей в широкоугольном объективе
Следует заметить, что объективы fish-eye позволяют получить панорамное изображение пространства. Для этого необходимо расположить камеру так, чтобы оптическая ось объектива была перпендикулярна линии горизонта. Однако изображение в этом случае может быть ограничено по углу местности, так как лишь немногие модели объективов подобного типа имеют углы обзора 180° и более.
Метод мозаики заключается в реконструкции панорамы из нескольких изображений, которые могут быть получены как от нескольких камер, установленных в различных точках пространства, так и от одной камеры, вращающейся вокруг заданной оси. Системы, построенные на методе мозаики, позволяют получить изображения с высоким разрешением, но сложность обработки данных не позволяет этим системам работать в режиме реального времени. Кроме того, подобные системы характеризуются параллаксом — изменением положения объекта относительно других объектов или фона в зависимости от точки наблюдения.
Рис. 4. Прототип (а) и выпускаемая фирмой Mobotix полусферическая камера (б)
Полусферические камеры в общем случае представляют собой комбинацию перспективной камеры с выпуклым зеркалом (рис. 4). В качестве зеркала используют отражающие поверхности сферической, параболической, эллиптической, гиперболоидной, конусной и других форм. Полученное полусферической камерой изображение является изображением пространства с углом 360° (рис. 5).
Основные недостатки полусферических камер — это неоднородное разрешение (высокое вблизи границ зеркала, низкое — в центре изображения) и низкое разрешение по сравнению с методом мозаики.
Использование того или иного метода определяется назначением прикладной телевизионной системы. Так, при построении телевизионных измерительных систем в основном используется метод реконструкции панорамы из изображений, получаемых камерой с малым углом зрения, но обеспечивающей высокое разрешение и линейность кадра. В наблюдательных телевизионных системах, не предъявляющих столь жестких требований к изображению, используются полусферические камеры либо камеры с широкоугольными объективами.
Но существует ряд приложений, требующих от прикладных телевизионных систем, казалось бы, несовместимых параметров — высокого быстродействия и обзора пространства в широком диапазоне углов. Здесь системы на основе полусферических камер оказываются вне конкуренции.
Методы преобразования полусферических изображений в панорамные
Полусферическое изображение, формируемое полусферической камерой, имеет вид окружности, ограниченной внутренним и внешним радиусами (рис. 6). Внутренний радиус определяется размером объектива камеры, а внешний — размером зеркала. Чем выше расположена точка сцены, тем дальше находится ее образ от центра изображения. Этот вид изображения неудобен для наблюдения, поэтому его нужно преобразовать в обычный прямоугольный вид. Рассмотрим методы преобразования выходного изображения с полусферической камеры в панорамное изображение.
Рис. 6. Процесс формирования полусферического изображения и пример изображения
Для получения панорамы необходимо осуществить проецирование полусферического изображения на цилиндрическую поверхность, окружающую зеркало (рис. 7а). Это преобразование называется геометрической разверткой. Геометрическая развертка отличается высокой точностью преобразования, но для нее необходимы внутренние параметры полусферической камеры, такие как фокусное расстояние, центр изображения, радиус зеркала, размер пикселя. Кроме того, данный метод громоздок и требует больших вычислительных затрат.
Рис. 7. Развертка полусферического изображения в панорамное изображение: а) геометрическая; б) быстрая
Гораздо большей эффективностью обладает предлагаемый авторами метод быстрой развертки: панорама может быть получена путем преобразования полусферического изображения из системы полярных координат в систему прямоугольных координат. Этот метод основан на свойстве полусферической камеры: мировая точка и точка ее изображения имеют одинаковый азимутальный угол. Отсюда следует, что вертикальная линия мировой сцены, точки которой имеют одинаковый азимутальный угол, отображается в радиальную линию, проходящую через центр изображения, а горизонтальная линия отображается в окружность. Важной особенностью этого метода является независимость преобразования от параметров полусферической камеры.
Несмотря на простоту метода быстрой развертки, при его реализации часто возникают проблемы геометрического преобразования. Для прямого преобразования, когда входное изображение попиксельно преобразуется в выходное, характерна ситуация, при которой пиксель входного изображения оказывается между пикселями выходного изображения. Попытка приравнять значение входного пикселя ближайшему пикселю в выходном изображении приводит к образованию «дыр» в выходном изображении, поскольку может оказаться, что некоторым пикселям не будет присвоено значение или оно будет присвоено более одного раза. При обратном преобразовании, когда выходное изображение формируется путем обратного отражения от входного изображения, все пиксели сканируются последовательно, что позволяет избежать «дыр» и наложений. Однако возникает проблема интерполяции во входном изображении. Координаты пикселей выходного изображения, как правило, не совпадают с координатами пикселей входного изображения, а лежат между ними. Таким образом, их правильные значения должны быть интерполированы по окружающим пикселям.
Математический аппарат интерполяционных методов давно знаком и широко используется в различных приложениях, поэтому при реализации метода быстрой развертки целесообразно применять обратное отображение из панорамы в полусферическое изображение. В этом случае для каждой точки панорамы требуется найти соответствующую точку на полусферическом изображении и провести интерполяцию по окружающим пикселям.
Математическая модель быстрой развертки может быть получена следующим образом.
Пусть: P(x, y) — точка полусферического изображения в системе полярных координат; P(x, y) — точка панорамного изображения в системе прямоугольных координат.
Соотношение между P(x, y) и P (x , y ) определяется:
где W = R–r, L = 2R — ширина и длина панорамного изображения; h, — координаты точки P(x, y) в системе; R, r — внешний и внутренний радиусы полусферического изображения.
Преобразование из системы прямоугольных координат в систему полярных координат определяется системой уравнений:
Результаты преобразования полусферического изображения (рис. 5) с использованием метода быстрой развертки в панораму приведены на рис. 8.
Качество быстрой развертки зависит от выбора центра полусферического изображения. Неправильный выбор центра приводит к очевидному искажению панорамного изображения (рис. 8б).
Рис. 8. а) Преобразованное панорамное изображение; б) искажения панорамы при неправильном выборе центра полусферического изображения
Положение центра может быть точно получено в результате калибровки полусферической камеры либо вычислено по полусферическому изображению, так как его внешняя граница имеет вид окружности.
В заключение необходимо отметить, что преобразование полусферических изображений методом быстрой развертки также требует обработки большого массива данных, хотя и с меньшим числом параметров по сравнению с геометрической разверткой. Поэтому для снижения нагрузки на вычислительную систему при практической реализации предлагается использовать свойство симметричности окружности и фрагментацию изображений.
Литература
Яне Б. Цифровая обработка изображений / Пер. с англ. М.: Техносфера, 2007.
Коротаев В. В., Краснящих А. В. Телевизионные измерительные системы / Учебное пособие. СПб: СПбГУ ИТМО, 2008.
Mei C., Rives P. Single view point omnidirectional camera calibration from planar grids. IEEE International Conference Robotics and Automation. Rome, Italy, 2007.
Scaramuzza D., Martinelli A., Siegwart R. A flexible technique for accurate omnidirectional camera calibration and structure from motion. Proceedings of the 4th IEEE International Conference on Computer Vision System, 2006.
Если Вы заметили какие-либо неточности в статье (отсутствующие рисунки, таблицы, недостоверную информацию и т.п.), просьба сообщить нам об этом. Пожалуйста укажите ссылку на страницу и описание проблемы.
