Image composite editor русская версия


Разбираемся с Microsoft Image Composite Editor или как сделать панораму из видеофайла

Панорамный снимок сельской местности. Сделано при помощи PixMaker. 2003 год.

Созданием панорамных фотоснимков человечество баловалось еще со времен изобретения фотопечати. Ну а кому не захочется потрясти воображение знакомых огромной фотографией с мельчайшими деталями или фотографией с разверткой под 270 или итого больше градусов? Но с аналоговой системой печати подготовить хорошую панорамную фотографию чрезвычайно трудно, так трудно, что производители даже выпускали специальные фотоаппараты, спроектированные исключительно для съемки панорамных пейзажей. В начале 2000-х, когда цифровые фотокамеры начали свое победоносное наступление на пленочную технику, неожиданно возобновился интерес и к панорамной фотографии.

Причем интерес энтузиастов не просто появился, а возник как новое, очень мощное направление в фотографии. Сотни тысяч фотографов, вооружившись цифровыми фотоаппаратами и штативами, ринулись штурмовать пейзажи, снимая гигапиксельные и обычные панорамы. Компьютерная техника дала необычно сильный толчок для бурного развития цифровой панорамной фотографии. Совместить десятки и сотни отдельных фотографий на компьютере задача хоть и сложная, но она не идет ни в какое сравнение с созданием панорамной аналоговой фотографии. На свет начали активно появляться различные приложения для создания панорам. Каюсь, я приложил свою руку, как к созданию программного обеспечения для склейки панорам (я выступал в качестве активного бета-тестера для проекта TPGui), так и сам активно снимал в панорамном формате.

Специальный пленочный панорамный фотоаппарат "Горизонт".

Но постепенно интерес к сложной компьютерной обработке фотографий стал сходить на нет. Несмотря на все преимущества, которые дает любителю компьютерная фотография, разобраться со всеми ее тонкостями мудреного ПО, дано только самым и самым упорным людям. А таковыми являются далеко не все. Стараясь не упустить клиента, программисты решили еще сильнее напрячь свои мозги и обучить свои программы выполнять всю работу за пользователя. Так, уже ближе к концу 2000-х, на свет появились почти автономные продукты, в которых процесс склейки отдельных фотографий производится с минимальным вмешательством человека. И именно тут потребителю стали доступны программные комплексы, позволяющие создавать панорамные фотографии не из отдельных фотографий, а из видеороликов. Ведь действительно, видео с цифровой камеры есть не что иное как последовательность фотографий, обработанная особым образом. Но увы, опять никакого чуда не произошло. Качество результатов, даже с использованием всех возможных и невозможных алгоритмов, без прямых рук и светлой головы, оставляло желать лучшего.

Роботизированная панорамная головка с установленным фотоаппаратом.

Но, похоже, что история повторяется и вот, в 2015 году на сцену выходит весьма любопытный продукт от Microsoft. Речь идет о Image Composite Editor (ICE) родившемся в недрах Microsoft Research. У Microsoft задействована целая сонма проектов относительно обработки видео и фото. Некоторое время назад, я уже писал об одном таком продукте. Основной «фишкой» Microsoft Hyperlapse несомненно можно считать очень хитрый алгоритм построения пространственной картинки при обработке видеофайла. Нечто подобное реализовано и в ICE, хотя и предназначен продукт для создания панорамных фотографий различного форм-фактора.

Image Composite Editor может работать как фотографиями, так и видео в качестве источника. Результатом, понятное дело, всегда выступает фотография. Причем именно видео является основным входящим потоком для ICE. Ведь сейчас, даже в мобильных устройствах, есть возможность снимать видео в разрешении не меньше, чем у фото. Да и в теории, для панорамной фотографии важно иметь хороший набор перекрывающих друг друга кадров, а видео-то пишется с частотой ну никак не меньше 25 кадров в секунду. И, следовательно, для большинства случаев видеоролики могут выступать лучшим и приоритетным источником для создания панорамной фотографии. Но попробуем разобраться, так ли хорош ICE, как о нем пишут его создатели на страничке загрузки приложения.

Как создавать панорамы правильно

В деле панорамостроения очень важно качество источника, будь то видео или фото. А получить качественные видеоролики и фотографии, для целей создания панорамной фотографии, можно только при использовании штатива, а в некоторых случаях и с использованием специализированных роботизированных панорамных головок. Помимо требования к стабильности положения камеры в пространстве, есть определенные требования к стабильности фокуса, его лучше настроив отключить, и экспозиции (обычно фиксируется диафрагма и выдержка).

Но подобная техника встречается только в руках настоящих профи, которые идут целенаправленно за удачными кадрами для будущей панорамы будучи обвешанными килограммами оборудования. Ну а что делать любителю? А любитель снимает панорамные снимки с рук, сейчас уже зачастую вообще камерой мобильного телефона, а все огрехи в съемке надеется исправить при постобработке силами программного обеспечения. И именно с этой точки зрения, неотягощенного штативом и прочим фотографа, будет рассмотрен Image Composite Editor.

Введение в ICE

Microsoft умудряется, в последнее время, создавать программные продукты, которыми можно пользоваться без предварительного изучения документации и сдачи квалификационных экзаменов. И Image Composite Editor не исключение. Интерфейс программы на редкость прост. Весь процесс состоит из последовательности шагов.

Вначале, выбираем видео или набор фотографий, которые необходимо превратить в панораму. Затем, центрируем и выбираем тип панорамы. Далее, заполняем пустые места в кадре или обрезаем готовую панораму. И фотка, поражающая воображение, готова!

Типы доступных панорам в ICE.

Но несмотря на всю простоту процесса, необходимо все же дать некоторые пояснения к самому процессу и элементам управления. Первый непонятный пункт меню, с которым встречается неискушенный пользователь, притаился на самом первом шаге процесса, на процедуре импорта. Тут пользователю предлагается выбрать тип панорамы. Ниже я дам мою вольную трактовку доступных вариантов:

  • Auto-detect: установка по умолчанию. В этом режиме ICE попытается автоматически определить движения камеры основываясь на импортируемых изображениях или кадрах видео. При использовании этого варианта, следует учитывать, что при применении длиннофокусных объективов возможно возникновение ситуации, когда ICE неверно определяет тип загружаемой панорамы. В этом случае рекомендуется выбирать вариант вручную.
  • Planar motion: при активации этого режима ICE рассчитывает лучшее пересечение изображений без осуществления какой-либо коррекции искажений. Допускаются только вращение и изменение размеров фотографий. Режим Planar motion удобно применять для склейки множества изображений чего-то, располагающегося в одной плоскости, например, больших документов.
  • Planar motion with skew: режим аналогичен Planar motion, но помимо всего прочего, допускает корректировку перекоса изображений. Режим не очень полезный, но может применяться в случае, если другие способы не дают искомого результата.
  • Planar motion with perspective: режим использует все преимущества предыдущих режимов, но дополнен еще и устранением искажений от перспективы. Такой режим может с успехом применяться в случаях, когда снимается панорама плоскости, но из одной точки. В дальних углах формируется существенное искажение геометрических форм, которое и призван исправлять указанный режим. Собственно, это один из самых распространенных режимов съемки панорамы, но он исключает поворот камеры вокруг точки съемки и применяется для плоских объектов. Так можно сфотографировать со сверхвысоким разрешением картину Репина в Русском музее или что-то аналогичное.
  • Rotation motion: самый популярный режим. Он применяется тогда, когда камера вращается вокруг точки установки.

В большинстве случаев вполне адекватно работает установка Auto-detect, ну а если что-то вдруг пошло не так, то в любой момент можно вернуться на Шаг 1 и выбрать другой тип панорамы. В этом плане в Microsoft Research все сделано гладко и без изъянов. Но уже на следующем шаге, пользователю предлагают еще разок поднапрячь мозговые извилины и выбрать еще раз тип панорамы. На этот раз доступно только два варианта:

  • Simple panorama: этот тип панорамы выбирается в том случае, если для съемки фотографий или видео не применялись роботизированные панорамные головки. Другими словами, если всю работу, так или иначе, проделал человек. Даже если применялся штатив или ручная панорамная головка, все равно выбрать нужно именно этот вариант.
  • Structured panorama: применяется только и исключительно для фотографий снятых при использовании роботизированной панорамной головки. Такие головки позволяют снимать сотни и тысячи фотографий в рамках прямоугольной зоны. Обычно подобная техника применяется в проектах по съемке гигапиксельных панорам. А ICE будет обрабатывать фотографии-источники заметно быстрее, поскольку он не будет тратить время на дополнительные вычисления перекрытия фотографий, поворота камеры и им подобных.

Варианты панорам в ICE.

У неискушенного пользователя могут возникнуть вопросы и на следующем этапе, когда требуется выбрать непосредственно тип панорамы. Но тут можно разобраться и без посторонней помощи, благо при переключении типов, результат на экране меняется моментально. Только нужно помнить, что сетка на изображении дана не просто так, а само изображение, в зависимости от выбранного типа панорамы, можно сильно деформировать при помощи мышки. Достаточно только одного раза попробовать и все получится.

Копаем вглубь ICE

Одним из преимуществ, которое активно рекламирует Microsoft, которое есть у ICE, встречается и в других программах. Функция Auto Complete, доступная на шаге 3, позволяет, при помощи могучего алгоритма, достроить недостающие части панорамы. Иногда получается так, что при съемке панорамы, особенно когда применяется техника съемки с рук, в некоторых местах готовой панорамы обнаруживаются пустые участки. Дело в том, что уследить, при быстрой съемке, за всеми ракурсами, бывает очень непросто и рано или поздно, где-то в углах образуются пустоты. Плюс, при исправлении искажений, а также при позиционировании фотографий друг относительно друга, края панорамы получаются не совсем ровными и прямоугольными. При традиционном подходе, готовый панорамный снимок обрезается, оставляя за кадром все неровности. Но Microsoft в ICE предлагает воспользоваться преимуществами продвинутых алгоритмов.

Работа функции Auto Completion в ICE.

При помощи функции Auto Complete можно попробовать достроить недостающие участки панорамной фотографии. Компьютер, опираясь на рядом расположенные пиксели, старается предположить, каким узором или рисунком необходимо заполнить образовавшиеся в панораме пустоты. Алгоритм, применяемый в ICE не уникален, несколькими годами ранее в Adobe Photoshop появился инструмент Content aware fill. Инструмент применяется для ретуширования фотографий и позволяет избавляться от ненужных объектов на фотографиях, в том числе и при обработке панорамных снимков. Да-да, Adobe Photoshop с незапамятных времен умеют самостоятельно собирать панорамные снимки, причем делает он это не хуже, чем большинство специализированных приложений по обработке панорамных фото для начинающих фотографов.

Но такие инструменты хорошо работают только в весьма ограниченных случаях. Если область для заполнения более-менее крупная или сложная, с мелкими деталями, то ловить тут с автоматическими алгоритмами нечего. Компьютер все равно не сможет додумать, что у автомобиля спереди должно быть колесо, а у человека в верхней части туловища обычно располагается голова. Но для мелких участков алгоритмы вполне работают.

К чести Microsoft Research, функция Auto Complete может быть включена и отключена в любой момент времени. Если вы видите, что результаты работы Auto Complete ужасны, то всегда можно либо обрезать эту часть, либо просто отменить заполнение пустот. Хотя обрезать придется в любом случае. Вообще, удобство работы с программой на высоте. В любое время можно вернуться назад и изменить каждый из параметров.

Помимо заполнения пустот в ICE есть еще одна функция, достойная упоминания и называемая Preserve regions. Доступна она на самом первом шаге процесса обработки. На фотографиях или кадрах видео можно пометить те объекты, которые необходимо оставить в кадре. При отмечании не забывайте помечать еще и тени от объекта, во избежание ненужных артефактов на изображении. Да и слишком усердствовать не стоит. При перекрывании объектами друг друга либо при их очень близком расположении возможны коллизии и возникновение либо мутных участков, либо привидений, либо уполовиненных объектов.

Результат работы настройки Preserve regions в ICE.

Несмотря на всю продвинутость алгоритмистов, нельзя создать процедуру, которая будет одинаково хорошо работать с любым набором исходных данных для панорамы. Искусственная обработка не всегда может верно склеить отдельные части панорамы, но в ICE у пользователя нет возможности никак повлиять на результат. В ICE нет ни единого способа, как можно было бы подсказать программе где она ошиблась и как нужно произвести склейку. Пользователь волен лишь изменять очень грубые настройки, все остальное отдано на откуп компьютера. И если панорама не срастается, то тут либо пойти и снять все заново, либо воспользоваться альтернативным программным обеспечением.

Тестируем Image Composite Editor

Я не ставил перед собой задачи провести мегатестирование и сравнить результаты работы всех продуктов доступных на рынке. Их слишком много, даже в современных телефонах можно встретить функцию по сборке панорамы. Моя задача была немного скромнее, я хотел понять, что можно получить на выходе из ICE если снимать только с рук, а в качестве камеры использовать хоть и хороший, но все же телефон.

Подготовленная панорама из видеофайла. Хоро видны неровные края снимка.

Первым вопросом, которым я задался было «А как хорошо работает функция Auto Completion?» Для ответа на него, мне пришлось снять несколько пробных панорам и сшить их в ICE.

Попытка заполнения пустых регионов программным способом. Стрелками отмечены сомнительные результаты, а рамкой геометрические искажения.

Специально ради съемки, я прибыл на улицу Школьную, где располагается местная точка силы для съемки тестовых панорам. Будучи проездом на улице Школьной, я решил испытать судьбу и снять панораму самой улицы, припаркованных на ней автомобилей, а заодно дома красивые. Ради эксперимента, я снял линейную панораму в виде фотографий и составную панораму в видео. Видеосъемку я проводил очень небрежно, водя камеру из стороны в сторону, стараясь покрыть интересующий меня регион. Такой режим поддерживается в ICE и никаких сложностей он не вызвал.

Панорама полученная из фотографий без обрезки.

Если посмотреть на результаты обработки панорамных снимков, то отчетливо видно, что алгоритмы не справились с дорисовкой недостающих частей изображения. Вернее, дорисовать-то они их дорисовали, но лучше бы они этого не делали. Результат получился ужасающий и все эти области все равно придется обрезать.

Панорама полученная из фотографий с заполнением пустот в ICE.

Auto Completion отработала одинаково плохо как для результата, полученного с видеоисточника, так и с фотографий. Увы, дальнейшее разбирательство только подтвердило мои первоначальные предположения о качестве работы алгоритма автозаполнения.

Панорама из фотографий, собранная в Adobe Photoshop CC 2015 с заполнением пустот.

Я произвел еще одну съемку, на этот раз на улице Шипиловская. Здесь заполнять пришлось такие объекты как небо, траву и асфальт. Асфальт заполнился идеально, небо, кстати тоже, а вот на траве уже заметны некоторые изъяны, хотя видны они только тогда, когда присматриваешься.

Сферичекая панорама из видеофрагмента с обрезкой.

В проморолике от Microsoft пустые места в панораме, чудесным образом заполняются содержимым. Но, если присмотреться, то все панорамы, в которых заполняются проблемные места, не содержат каких-либо сложных структурных объектов. Все места для заполнения чрезвычайно просты. Это либо бетон, либо асфальт, либо плитка. Именно на таких объектах алгоритм заполнения срабатывает верно. Но увы, в других случаях им лучше не пользоваться.

Сферичекая панорама из видеофрагмента с заполнением пустот.

Следующий тезис, который я вознамерился проверить в отношении ICE было его качество склейки панорам. Ведь технологии ушли далеко вперед, может быть разработчики смогли придумать что-то, что позволяет избавить панорамный снимок от растушеванных частей, от призраков и от голов людей, летящих отдельно от тел.

Еще одна сборка панорамы из видео. Если присмотреться, то заметны огрехи в геометрии и заполнении пустот.

На снимке в подземелье метрополитена, видно, что даже современные алгоритмы не готовы к беспощадности реального мира. Как были растушевки, так они и остались. Как были привидения, так они и остались. Ничего принципиально нового в ICE нет, ровно все то же самое есть (и уже было лет так 15) в других приложениях. Казалось бы, если в качестве источника выступает видеофрагмент, то в распоряжении программы есть сотни, если не тысячи отдельных кадров — выбирай те, которые подходят. Ан нет, оказывается тут все не так просто. Даже при наличии видеофрагмента ICE не может вычленить все те части панорамы, которые можно соединить вместе, но без участков с «мешающими» объектами.

Огрехи в сборке панорамы: летающие отдельно от тел головы, изломы на прямых линиях геометрии.

Кроме проблем смешения, меня неприятно удивили геометрические искажения там, где их не должно быть. Особенно ярко они проявляются в городской застройке, где высотные дома начинает плющить алгоритм корректировки искажений, а их ровные вертикальные линии превращаются в нечто неудобоваримое. Зато обработка частей круговой или близкой к ней панорамы с сильными перепадами освещенности отрабатываются вполне сносно, конечно, тут заслуга еще и камеры которой производилась съемка.

Одна из удачных панорам собранных из видеофрагментов. Двигающийся транспорт не смог внести помехи в результат.

В начале статьи я упоминал, что для съемки качественной панорамы необходимо заблокировать экспозицию. Обычно ее блокируют на самом ярком участке, дабы детали не уничтожались в светах. Но далеко не на каждом телефоне есть такая возможность. Но к чести Samsung, в S5 корейцы смогли реализовать съемку видео в условиях изменяющегося освещения на достойном уровне. А ICE смогла отработать склейку панорамы даже при нахождении яркого солнца в кадре, что в действительности серьезная проблема.

Одна из более-мене удачных панорам с размноженным автомобилем. Сделано из видео.

Ну и конечно, извечная засада всех программ по созданию панорам — провода в небе. Собрать их в единую линию не под силу даже самым-самым продвинутым утилитам. И только съемка при помощи роботизированной головки, с четко выверенными углами и перемещениями хотя бы частично, но снимает проблему по склейке тонки черных линий, проходящих где-то по небу.

Выводы

Image Composite Editor для Microsoft продукт новый, ранее ребята из Редмонда, не были замечены в подобных упражнениях. Но даже такой первый «блин» вышел далеко не комом, а продуктом вполне на уровне других, актуальных нынче, панорамных склейщиков. Я не могу сказать, что для продвинутого фотографа ICE подойдет. Намучавшись с небольшими огрехами в готовых панорамах, такой фотограф рано или поздно перейдет на более управляемый софт. С другой стороны, ничего проще, нежели ICE, для начинающего фотографа придумать нельзя. Проще уже некуда, да и незачем.

Исходный видеоролик для панорамы на ул. Школьная

А вот для профи, возможно, что функциональности ICE будет достаточно. Дело в том, что при использовании роботизированных панорамных головок, при склейке панорамы не возникает того множества дефектов-спутников обычной съемки. И тут уже будет важна скорость сборки панорамы, а ICE работает весьма шустро.

Могу ли я рекомендовать ICE для использования? Как минимум его стоит посмотреть и опробовать самостоятельно. Вдруг, в вас невзначай проснется, спавший доселе, талант к панорамным снимкам. Тем более что продукт достойный и бесплатный (по крайней мере пока).

Опубликовано 23.11.2015 автором kvv в следующих категориях:Soft не только лишь все фото

Поделиться ссылкой:

blog.kvv213.com

Image Composite Editor - Microsoft Research

What is Image Composite Editor?

Image Composite Editor (ICE) is an advanced panoramic image stitcher created by the Microsoft Research Interactive Visual Media Group. Given a set of overlapping photographs of a scene shot from a single camera location, the app creates a high-resolution panorama that seamlessly combines the original images. ICE can also create a panorama from a panning video, including stop-motion action overlaid on the background. Finished panoramas can be shared with friends and viewed in 3D by uploading them to the Photosynth web site. Panoramas can also be saved in a wide variety of image formats, including JPEG, TIFF, and Photoshop’s PSD/PSB format, as well as the multiresolution tiled format used by HD View and Deep Zoom.

Automatic image completion

ICE can now fill in any missing pixels around the edges of your panorama, making a smooth boundary even in cases where you missed a shot.

    

Redesigned user interface and workflow

ICE has a new look that makes all the features more understandable and easier to use. The app guides you through the steps required to make a great panorama. And you can back up and change settings, then see the effects of those changes without having to start over from scratch.

Full-resolution preview

ICE allows you to zoom in to see every detail of your stitched panorama, no matter how big, before you export. Unlike earlier versions of ICE, panorama previews are no longer limited by your screen resolution.

Built-in Photosynth uploader

When you want to share a panorama, ICE can upload it directly to Photosynth, where your friends can view it using an interactive web viewer or the Photosynth app for iPhone or Windows Phone.

Additional features

  • Accelerated stitching on multiple CPU cores
  • Ability to publish, view, and share panoramas on the Photosynth web site
  • Support for “structured panoramas” — panoramas consisting of hundreds of photos taken in a rectangular grid of rows and columns (usually by a robotic device like the GigaPan tripod heads)
  • No image size limitation — stitch gigapixel panoramas
  • Support for input images with 8 or 16 bits per component
  • Ability to read raw images using WIC codecs
  • Photoshop layer and large document support
  • State-of-the-art stitching engine
  • Automatic exposure blending
  • Choice of planar, cylindrical, stereographic, orthographic, Mercator, or spherical projection
  • Orientation tool for adjusting panorama rotation
  • Automatic cropping to maximum image area
  • Native support for 64-bit operating systems
  • Wide range of output formats, including JPEG, JPEG XR, Photoshop, TIFF, BMP, PNG, and Silverlight Deep Zoom

System Requirements

Image Composite Editor works with 32-bit and 64-bit versions of Windows Vista SP2, Windows 7, Windows 8, or Windows 8.1.

Support

Image Composite Editor is provided free of charge and without official support. However, if you have questions or issues with Image Composite Editor, you may find help at the Image Composite Editor Forum, which is monitored by the developers and provides community-based support.

www.microsoft.com

Microsoft ICE – Блог Константина Кичинского

ICE – это Image Composite Editor, специальная программа для склеивания изображений в панорамы.

ICE базируется на технологиях, разработанных в Interactive Visual Media Group – подразделении Microsoft Research. Эти же технологии используются в DeepZoom Composer и Windows Live Photo Gallery.

Кстати, это далеко не единственный проект, разработываемый в IVM. Так, идеи, родившиеся в рамках проекта Photo Tourism, были взяты на вооружение командой MS Live Labs в их проекте Photosynth. Или вот, к примеру, HD View – плагин для браузера, позволяющий просматривать большие (гигапиксельные) изображения.

Так что же такого интересного в ICE?

  • Автоматическая сшивка изображение и определение типа панорамы
  • Поддержка различных типов движения камеры при съемке

  • Широкая настройка ориентации панорамы: определение направления просмотра, типа проекции (перспективная, цилиндрическая сферическая) изображения – в интерактивном режиме с использованием GPU.

  • Автоматическая подстройка экспозиции
  • Автоматическая обрезка панорамы до максимального размера изображения

  • Отсутствуют ограничения в размере изображений
  • Поддержка 64-разрядных операционных систем, например 64-разрядной Vista
  • Интеграция в Windows Shell и новую версию Windows Live Photo Gallery

   

  • Широкие возможности экспорта, включая упомянутый HD View, стандартные TIFF, JPEG, PNG, а также PSD вместе со слоями и… барабанная дробь… DeepZoom (для Silverlight 2.0 RtM)!

  • Круговая сшивка (360 градусов), причем поддержка кругового просмотра добавлена в создаваемые Silverlight-приложения

Скачать можно здесь http://research.microsoft.com/ivm/ice.html

 

 

Для поклонников Silverlight (куда же мы без Silverlight!) важный момент. При экспорте в Silverlight\DeepZoom-приложение используется HD View SL – Silverlight-просмоторщик для панорамных изображений.

Что это дает?

  • Кросс-платформенность/кросс-браузерность (в отличие от HD View)
  • Плавное перемещение и масштабирование изображения за счет использования DeepZoom
  • Встренные средства для просмотра крутоговых панорам (360 градусов, горизонтально или вертикально)
  • Open Source реализация, доступная на CodePlex (там же можно найти сравнение с HD View).

Пример создаваемой круговой панорамы:

Кстати, для любителей Photoshop есть специальный плагин, позволяющий экспортировать изображиния/панорамы из Photoshop в тайлы для HD View или HD View SL, включая необходимые xml-манифесты и пример веб-страницы для просмотра.

 

Напоследок, несколько важных моментов:

  1. При экспорте из ICE в DeepZoom Tileset и запуске сгенерированной страницы может возникать сообщение об ошибке “The script element with ID 'dzxmlembed' does not contain a valid HD View XML file”. Все дело в баге, присутствующем в версии HD View SL, используемой при экспорте в ICE. Проблема проявляется в операционных системах с региональными языками (и соотв. настройками) вроде русского, эстонского, финского и т.д.
  2. Для исправления ошибки стоит скачать свежую версию HD View SL, ее можно взять отсюда: http://research.microsoft.com/ivm/HDViewSL/HDViewSL.xap. Этим файлом нужно заменить тот, который создает ICE.
  3. В следующей версии ICE эта проблема будет точно испрвлена.
  4. При локальном запуске сгенирированной веб-страницы может возникать сообщение об ошибке “Could not load image tile”. Наверняка, ваша страница и сгенирированные тайлы панорамы находятся по адресу, содержащему символы национального языка, например, русского.

blogs.msdn.microsoft.com

Microsoft ICE (Image Composite Editor)

November 16th, 2008

09:05 pm - Microsoft ICE (Image Composite Editor)

Продолжаю тему сшивки панорам. После рассказа про Autopano Pro, мини-обзор бесплатной программы Mictosoft ICE.

Технология склейки изображений появилась в Microsoft достаточно давно, но до недавнего времени снаружи не была заметна. Читал, что сшивка активно используется в картографическом сервисе Virtual Earth, кроме этого, мне кажется, что технологически очень близким является еще один проект Microsoft Research, который тоже дорос до продукта - Photosynth. Для пользователей сшивка стала доступной в Windows Live Photo Gallery, если не ошибаюсь, в 2007 году. Но до последней версии сшивка в WLPG не имела никаких настроек. Теперь появился ICE, как отдельный продукт, он же встроен внутрь новой версии WLPG.

Интерфейс минималистичный. Все находится в пределах главного окна. Сверху один пункт меню и две кнопки задающие режим редактирования, снизу три панели инструментов - “Stitch”, “Crop” и “Export”:

Открываем набор изображений (через open или drag&drop), формируется композиция, ICE переходит в режим редактирования Crop. Обрезку панорамы можно делать визуально, можно вручную или автоматом (из панели инструментов Crop). На панели Stitch задается модель движения камеры. Доступны три варианта “Planar motion”, также “Rotation motion” и автоматический выбор. При начальном формировании композиции ICE автоматом выбирает модель. Кстати один из режимов семейства Planar позволил достаточно корректно, в сравнении с Autopano Pro, сшить панораму карты лежащей на полу. При съемке камера перемещалась над плоскотью пола:

Кроме этого, можно немного отредактировать панораму. Для этого надо перейти из режима Crop в режим “Adjust the panorama’s center and curvature” (кнопка в верхней части окна). После этого появляется возможность выбрать тип проекции (Prespective, Cylinder (horizontal), Cylinder (vertical), Sphere (horizontal), Sphere (vertical)) и возможность визуально корректировать положение центра и наклон.

Приятная особенность ICE - операции поворота и выбора центра выполняются в реальном времени, весь рассчет деформации идет на GPU. Конечно это делается на картинке с предварительным просмотром и после нажатия Apply будет запущен небольшой пересчет, но тем не менее очень удобно. Кроме того в этом редакторе для удобства предусмотрено масштабирование.

Теперь осталось только задать формат выходного файла и запустить рассчет. Формат задается в панели Export. Кроме стандартных TIFF, PNG, BMP (страшно подумать что будет), Photoshop (можно по слоям) и JPEG, имеются допонительные Microsoft-овские штучки - HDPhoto, DeepZoom, HDView. HDPhoto – это продвигаемый MS новый формат для хранения изображения, а DeepZoom и HDView - это форматы для публикации в Internet. В DeepZoom и HDView вместо одного изображения генерируется multi-resolution набор тайлов, который будет подкачиваться на клиенте по мере необходимости. DeepZoom движок встроен в Silverlight 2, а HDView – это отдельная штуковина, которая вроде как многоплатформенная. Технологии дублируют друг друга и не совсем понятно, почему их до сих пор две. Итак, настройку закончили. При желании можно сохранить файл проекта. Это xml документ. На форуме уже предложили, как это можно использовать: например для получения HDR нужно предварительно сшить несколько панорам из фотографий сделанных с разной экспозицией. Это можно сделать подменяя в файле проекта пути к фоткам.

Опыт использования этой программы небольшой, но ощущение сформировалось. Здесь нет продвинутых инструментов по редактированию, но это может быть скомпенсировано высоким качеством сшивки. Конечно нет гарантий что оно так и будет, могу лишь сказать, что то что я видел в сравнении с autopano pro выглядит достойно. Разработчики на форуме (кстати официальной документации пока нет) утверждают, что по сравнению с Hugin, автоматический детектор контрольных точек работает очень здорово. Blender похоже тоже весьма не плох. С масштабированием все хорошо – можно сшивать панорамы практически без ограничений по объему, пишут, что гигапиксельные вполне можно делать. Поддерживается многопоточный рассчет, 64-битные платформы, плюс есть приятная фича с GPU-accelerated редактором центра. GPGPU рассчеты сейчас входят в моду и было бы интересно увидеть сшивалку, которая использует GPU для основного рассчета, чтобы драматически ускорить это дело. Что-то подобное хотел сделать Adobe в Photoshop CS4 photomerge, но сделали ли, может кто смотрел? Недостает пакетной обработки, но по всей видимости она появится, об этом на форуме писали разработчики. Есть предпосылки сделать сильное решение в будущем, посмотрим...

Плюсы:

  • Поддержка многопоточности.
  • Возможность сшивки больших панорам без чрезмерных требований к памяти.
  • Поддержка 64-битных платформ.
  • Неплохое качество сшивки, в целом сравнимое с autopano pro.
  • Неплохое качество коррекции экспозиции, автоматическую корректировку баланса белого не проверял.
  • В режиме "planar motion" удалось сшить карту, которая была отснята с изменением положения камеры (движение в плоскости).
  • Ускорение позиционирования композиции панорамы с помощью GPU.
  • Простота использования.
  • Экспорт панорам: psd (flat, layers), jpg, png, bmp, tiff, hdphoto, deepzom tileset,  hdview tileset
  • Поддержка замкнутых (360 градусов) панорам.

Минусы

  • Нет пакетной обработки, не поддерживается командная строка.
  • Отсутствие продвинутых возможностей редактирования - нельзя задать вертикали, редактировать контрольные точки и пр.
  • Нет поддержки 16-битных изображений.
  • Отсутствие нормальной документации и tutorials (информацию можно черпать только с форума).

PS Интересно будет провести сравнительный тест ICE, hugin и autopano pro. Сравнить качество, скорость, масштабируемость.

From:Date:
dibr
November 16th, 2008 08:06 pm (UTC)
(Link)
Хм. Очень любопытно, особенно использование GPU - hugin при перерисовке панорамы (уже "оптимизированной" по контрольным точкам) не особо торопится, GPU явно будет побыстрее.

А вот "нельзя задать вертикали и редактировать контрольные точки" - это они зря. Будем надеяться что добавят :-)

From:Date:
dibr
November 16th, 2008 08:09 pm (UTC)
(Link)

Кстати, финальную сшивку я бы GPU не доверил. То есть, "выгнуть" кадрики можно и через GPU, но это не основная часть работы (плюс время на загрузку-выгрузку этого в/из карту), а вот блендинг я бы видеокарте не доверил...

Тут вопрос не в доверии, а в принципиальной возможности такого ускорения. GPU это тоже процессор и работает он однозначно. Насчет blending - может какие-то его стадии можно эффективно распараллелить на GPU, а может и нет.

Хотя возможна ситуация, когда алгоритм таки портируется на GPU, но допустим с какими-то упрощениями. Ну например использование float вместо double. В итоге это приводит например к менее качественному результату. Вот такое портирование не не хотелось бы.

Хм. Очень любопытно, особенно использование GPU - hugin при перерисовке панорамы (уже "оптимизированной" по контрольным точкам) не особо торопится, GPU явно будет побыстрее.

http://panospace.wordpress.com/2008/08/17/sneak-preview/

Ждите в 0.8.0

From:Date:
dibr
November 19th, 2008 04:46 pm (UTC)
(Link)
Посмотрим :-)

Ещё бы пакетную сшивку как-нибудь документировали бы. А то *.mk файлы создаются (причем сами, без участия человека), утилита make есть, и она их даже успешно обрабатывает, а в документации про всё это - тишина-а...

Цитирую: "There is a doc in the 0.7.0 tarball, this is nearest thing to hugin Makefile documentation: doc/batch-processing/README.batch"

From:Date:
dibr
November 20th, 2008 03:59 pm (UTC)
(Link)
Да, в tarball действительно есть такой файл.

Но ситуацию, когда какая-то информация есть в встроенной справке, какая-то - в каталоге doc в установочном каталоге, какая-то - на сайте, ещё какая-то в блогах, отдельно - в новостях на третьем сайте, а искомое обнаруживается вообще в архиве исходников(!) - я не считаю нормальной. Если человек сумел добраться до "doc/batch-processing/README.batch" в tarball (в виндовом дистрибутиве этого нет, это есть именно в tarball, который виндоюзерам например вообще не нужен), то скорее всего он давно и так раскопал что и как делать, и ему это уже не надо.

А хочется хотя бы упоминания о существовании возможности(!) пакетной сшивки при помощи утилиты make в встроенном хелпе. Набрать "make -?" и разобраться, что с этим дальше делать на мой взгляд один фиг проще, чем шерстить интернет и исходники, но чтобы узнать о наличии такой команды нужен ма-аленький абзац, буквально пара-тройка предложений, в пределах быстрой достижимости взглядом обычного пользователя. То есть, в штатном хелпе, хорошо бы в разделе FAQ - его хотя бы иногда читают...

Да, согласен. Сейчас возникла идея (вслед за Inkscape) перенести работу над руководством к hugin на FLOSS Manuals. Тогда будет проще делать такие вещи.

From:Date:
eldog
November 16th, 2008 09:27 pm (UTC)
(Link)
> Что-то подобное хотел сделать Adobe в Photoshop CS4 photomerge, но сделали ли, может кто смотрел?

Вот тут ускорение photomerge в списке ускоряемых фич не значится :-)http://kb.adobe.com/selfservice/viewContent.do?externalId=kb404898

Я баловался маленько - сшивка занимает ощутимое время. 4 куска - с полминуты, может.

Понятно с photoshop. Вообще не знаю как он там в CS4 сшивает, но то что было в CS3 - было совсем неубедительно.

Что касается времени - это нормально. Процесс это не быстрый. Вот dibr некоторые свои панорамы часами клеил, хоть и на P4 3 GHz.

From:Date:
eldog
November 16th, 2008 09:55 pm (UTC)
(Link)

Я не специалист, не знаю, как должно. По границе сшивки остаётся белая полоса. Вымарать её clone stamp'ом, конечно, можно.

Под границей сшивки ты понимаешь стык между двумя кадрами? Задача сшивалки как-раз бесшовно все состыковать. Граница на самом деле имеет сложную форму и процесс совмещения называется blending. В целом получается так, что 100% результата нигде не удается получить. Где можно дорабатывать напильником можно что-то вылечить но не всегда.

Ты кстати пробуешь в photoshop?

From:Date:
eldog
November 16th, 2008 10:07 pm (UTC)
(Link)
> Под границей сшивки ты понимаешь стык между двумя кадрами?Да, там пробегает такая тонкая белёсая ломаная линия.

Да.

Такого я еще нигде не видел. Если кадры перекрываются, то blending так или иначе смешивает их друг с другом, он не должен выдумывать свой цвет. Такое может быть только если они недотягивают друг до друга. Еще сдвиг между картинками может быть - это значит контрольные точки неверно нашлись или не нашлись или оптимизатор не справился, но на месте двух нормальных картинок никак не должна появляться левая полоса.

From:Date:
rkv
November 17th, 2008 07:44 am (UTC)
(Link)

"GPGPU рассчеты сейчас входят в моду и было бы интересно увидеть сшивалку, которая использует GPU для основного рассчета, чтобы драматически ускорить это дело. Что-то подобное хотел сделать Adobe в Photoshop CS4 photomerge, но сделали ли, может кто смотрел?"А можно поподробнее? Есть какаянибудь официальная информация что он хотел использовать GPU и для чего хотел?

Подробностей не знаю. Про активное использование GPU в новом Photoshop много где писали, но как водится без подробностей. Про сшивалку может мне приглючилось, может это домыслы были. Вобщем специально я ничего не искал по этой теме.

Что реально работает на GPU - см. комментарий Артема (eldog) чуть выше с ссылкой на страничку Adobe с описанием.

From:Date:
eldog
November 17th, 2008 09:43 am (UTC)
(Link)
From:Date:
rkv
November 17th, 2008 10:41 am (UTC)
(Link)

Спасибо, посмотрим..

Речь идет, как я понимаю, о раскладывании исходным снимков панорамы прямо на виртуальной сфере и последующей проекции с выравниванием. Идея не нова, в сообществе панорамщиков обсасывается давно.

Пользователь dibr сослался на вашу запись в «hugin» в контексте: [...] что теперь он, блин, спокойно работает "из коробки", без необходимости читать линуксовые исходники [...]

ilya-314.livejournal.com

Image Composite Editor

Download • Support • Release Notes

Released 24th February 2015

I have tried PanoramaPlus X4 and Scan, Stitch, and Share, but neither comes close to the speed, power, or easy of use of this freeware. Microsoft’s Image Composite Editor may be development software, but it seems to be rock-solid. If you have a 64-bit Operating System, the ability of the 64-bit version to access all of your PC memory makes this the obvious choice. I am sure that the 32-bit version will be fine for less demanding tasks.

I don’t have any video to try stitching, so I will give a brief run-through of the simple process of stitching two or more images. The second example stitches together ten screen shots from the Site Structure view of this Softer Views web site to make a single large image. The first illustrates the process of stitching two camera images. There are lots of options for tweaking the projection, but I will just demonstrate with the simplest Cylindrical Projection.

New Panorama From Images

Import

To get started, click on “New Panorama from Images” on the opening screen, and select two or more camera images that you wish to stitch together. This will import the images and display them in the Import window.

If there are many images they can be sorted, but in this case, since there are only two images, there is nothing more to be done.

Assuming you imported the right images, just click on Stitch.

Stitch

The imported images will be stitched automatically using the default Cylindrical Projection. The two test images are 5184 x 3456 pixels (almost 18 Megapixels), so fairly typical of modern camera images. The stitching process took just 2 or 3 seconds on my 2½ year old hardware:

  • AMD A10-6800K, 8 Gbyte on Windows 7 64-bit

After stitching, the projection can be changed, or adjusted using the arrow cursor on the grid, and the zoom slider can be used to zoom in. I adjusted the projection so that the sides of buildings in the focal point were vertical.

Crop

When you’re satisfied with the projection, click on crop to go on to the next stage. Zoom out to view the entire picture, and drag the side handles to resize the crop rectangle. At this stage, I recommend leaving as much of the original picture as you can, as long as it’s only going to involve some simple cloning of the sky to fill in the missing areas. It is easy enough to crop again later in your image editor.

In this picture, I wanted to keep all three windows of the church, and at least part of the dome on the adjoining tower. The sky area is going to be very easy to fill in with the clone tool.

The crop rectangle can be freely resized with the corner handles, and the image can be panned around the screen with the Hand cursor to bring each corner of the image into view while you make fine adjustments to the crop area.

When I did this, I found that the bottom right corner was going to require too much work with the clone tool, so I accepted a compromise, losing some of the third window on the church to reduce the work needed for cloning the parked car.

If something doesn’t look quite right with the projection, just click on the back button to refine the projection until you’re satisfied, then click on crop to resume the crop operation.

After adjusting the projection a little, you might need to crop less of the stitched image.

Another powerful option is to use the Autocomplete Option on the Crop window. This basically does the cloning for you, filling in those gaps at the edge of the picture with pixels cloned from the adjacent areas. This works very well for areas of sky or ground, but not so well for other details. Mouse over the image above to see the effect of Autocomplete — note the area to the right of the church tower.

http://www.softerviews.org/Export

The final stage is to export the stitched image to an image format of your choice. If it’s a photograph, then JPG is obviously the best compromise between file size and image quality. The default setting of High Quality (75) may be too low for photographers who want their work to look its best. Open the drop down to select the Superb Quality (90). Or use PNG doing the compression to JPG later.

If the images are not photographs, but screen shots, as in my second example, then choose PNG as the File Format, and check that the scale is set to 100%. There is no compression setting for PNG images — the default compression is not bad, but it can be improved by opening the resulting image in FastStone Capture and resaving it at maximum compression.

Creating a Panorama from Screen Shots

If you want to stitch several images from a mapping program, all you need is to make sure that there is sufficient overlap between the screen shots. Save images in PNG format, and http://www.softerviews.org/Export to PNG after stitching them to retain maximum quality

For this demonstration, I took ten screen shots of the site structure view of this SofterViews web site in WebPlus X8. I then stitched the shots together to make a single large panorama of the entire site structure.

After importing the images, I had to manually choose the http://www.softerviews.org/Planar Motion option for the camera, or the stitch would not work at all using the auto-detection mode.

After clicking “Stitch,” the pictures were then stitched in the correct way. Then I could go on to crop the image and export it to a PNG image. I reduced the number of colours to 256 using IrfanView to reduce the file size of this 5991 x 1160 pixel image to just 429 Kbytes. I used the PNGOUT plugin in IrfanView to reduce it to 391 Kbytes.

Page last updated on 29 June 2017

www.softerviews.org


Смотрите также