Сервис Make3D преобразует вашу фотографию в 3D

Специалисты Стэнфордского университета разработали онлайновое приложение Make3D, позволяющее преобразовать любое двумерное изображение в полноценную трехмерную модель, сообщает Technologyreview.com.

Авторы проекта Эндрю Нг (Andrew Ng) и Ашутош Саксена (Ashutosh Saxena) разработали алгоритм, позволяющий анализировать различные параметры объектов, такие как цвет, текстура, размер, и на основании этих данных делать оценку относительно того, как далеко или близко объект расположен к предполагаемому зрителю. Изобретатели объясняют, что любой объект будет по-разному выглядеть вблизи зрителя и вдали него, что дает возможность определить его местоположение на оси координат глубины.

Профессор Ларри Дэвис (Larry Davis), руководитель компьютерного департамента Мэрилендского университета, считает, что преобразование изображений в трехмерную модель – задача довольно сложная с математической точки зрения, однако Make3D часто удается продемонстрировать отличные результаты.

Впрочем, разработка специалистов из Стэнфорда – не первое начинание в этой области. Дерек Хойем (Derek Hoiem) создал алгоритм под названием Fotowoosh; впрочем, он признается, что его разработка уступает Make3D: «Я могу определить, что эта точка гораздо дальше, чем эта, но я не могу это определить, если она находится лишь в 5 метрах», – говорит Хойем.

При разработке Make3D специалисты Стэнфорда использовали лазерный сканер, при помощи которого измеряли расстояние до каждого объекта двумерного изображения. Затем эта трехмерная информация объединялась с изображением и использовалась для «обучения» алгоритма соотносить визуальные параметры объектов с их глубиной. Например, алгоритм учился отличать участки неба и облаков от предметов на их фоне – то, что человеческий мозг делает подсознательно. Специалисты пытались научить программу действовать по той же схеме, устанавливая связь между визуальными характеристиками объектов и их положением в пространстве.

Пользователи уже сейчас могут, зарегистрировавшись на сайте, загрузить свои фотографии и попробовать алгоритм в деле. Программа начинает обработку изображения с того, что делит его на небольшие сегменты. «Он пытается разделить картинку на небольшие части и определить их глубину, угол и ориентацию», – объясняет Нг. Обычно программа работает несколько минут, начиная от загрузки изображения на сайт. Результатом работы является видеоролик, в котором виртуальная камера перемещается внутри построенной сцены (см. пример ниже). Пока веб-сервис действует в тестовом режиме, пользователь получает уведомление о построении сцены лишь спустя час. В галерее доступны для просмотра более 14 тысяч обработанных изображений. В настоящее время авторы пытаются подключить свой проект к популярным фотообменным хостингам, таким как Photobucket и Flickr.

Более того, Make3D может также построить трехмерную сцену на основе двух или трех изображений одной и той же сцены под разными углами, как это делает программа Microsoft Photosynth. Однако в то время как Photosynth – это довольно увесистое приложение, использующее для работы сотни снимков (в силу чего более точное), Make 3D ориентирован на массового пользователя, у которого обычно имеется лишь одна-две фотографии.

В настоящее время Make3D «умеет» работать только с изображениями природы, некоторыми видами архитектурных сооружений и лишь несколькими типами объектов в помещениях (например лестницы). Специалисты работают над тем, чтобы расширить возможности системы на большее число разнообразных объектов, в том числе людей. В перспективе планируется оснастить подобным алгоритмом роботов, чтобы научить их лучше оценивать расстояние до объектов.