17 Апрель, 2008 22:21:00 | 313 раз прочтено

Одной из причин, почему разработка программных продуктов часто занимает так много времени, является длительный период отладки и тестирования. Компания Microsoft решила поднять эту стадию разработки на качественно новый уровень, разработав комплексную систему для тестирования ПО. Новый продукт получил название Experimentation Platform, сокращенно ExP.

Вот как работа ExP описывается на официальном веб-сайте проекта: «Experimentation Platform позволяет разработчикам программ как в Microsoft, так и вне ее, при помощи Windows Live (система обмена сообщениями – Eplus) вводить инновации путем управляемого экспериментирования с участием пользователей. При помощи платформы можно быстро тестировать новые идеи, используя лучшие научные методики, направленные на установление причинно-следственных связей между определенным свойством и ее результатами; иными словами, речь идет о произвольном экспериментальном дизайне. Базовая методология в управляемых экспериментах заключается в том, чтобы перевести ряд пользователей на использование новых свойств, оценить полученный эффект по интересующим нас исходным данным и провести статистические замеры, чтобы определить статистическую значимость различий».

Главным разработчиком данной инициативы является Ронни Коухэви (Ronny Kohavi). Он рассказал корреспонденту ZDnet.com о смысле нового детища Microsoft и истории его создания: «Однажды я понял, что в Microsoft недостаточно инструментов для проведения экспериментов в реальном времени и принятия решений на основе действий пользователя. Тогда меня попросили создать нечто, что помогло бы быстро тестировать новые идеи с помощью управляемых экспериментов».

Сначала методика управляемых экспериментов использовалась только в проектах Коухэви, но позже проект был расширен. «После того как вице-президент нашего подразделения покинул группу, я решил, что налицо отличная возможность построить платформу для управляемых экспериментов, которая будет обслуживать разные группы в Microsoft, – рассказывает специалист. – В марте 2006 года я получил карт-бланш на эту разработку и создал небольшую инкубационную команду. В июне 2006 года начался процесс кодирования, и год спустя, в июне 2007 года, мы провели первые два эксперимента».

«Люди страдают от того, что я называю апофенией – тенденцией видеть систему там, где на деле присутствует лишь случайные или бессмысленные данные. Мы также склонны видеть причинно-следственные связи там, где их нет» – Ронни Коухэви (Microsoft)

«Человеческая интуиция очень слаба, – объясняет эксперт. – Мы постоянно сталкиваемся с тем, что эксперты в новых областях показывают себя не с лучшей стороны после реализации того или иного продукта. Многие люди верят, что обладают уникальным даром определять необходимые новые свойства для следующего выпуская программы. Но на деле люди страдают от того, что я называю апофенией – тенденцией видеть систему там, где на деле присутствует лишь случайные или бессмысленные данные. Мы также склонны видеть причинно-следственные связи там, где их нет. Управляемые эксперименты – это научный способ доказать, что существует вероятность изменения в наблюдаемых исходных данных».

«Experimentation Platform действительно уникальна, – заключает Коухэви. – Есть сторонние разработчики, которые предоставляют ПО для управляемых экспериментов, но они основаны на интерфейсах JavaScript. Хотя это снижает барьер для первого эксперимента, мы всегда стремились обеспечить тесную интеграцию с другими системами, что позволило бы существенно снизить стоимость экспериментов. Например, платформу можно интегрировать в систему управления контентом (CMS) домашней страницы MSN, что позволит проводить «бескодовые» эксперименты. Редактор или программный менеджер может легко менять раскладку с помощью обычного интерфейса, которым он пользуется, без необходимости писать новый код (например на JavaScript)».

Ронни Коухэви поступил на работу в Microsoft в 2005 году, перейдя туда из Amazon.com, где он занимал должность директора по сбору и персонализации данных. В Microsoft он начал работать в подразделении естественных и интерактивных служб, где принялся за создание системы, которая бы фиксировала активность пользователей при работе с различными программами с целью создания самообучающихся программ.