Приглашение к публичному обсуждению рейтинга CMS по usability

При выборе CMS разработчик, как правило, учитывает множество ее параметров, таких как стоимость, количество модулей, популярность системы и, разумеется, самый главный параметр – свое знание этой CMSки. Однако при этом из рассмотрения выпадает одна очень важная характеристика: насколько удобно будет заказчику сайта им пользоваться – добавлять новости, исправлять опечатки и т.п.
Особенно остро этот вопрос стоит при разработке небольших корпоративных или частных сайтов. Во многих мелких компаниях нет выделенных специалистов для работы с сайтом, а часто нет даже штатного «компьютерщика». И необходимость что-то добавить или поправить на таком сайте превращается в большую проблему – владельца сайта «душит жаба» платить «неадекватные» деньги за мелкую работу, а у разработчика нет никакого желания «забесплатно» заниматься нудной и неинтересной мелочевкой.

Периодически выполняя исследования интерфейсов различных CMS, я задумался о том, что было бы, наверное, интересно и полезно сделать что-то типа рейтинга удобства разных систем. Причем ориентировать этот рейтинг не на разработчиков, а на владельцев сайта. Поделился этой идеей с несколькими веб-студиями и обнаружил поддержку и заметный интерес к теме. Обратился в CMS magazine – и тоже встретил взаимопонимание. Теперь вопрос выносится на широкое обсуждение всех заинтересованных сторон.

Чтобы избежать подозрений в заказухе и джинсе, обсуждение всех аспектов тестирования будет проходить максимально открыто, мы готовы рассматривать любые предложения и аргументы. Результаты выполнения всех задач будут открыты, включая видеозаписи всех сеансов. Само тестирование будет проводиться с использованием технологии отслеживания взгляда eye-tracking, которая на сегодня является, пожалуй, наиболее качественным инструментом для исследования юзабилити сайтов и интерфейсов.

Разумеется, мы понимаем, что нельзя объять необъятное. Какие-то CMS удобны для магазина, а другие годятся только для блога; какие-то хорошо работают на маленьких сайтах, но «ложатся» под нагрузкой или при появлении пары-тройки сотен страниц; какие-то обладают гигантским функционалом, но платят за это сложностью и т.д. и т.п.

Для того чтобы как-то нивелировать эти различия мы предлагаем следующее (все пункты подлежат обсуждению, комментарии и предложения приветствуются):

1. В рейтинге будет тестироваться удобство использования CMS для небольшого корпоративного сайта: десяток страниц, новости компании, пара блогов. Если идея окажется интересной, то в следующий раз можно будет тестировать, например, магазины…
2. Исследуется именно удобство управления сайтом. Причем, управлять этим сайтом будет заказчик. Не имеющий никакого опыта в работе с сайтами. Т.е. моделируется ситуация, когда студия сделала сайт, передала заказчику и дальше он сам что-то с этим сайтом должен делать.
3. Задачи, которые будут решаться во время тестирования, набираются в процессе обсуждения – присылайте свои варианты. Они должны быть:
   • Элементарными. Например, «добавить новость», «исправить опечатку на странице», «изменить контактный телефон», «изменить размер и цвет шрифта заголовка», «вставить картинку на страницу» и т.п.
   • Иметь четкий показатель выполнения. Задача либо выполнена, либо нет.
   • Иметь отношение к реальности, т.е. задачи должны быть того же плана, что встают перед реальными владельцами сайтов.
4. По каждой задаче будут фиксироваться такие показатели, как количество респондентов, справившихся с заданием; время выполнения; количество ошибок в процессе выполнения; а также данные по движению взгляда респондентов.
5. Команда каждой CMS делает на ней сайт и «затачивает» его под выполнение задач, которые будут решаться при тестировании. Но «затачивает» штатными средствами: если в CMS предусмотрена панель быстрого доступа, то разместить там вызов соответствующих модулей можно; а вот писать кастомные скрипты, выводящие на сайт кнопку «сменить заголовок» — нельзя.
6. Мы приглашаем к участию всех разработчиков CMS, а также команды поддержки бесплатных CMS. Также приглашаются студии, которые готовы выступать за какую-то CMS (в том случае, если разработчик откажется выставить свою команду). Присылайте комментарии по поводу того, какие CMS хотелось бы видеть в этом рейтинге.
7. В качестве респондентов будут набираться люди, знающие об интернете и видевшие компьютер, но не имеющие опыта написания сайтов.
8. Финансовые вопросы. К сожалению, проведение подобного масштабного исследования – штука достаточно дорогая. Так что разыскиваются спонсоры и рекламодатели. Если вы заинтересованы в участии, пишите на адрес eyetracker.ru@gmail.com и cmsmagazine@gmail.com

Мы надеемся, что результаты подобного исследования будут интересны не только в качестве рейтинга, но и как оценка «юзабельности» решений, используемых в интерфейсах различных CMS. Параллельно с рейтингом будут подготовлены отчеты по юзабилити-исследованию каждой из участвующих CMS, что может быть интересно как их разработчикам, так и другим разработчикам интерфейсов.

PS. В прошлом году уже проводилась некоторая попытка объективного сравнения двух популярных CMS (правда, по другим параметрам), которая привела к заметному холивару в обсуждении. В этот раз хочется войн избежать, поэтому принимаются все конструктивные предложения и идеи.