Обзор критики и комментарии организаторов

Материал написан Андреем Тереховым в рамках работы над проектом.

После старта проекта "Рейтинг TOP-100 ведущих веб-студий Рунета" возникло много обсуждений, предложений и критики на различных ресурсах. Часть критики можно признать обоснованной, и поэтому мне хотелось бы прояснить нашу позицию, почему мы проводим проект именно так, рассказать, собственно, "как" мы его проводим, а также ответить на ряд вопросов, звучавших в наш адрес.

Кратко о проекте

Проект представляет собой исследование рынка разработки сайтов в Рунете. В рамках проекта проводится опрос представителей веб-студий и независимых экспертов, с целью определить количественные показатели рынка (объем, количество игроков, распределение по регионам, портрет средней студии и пр.), а также построить TOP-100 ведущих компаний по занимаемой доле рынка (по мнениям участников рынка и экспертов).

За неделю предварительной регистрации в рамка проекта зарегистрировалось более 300 веб-студий и был привлечен ряд независимых экспертов, а также информационных спонсоров. Сейчас - с 23 по 30 марта идет голосование. Компании, не успевшие пройти регистрацию предварительно, имеют возможность сделать это прямо сейчас во время опроса. Результаты исследования и сам рейтинг будут опубликованы 3 апреля.

Перейдем теперь к основным вопросам и претензиям, которые предъявляют критики:

Основные претензии критиков

Если брать критику обоснованную, то можно выделить несколько базовых вопросов и претензий, адресуемых в адрес проекта. Попробуем ответить на них и разъяснить нашу позицию:

• Рейтинг необъективен, потому что основывается не на реальных данных по оборотам студий, а только на мнении представителей студий и экспертов, чья осведомленность - еще вопрос.
  C точки зрения реальной оценки оборотов компаний рейтинг действительно нельзя назвать на 100% достоверным. Однако мы об этом нигде и не говорим. Наоборот, везде, где только можно, подчеркиваем, что рейтинг отражает только мнение профессиональной среды о распределении лидеров, причем большую роль в оценках экспертов играют не только оборот компании, но и уровень ее известности. Тем не менее, с этой оговоркой, информация, предоставленная нами - достоверна и может использоваться как реальный инструмент. Проблема в том, что создать объективный рейтинг именно по оборотам на данный момент невозможно - рынок слишком размазан, существует огромное количество мелких игроков, чьи обороты подсчитать просто нереально. Крупные компании свои обороты также не раскрывают. Проводя оценки по портфолио или количеству сотрудников с поправкой на норму прибыли - можно ошибиться в разы. А если с одной компанией ошибиться в плюс, а с другой в минус - получится разница в оценке оборотов на порядок у равных компаний. Поэтому сформировать рейтинг на основе объективных и достоверных оценок сейчас невозможно. Как только, а мы на это надеемся, ситуация на рынке перестанет быть такой непрозрачной, мы немедленно предоставим общественности данные по реальному распределению оборотов.



• Непонятно, зачем этот рейтинг вообще нужен? Получается междусобойчик между студиями, а действительно интересные данные никто раскрывать не будет.
  На вопрос, зачем нужен рейтинг и исследование, отвечу ниже. Далее, текущий масштаб проекта (более 300 студий) не позволяет говорить о междусобойчике - слишком велико количество опрашиваемых. Насчет интересности данных - неужели людям, работающим на этом рынке, не будет интересно услышать мнение лидеров из десятки, экспертов и просто большого количества своих коллег, которым нет смысла искажать информацию в общих вопросах по рынку? Не поверю.



• Рейтинг - PR акция кого-то там, все места куплены.
  Это неконструктивная критика, хотя довольно частая. Отвечать на нее не буду, потому что смешно. И смешно будет любому человеку, знающему рынок и видевшему состав экспертов.



• Данные по исследованию никому не нужны и покажут лишь "среднюю температуру по больнице".
  Это, смотря как их преподать. Мы не планируем тупо усреднить все полученные данные в рамках опроса. Мы предоставим распределение всех параметров, а также проведем тщательный анализ по всем интересным показателям. Что именно, какие отчеты и параметры войдут в наше исследование - я написал ниже.

Кстати, в плане конструктивного анализа методики проведения рейтинга в прошлом году интересный материал написал Дмитрий Васильев, директор компании-разработчика "Аист".

Зачем и кому нужен рейтинг и исследование?

Отдельно хочу остановиться на вопросе, зачем и кому рейтинг и исследование рынка может быть интересно и полезно.

Целевая аудитория:

• Разработчики, представители студий
  Рейтинг интересен представителям студий по многим позициям. Во-первых - самоидентификация своего места на рынке. Во-вторых, спортивный интерес, попадем ли мы рейтинг. В-третьих, получение реальной информации о состоянии рынка. И в-четвертых, коммерческий эффект от потенциальных заказчиков, которые рейтингом будут пользоваться. Исследование интересно разработчикам даже в большей степени. Для грамотной работы любой компании ей нужна информация о рынке, на котором она работает. Рынок же создания сайтов находится в информационном вакууме. Один факт, что до меня в прошлом году никто не оценивал объем рынка - уже говорит очень о многом. Маркетинговой деятельности у большинства компаний на рынке нет, а информация очень нужна. Собственно, идея провести такой проект и пришла мне в голову, когда очень понадобились реальные данные по рынку - а их не было.



• Заказчики
  Если данные исследования по рынку заказчикам нужны в основном как вспомогательная информация для расширения кругозора, то рейтинг можно превратить в реальный инструмент. Я не призываю ни в коем случае заказчика использоваться рейтинг как основной критерий подбора подрядчика, это было бы глупо. Но как инструмент вспомогательный, один из фильтров подбора подрядчика - почему нет. И более того, по итогам прошлогоднего рейтинга я регулярно слышу о различных тендерах и проектах (как для общероссийских и мировых брендов, так для локальных компаний), где круг подрядчиков составлялся с учетом рейтинга. Опять же, учитывая отсутствие аналитической информации по рынку, заказчику надо ориентироваться хоть на что-то, и рейтинг (при правильном понимании метода его формирования) может послужить существенным подспорьем. Надо при этом помнить, что в рейтинге речь идет о мнениях игроков рынка, а также только о доле компаний - ничего о качестве, ценах и пр.
  
  В конечном итоге, внимательное прочтение результатов исследования и рейтинга поможет представителям заказчика избежать многих ошибок, которые они склонны совершать.



• Интересующиеся/новички
  Им проект дает интересную информацию для размышления, которая поможет им, если они когда-нибудь столкнутся с рынком на практике.

Что войдет в исследование и как оно проводится

Расскажем, какого рода информацию и приложения мы планируем включить в финальный отчет и рейтинг:

Общее исследование рынка

• Анализ текущей ситуации на рынке (+ избранные комментарии экспертов)
• Выявление основных проблем рынка (+ избранные комментарии экспертов)
• Количественные данные по рынку и их анализ: (+ избранные комментарии экспертов)
• Общее количество игроков
• Ценовые ниши и распределение внутри них; изменение средней стоимости проектов
• Время изготовления типового сайта
• Количество сотрудников компаний
• Обороты компаний и их изменение за последний год
• Оценка объема рынка и динамики его роста
• Региональное распределение компаний
• Основные тренды развития рынка (+ избранные комментарии экспертов)

TOP-100 студий

• Итоговый рейтинг TOP-100 ведущих студий Рунета 2007
• Подробный анализ рейтинга, сравнение с прошлым годом, выявление тенденций
• Избранные комментарии экспертов по их вариантам голосования
• Комментарии "a posteriori" представителей студий из TOP-10
• "Малый рейтинг" студий по версии независимых экспертов, сравнение

Приложения

• Все комментарии экспертов и представителей студий по всем общим вопросам
• Распределение студий по платформам разработки сайтов
• Распределение студий по типам использования своих/сторонних CMS-систем

Рейтинг основывается только на результатах опроса представителей студий и экспертов. Исследование базируется как на результатах опроса, так и собственных данных нашей группы. В рамках собственного исследования был сформирован каталог более чем на 800 действующих студий, собрана и проанализирована разнообразная информация по ним. также были проведены выборочные оценки различных сегментов рынка, собраны данные с большого количества компаний-заказчиков по распределению Интернет-бюджетов, проведены параллели с рынком Интернет-рекламы, а также решен ряд других исследовательских задач. На основании этих данных и будут сформированы финальные отчеты.

В завершение хотел бы добавить, что наш проект всегда открыт для конструктивной критики, а также любые идей. В наших планах проведение ряда исследований на рынке с использованием других методологий, которые мы постараемся провести в ближайшее время.