В зависимости от целей исследователи применяют различные аналитические методы:
статистика – сбор, систематизация, анализ, интерпретация и оглашение данных;
прогнозирование – оценка динамики той или иной переменной в определенный момент в будущем на основе данных о ее динамике в прошлом;
интеллектуальный анализ данных (Data mining) – автоматизированное или полуавтоматизированное выявление ранее неизвестных зависимостей в больших массивах данных с помощью специальных вычислительных алгоритмов или статистических методов;
интеллектуальный анализ текстов – выявление неизвестных зависимостей или тенденций в тексте методами, подобными интеллектуальному анализу данных;
оптимизация – использование математических методов для того, чтобы найти оптимальные решения на основе заданных критериев и установленных ограничений.
эксперимент – формирование тестовой и контрольной групп методом случайного отбора и выявление причин и степени влияния независимых переменных на зависимую переменную.
В этом списке приведены широко известные аналитические методы, причем многие из них используют одни и те же аналитические приемы и процедуры. Например, регрессионный анализ – наиболее распространенный аналитический прием в предсказательной аналитике – не менее популярен и в статистике, прогнозировании и интеллектуальном анализе данных. Точно так же анализ временных рядов, специальная аналитическая процедура из арсенала статистики, предназначенная для анализа меняющихся во времени значений переменных, используется не только в статистике, но и в прогнозировании.
Учетные данные, помогающие принимать решения по персоналу (мы уже говорили о них), являются структурированными (легко представляются в виде таблицы), количественными и относительно небольшими по объему (не более терабайта или двух даже в очень крупных компаниях). Такие данные традиционно использовались в аналитике, поэтому назовем их малыми данными. Долгое время аналитики ни с чем другим дела не имели.
Но сегодня крупные компании, некоммерческие организации и даже стартапы сталкиваются с так называемыми большими данными – неструктурированными массивами информации колоссальных объемов. Их источниками могут быть онлайновые дискуссии в интернете, видеоматериалы или данные анализа ДНК пациентов больницы. У данных такого рода объем намного больше – иногда тысячи петабайт[3]. Например, Google обрабатывает порядка 24 петабайт интернет-данных ежедневно, а AT&T [4] передает по телекоммуникационным сетям около 30 петабайт музыки и прочих данных в день. Благодаря новым прикладным компьютерным программам и техническим новшествам мы можем анализировать огромные массивы данных и извлекать из них полезную информацию.
Что такое большие данные
Термин большие данные применяется для обозначения данных уникально большого объема или неструктурированных данных. Приведем несколько примеров:
• За месяц 600 миллионов пользователей Facebook добавили в сеть 30 миллиардов единиц контента.
• Компания Zynga, занимающаяся сетевыми виртуальными играми, ежедневно обрабатывает более петабайта игровой информации.
• Пользователи YouTube просматривают более двух миллиардов видеоклипов в день.
• Пользователи Twitter выполняют 32 миллиарда поисковых запросов в месяц.
• Пользователи Google в 2011 году выполняли почти 5 миллиардов поисковых запросов в день.
• В 2009 году ежедневно отсылалось более 2,5 миллиарда текстовых сообщений.
• В 2010 году население планеты использовало 5 миллиардов мобильных телефонов.
• Объем файла с полной расшифровкой человеческого генома составляет около одного терабайта.
• Беспроводной датчик для контроля физических параметров одной коровы передает около 200 мегабайт данных в год.
• В 2008 году количество подключенных к интернету устройств превысило численность населения земного шара.
• По оценке компании Cisco Systems, к концу 2011 года двадцать типичных домохозяйств генерировали более интенсивный интернет-трафик, чем все пользователи интернета в 2008 году.
• McKinsey & Company считает, что почти в каждой отрасли американской экономики компании с численностью персонала более 1000 человек накапливают в среднем больший объем информации, чем Библиотека Конгресса США.
Большие данные и основанная на них аналитика способны существенно изменить практически каждую отрасль экономики и бизнес-процессы в течение следующих десяти лет. Любая организация (и любой ее сотрудник), если вовремя ознакомится с сутью и методами обработки больших данных, получит огромное конкурентное преимущество. Точно так же как компании, в свое время первыми освоившие методы обработки малых данных, опередили своих конкурентов, сейчас на позиции лидеров выйдут те, кто раньше других сумеет использовать возможности больших данных.
Потенциал больших данных можно реализовать благодаря глобальным устройствам их сбора и обработки. Сенсоры и микропроцессоры в скором времени будут везде. Практически каждое механическое или электронное устройство регистрирует свои действия, местонахождение или состояние. Эти устройства и люди, их эксплуатирующие, поддерживают связь через интернет, а это еще один колоссальный источник данных. Если добавить к этому объемы информации, проходящие через прочие средства связи (беспроводные и проводные телефонные линии, кабели, спутники и т. п.), трудно даже оценить все перспективы.
Доступность всех этих данных означает, что практически любая предпринимательская или управленческая деятельность может рассматриваться либо как проблема больших данных, либо как возможность их обработки. Производство, в котором значительная часть оборудования оснащена одним или несколькими микропроцессорами, все чаще становится средой, где функционируют большие данные. Потребительский маркетинг с мириадами покупок и историй посещений покупателей также сталкивается с проблемой их обработки. Google даже описывала свою самоходную повозку из будущего как проект, связанный с обработкой больших данных.
Гэри Лавмен, CEO[5] компании Caesars Entertainment (известный своим выражением «Мы так полагаем или мы знаем?»), глава Amazon Джефф Безос («Мы никогда не пренебрегаем данными») и Рид Хоффман, руководящий LinkedIn («Web 3.0 – это сеть с новым типом данных»), публично заявляли, что аналитическое мышление и принятие решений – это надежный способ обеспечить успех компании и свой личный успех. Любая компания в любой отрасли заинтересована в том, чтобы извлечь пользу из вала данных. Для этого требуются люди, умеющие провести их детальный анализ. У них разные имена, но всех их называют квантами[6], и эта книга предназначена не им. А еще компаниям нужны люди, способные принимать оптимальные решения на основе анализа и воплощать их в жизнь. Именно для них написана эта книга. Это вовсе не те самые кванты, не аналитики, у них нет математической подготовки, но им приходится работать с количественными данными и принимать решения на основе их анализа.
