Статьи

Опросы и Big Data: как обработать большие массивы данных

До сих пор основными методами социологии оставались опрос и анкетирование – и данные в основном собирались и обрабатывались человеком вручную. Сегодня социологи все чаще берут на вооружение технологии работы с большими данными, чтобы анализировать куда большие объемы информации, чем раньше, и делать это намного быстрее.

Принципиально разные виды данных

Впервые о феномене Big Data заговорили в 2001 году в рамках 3D-моделирования, когда ученый Д. Ленни выделил три главные характеристики больших данных. Во-первых, они обладают огромным объемом, во-вторых, генерируются в реальном времени и потому динамичны, в-третьих, очень разнообразны.

Специалисты многих отраслей экономики уже активно собирают большие данные и используют передовые технологии для их обработки, чтобы оптимизировать бизнес-процессы. Неудивительно, что заинтересовались этим видом данных и социологи, которые до сих пор работали с принципиально другим типом информации.

К слову, в профессиональной среде тут же зазвучали опасения по поводу того, что большие данные и их автоматизированная обработка постепенно вытеснят традиционные социологические методы вроде опроса и анкетирования.

Напомним, информация в ходе классических исследований, как правило, собирается вручную (даже если это онлайн-опрос, специалист очень сильно вовлечен в процесс) и не обладает такими характеристиками, как огромный объем, динамичность и разнообразие. Обычно речь идет об определенной выборке респондентов, ограниченном количестве вопросов и «статичности» информации – условно, сегодня человек оценил экономическую ситуацию в стране таким образом, а через неделю уже поменял свое мнение, однако социологи этого уже не узнают.

Опросы с технологиями работы с Big Data

Многие социологи уверены: сбор и анализ больших данных с помощью алгоритмов – это отличный инструмент изучения общества. Эксперты называют здесь целый ряд преимуществ:

  • минимизация человеческого фактора, а значит, исключение субъективности и ошибок;
  • отсутствие выборок и работа с генеральной совокупностью;
  • масштабируемость данных;
  • постоянный сбор информации;
  • постоянное наращивание источников данных;
  • возможность быстрой обработки сведений.

В то же время есть и минусы. Так, ученые Д. Бойд и К. Кроуф выделяли следующие слабые места работы с большими данными (как технические, так и этические).

  • иллюзия объективности. Социологам может казаться, что найденные закономерности и тенденции невозможно оспорить, однако на деле даже интерпретация данных машиной субъективна по своей природе, ведь инструкции для нее тоже пишет человек;
  • слишком большое количество данных может мешать социологам: часто они избыточны и не дают найти корреляции;
  • если собирать данные вне контекста, они теряют смысл;
  • могут возникать ошибки измерения и репрезентативности – если программа задаст неверный алгоритм, полученные данные потеряют валидность;
  • сбор больших данных нарушает приватность;
  • данные некоторых групп населения закрыты.

В то же время, признают ученые, некоторые из этих проблем присутствуют и в традиционных формах измерения общественного мнения, правда в меньших масштабах. Кроме того, классическая социология часто упирается в такие сложности, как нахождение информации в разных хранилищах, отсутствие структурированности данных и непрерывное обновление информации, за которым исследователям сложно поспеть.

Противостояние или коллаборация

Ряд социологов считают, что большие данные и технологии работы с ними должны использоваться в комбинации с традиционными качественными методами исследований – и специалистам все же необходимо наращивать свои компетенции в области Big Data.

К примеру, в ходе анализа одной лишь статистики невозможно с точностью сказать что можно считать зависимой переменной, а что – независимой. Также нельзя утверждать, что нет какого-то третьего фактора, который влияет на эти два параметра.

Следовательно, анализ Big Data может стать отличным подспорьем для социологов, дополнив методы эмпирической социологии и уменьшив время специалистов на исследования. Отрицать то, что новые технологии действительно помогают получать информацию об обществе и процессах, которые в нем происходят, невозможно.

Пример автоматизации опросов

Допустим, рекламному агентству необходимо провести опрос среди своей целевой аудитории, чтобы определить предпочтения потенциальных покупателей. Специалисты могут использовать программный продукт, который сам конструирует анкеты, создает персонализированные опросы и автоматически распространяет респондентам. Ответы собираются в режиме реального времени, информация колоссальных объемов анализируется автоматически и выводится сотрудникам в виде дашбордов, что позволяет им получить полезные инсайты и перестроить свою маркетинговую стратегию.

То есть автоматизация опросов может включать в себя самые разные этапы: от создания вопросов и форматирования анкеты до сбора информации и ее анализа. Это серьезно экономит время сотрудников, высвобождая их время и силы на другие, более творческие и интеллектуальные задачи. Еще один плюс – адаптивность и гибкость. Если формулировки вопросов необходимо изменить, что-то добавить или убрать, систему можно настроить за считанные минуты.

Тут может быть и другой подход: компания может купить необходимые ей данные у более крупных игроков на рынке, которые имеют к ним доступ. Получит она их, скорее всего, в виде обезличенного датасета, который можно обработать с помощью алгоритмов и сделать из анализа определенные выводы.

Подведем итог: автоматизация опросов и других классических методов социологических и маркетинговых исследований – это мощный инструмент, который действительно помогает в работе. И использование сервисов работы с большими данными способно лишь ускорить процесс и сделать его более эффективным – в том случае, если специалисты знают обо всех их плюсах и недостатках.