Big Data: что стоит за этим названием [ Редагувати ]
Что это за птица неведомая - Big Data
По мере увеличения оборотов развития digital-реальности растут и данные, которые она продуцирует. Развитие происходит с ускорением, что мы можем пронаблюдать даже с точки зрения обывателя: для ребенка 5 лет уже не составляет сложности освоить смартфон, планшет или компьютер на начальном уровне пользователя в минимальные сроки. Вследствие интенсивного развития растет количество данных и именно поэтому так много внимания уделяется Big Data.
Интерес, как потребность, возник не вчера, но усилился и занял первые позиции в информационно-аналитических и публицистических информационных посылах, набирая обороты, благодаря выборам сначала Б.Обамы, а после - Д.Трампа, успехи которых связывают как раз с использованием аналитики Big Data, в первую очередь, в социальных сетях. Собственно, все так называемые FAANG (Facebook, Amazon, apple, netflix, google) обязаны своим развитием Big Data. Алгоритмы анализа больших данных лежали как в основе зарождения, функционирования и роста (к примеру, база данных Bigtable и алгоритм вычислений MapReduce у Google, которые стали примером открытой платформы для развития за счет внешних разработчиков), так и скандальных моментов (Mossack Fonseca и Panama Papers, сбор личных данных Facebook и т.д.).
Что же стоит за этим названием Big Data?
Если структурировать информацию про Big Data для общего понимания, то понятие включает в себя ряд значений, а не конкретную программу или платформу.
Во-первых, речь идет об упорядочении большого объема данных, когда стандартные методы не действуют. Идентификация проходит через три "V" - volume, velocity, variety - объем данных, скорость их накопления и их обработки и много- и разнообразие видов и типов.
Во-вторых, обработка этих данных, непосредственно алгоритмы, технологии и платформы: давние Hadoop и Spark (пакетная и потоковая обработка данных), относительно новая технология Apache Flink (обработка как пакетная, так и потоковая). Отдельным самостоятельным глобальным направлением, а скорее даже логичным перерождение и продолжением Big Data стоит назвать Machine Learning, в котором самые крупные компании мира (Microsoft, Google, IBM, в e-commerce и медиа-сегменте Amazon, Netflix) на данных платформах уже реализуют открытые доступные решения. По экспертному мнению агентства digital-маркетинга Seo-Artist в будущем машинное обучение станет основной площадкой digital-индустрии. Machine Learning - это реальность, в которой мы будем уже завтра.
И, наконец, анализ данных, чем занимается "специалист будущего" Data Scientist. Именно в этом блоке кроется больше всего недоразумений и недоговоренностей. Специалист в этой области может обладать меньшей компетентностью в технической части, нежели data-инженер, но на нем лежит аналитика всех закономерностей и непосредственно выводы, интеллектуальный анализ и внедрение исходящих решений, моделирование и прогнозы. Спрос на таких специалистов будет только увеличиваться.
Проблемы в области
Все больше появляется digital-маркетинговых агентств, которые занимаются медийной рекламой, будто бы используя Big Data, data-журналистов, но не имеющих доступ к Big Data и не обладающих компетенциями в этой области и т.д.
С другой стороны, если говорить о журналистике данных, мы имеем плодородную основу для интенсивного темпа развития, чему способствуют как негативные факторы в политике и обществе (коррупционные скандалы и расследования), таки позитивные (немногочисленные реформы, открывающие списки, реестры, доступы к информации).
Локальный рынок Data Science молод и экспертных мнений в нем пока нет, но тем активнее и эффективнее может быть работа в этом направлении и продуктивнее ее результаты.
