Большие данные: что это и зачем

Что такое большие данные и зачем о них вообще говорить обычному человеку? Каждый раз, когда вы оплачиваете покупку картой, ищете квартиру на сайте объявлений или звоните оператору связи, данные об этом действии куда-то сохраняются. По отдельности это просто цифры и записи, но собранные вместе миллионы таких следов превращаются в то, что называют большими данными.

Звучит абстрактно, но именно эти данные стоят за тем, почему банк одобряет один кредит быстрее другого, почему в приложении маркетплейса вам показывают конкретные товары, а не случайные, и почему у оператора связи есть готовый тариф именно под ваш тип использования интернета. Разберём по порядку, что это за явление и как оно касается конкретно вас.

Чем большие данные отличаются от обычных

Дело не в том, что где-то лежит одна огромная таблица в Excel. Разница в трёх вещах: объём, который не помещается в привычные инструменты обработки, скорость, с которой данные накапливаются в реальном времени, и разнородность — тексты, транзакции, геолокация, клики по сайту вперемешку. Обычная база данных магазина — это учёт остатков на складе. Большие данные — это, например, история всех покупок всех клиентов сети магазинов за несколько лет вместе с временем, местом и способом оплаты.

Кто и зачем их собирает

Банки и МФО анализируют данные о тратах и платёжной дисциплине клиентов, чтобы быстрее и точнее оценивать заявки на кредитные карты. Операторы связи изучают паттерны использования интернета, чтобы формировать тарифы. Маркетплейсы и службы доставки следят за тем, что и когда чаще заказывают, чтобы точнее планировать склад. Государственные органы используют обезличенные данные для статистики и планирования — в том числе через сервисы, о которых подробно рассказано в статье про электронные госуслуги.

Как банки и МФО используют данные о клиентах

Вместо того чтобы вручную разбирать каждую заявку, система анализирует историю платежей, доходов и трат и на основе этого строит скоринговую модель — по сути, прогноз того, насколько вероятно, что клиент вернёт долг вовремя. Это касается и решений по микрозаймам, где скорость оценки заявки особенно важна для клиента. Модель не идеальна и иногда ошибается, особенно если данных о конкретном человеке немного.

Может ли обычный человек влиять на свои данные

В целом да, хотя объём реальных возможностей зависит от конкретного сервиса и действующего законодательства о персональных данных, которое время от времени обновляется. Разумная привычка — не раскрывать в анкетах и опросах больше, чем реально нужно для получения услуги, и уточнять, для чего именно собираются те или иные сведения, прежде чем соглашаться на их обработку.

Как данные помогают бизнесу

Анализ данных о продажах и спросе помогает точнее планировать закупки, не замораживая деньги в лишних остатках на складе, и точнее настраивать персональные предложения для разных групп клиентов. Кстати, семья, которая ведёт учёт своих трат и ищет, на чём можно сэкономить, по сути делает маленькую версию того же самого анализа — с чего начать такой учёт, разобрано в статье про общий бюджет семьи.

Какие тут риски

Главные — утечки данных, когда информация о клиентах попадает не в те руки, и ошибки моделей, построенных на неполных или смещённых данных, что иногда приводит к несправедливым решениям по конкретному человеку. Отдельный риск — избыточный сбор данных сервисами, которым эта информация на самом деле не нужна для оказания услуги. Полностью исключить эти риски нельзя, но выбирать сервисы, которые прозрачно объясняют, зачем им те или иные данные, разумнее, чем соглашаться со всем не глядя.

Куда это движется

Объём данных продолжает расти за счёт новых источников: датчиков, платёжных сервисов, приложений. Растёт и спрос на специалистов, которые умеют с этими данными работать. Даже если вы далеки от аналитики, вы, скорее всего, уже пользуетесь результатом обработки больших данных, когда сверяете курс валют на странице курсов валют — за таким сервисом обычно стоит анализ множества котировок, а не ручной подсчёт одного человека.

Источники больших данных вокруг нас

Частые заблуждения

«Большие данные — это просто много файлов на компьютере». Дело не только в объёме, но и в скорости накопления и разнородности источников, которые обрабатываются вместе.

«Если у меня нет аккаунтов в соцсетях, обо мне нет данных». Банк, оператор связи и государственные органы всё равно собирают данные о ваших действиях в рамках своих услуг.

«Анализ данных всегда объективен». Результат зависит от качества и полноты исходных данных: если данные смещены или неполны, выводы модели будут такими же.

«Это касается только крупных корпораций». Небольшой бизнес тоже анализирует свои продажи и клиентов, просто в меньшем масштабе и часто без сложных инструментов.

Короткие ответы

Что такое большие данные простыми словами

Это очень большие, быстро растущие и разнородные массивы данных, которые нельзя удобно обработать в обычной таблице и для анализа которых нужны специальные методы и инструменты.

Собирают ли банки данные о моих тратах

Да, это обычная практика для оценки платёжеспособности и формирования персональных предложений, и это прописано в условиях обслуживания, которые стоит хотя бы иногда читать.

Можно ли узнать, какие данные обо мне хранятся

Во многих случаях да, через обращение в конкретную организацию или сервис. Точный порядок такого запроса зависит от действующего законодательства и правил самой компании.

Помогают ли большие данные обычному небольшому бизнесу

Да, даже простой учёт продаж и предпочтений клиентов — это уже элемент такого анализа, который помогает точнее планировать закупки и предложения.

Опасны ли большие данные для обычного человека

Риски есть, в первую очередь утечки и ошибки моделей, но само по себе накопление данных не опасно, если компании обращаются с ними ответственно и прозрачно.

Коротко

• Большие данные — это не одна огромная таблица, а массивы данных, которые отличаются объёмом, скоростью роста и разнородностью источников.
• Банки, операторы связи, маркетплейсы и госорганы собирают и используют такие данные каждый день, часто незаметно для человека.
• Скоринг по кредитам и микрозаймам строится именно на анализе таких данных о клиенте.
• Главные риски — утечки и ошибки моделей на неполных или смещённых данных.
• Даже небольшой бизнес и обычная семья, которая считает свои траты, по сути пользуются тем же принципом анализа данных.