Что это
Анализ данных начинается не с графиков, а со сбора и уборки. Представь, что готовишь салат: сначала нужно принести овощи и перебрать их, выбросив гнилые, — иначе даже лучший рецепт не спасёт. С данными так же: сначала собираем таблицу, потом чистим её от ошибок, и только потом считаем.
Зачем это нужно
Данные собирают отовсюду: датчики на заводах и в умных домах, кассы магазинов, медицинские приборы, спутники, анкеты. Аналитики говорят, что большая часть их работы — именно очистка, ведь на грязных данных и отчёт врёт, и нейросеть учится неправильно. ИИ умеет быстро находить подозрительные строки, но решить, что считать ошибкой, можно ли исправить значение точно или строку лучше убрать, — должен человек, который понимает, откуда взялись эти данные. Профессии аналитика, инженера данных и исследователя будут нужны именно таким людям.
Как это работает
Результат сбора — таблица: каждая строка — одна запись, например один ответ в опросе, а каждый столбец — один признак, например имя или время в пути. Сырые данные почти всегда грязные: кто-то отправил форму дважды — появился дубликат, кто-то не ответил — пропуск, кто-то написал текст вместо числа — неверный формат, а опечатка дала невозможное значение — выброс. Очистка — это решение по каждой проблемной строке: удалить, исправить или оставить. Исправлять можно только тогда, когда правильное значение известно точно, иначе строку убирают.
Немного истории
Один из самых известных примеров того, как аккуратно собранные данные спасают жизни, — работа лондонского врача Джона Сноу в 1854 году. Во время вспышки холеры он обходил дома и записывал, где жили заболевшие, и увидел, что они скапливаются вокруг одной уличной водокачки. Когда у колонки сняли ручку, новых заболевших вокруг неё стало намного меньше.
Что будем делать на практике
А теперь давай попробуем выполнить практическое задание. Перед тобой таблица опроса «Сколько минут ты едешь до школы?» из двенадцати строк: время отправки, имя, класс и минуты, а у каждой строки можно выбрать действие — оставить, удалить или исправить. Внизу видно, какие числа попадают в расчёт, и среднее с медианой: сейчас среднее больше шестидесяти минут, и это явно подозрительно. Пройди по строкам и задай себе вопросы: есть ли одинаковые строки? Может ли дорога в школу занимать почти шесть часов? Можно ли точно перевести текст в число, а что делать, если ответа нет совсем? Когда каждый ученик останется ровно один раз и с числом минут, нажми «Проверить» и посмотри, как изменилось среднее. Если что-то осталось непонятным — ничего страшного, спроси меня о чём угодно, я отвечу. Не переживай.