РусҚаз

Сбор и очистка данных

Информатика · 10 класс · Анализ данных · Урок 1 из 3

Открыть интерактивный урок ›Опыт своими руками, лекция голосом, ИИ-наставник и тест. Бесплатно.

Что это

Анализ данных начинается не с графиков, а со сбора и уборки. Представь, что готовишь салат: сначала нужно принести овощи и перебрать их, выбросив гнилые, — иначе даже лучший рецепт не спасёт. С данными так же: сначала собираем таблицу, потом чистим её от ошибок, и только потом считаем.

Девушка на кухне перебирает корзину с помидорами, откладывая в сторону помятые, на столе разделочная доска и миска.

Зачем это нужно

Данные собирают отовсюду: датчики на заводах и в умных домах, кассы магазинов, медицинские приборы, спутники, анкеты. Аналитики говорят, что большая часть их работы — именно очистка, ведь на грязных данных и отчёт врёт, и нейросеть учится неправильно. ИИ умеет быстро находить подозрительные строки, но решить, что считать ошибкой, можно ли исправить значение точно или строку лучше убрать, — должен человек, который понимает, откуда взялись эти данные. Профессии аналитика, инженера данных и исследователя будут нужны именно таким людям.

Медсестра в больнице записывает показания с монитора пациента на планшет, на заднем плане светятся экраны с графиками.

Как это работает

Результат сбора — таблица: каждая строка — одна запись, например один ответ в опросе, а каждый столбец — один признак, например имя или время в пути. Сырые данные почти всегда грязные: кто-то отправил форму дважды — появился дубликат, кто-то не ответил — пропуск, кто-то написал текст вместо числа — неверный формат, а опечатка дала невозможное значение — выброс. Очистка — это решение по каждой проблемной строке: удалить, исправить или оставить. Исправлять можно только тогда, когда правильное значение известно точно, иначе строку убирают.

Старшеклассник за столом сверяет распечатанную таблицу, обводя ручкой две одинаковые строки, рядом маркер и стикеры.

Немного истории

Один из самых известных примеров того, как аккуратно собранные данные спасают жизни, — работа лондонского врача Джона Сноу в 1854 году. Во время вспышки холеры он обходил дома и записывал, где жили заболевшие, и увидел, что они скапливаются вокруг одной уличной водокачки. Когда у колонки сняли ручку, новых заболевших вокруг неё стало намного меньше.

Викторианский Лондон, врач в цилиндре и тёмном пальто стоит у старой уличной водокачки и делает записи в блокноте, вокруг узкие кирпичные дома.

Что будем делать на практике

А теперь давай попробуем выполнить практическое задание. Перед тобой таблица опроса «Сколько минут ты едешь до школы?» из двенадцати строк: время отправки, имя, класс и минуты, а у каждой строки можно выбрать действие — оставить, удалить или исправить. Внизу видно, какие числа попадают в расчёт, и среднее с медианой: сейчас среднее больше шестидесяти минут, и это явно подозрительно. Пройди по строкам и задай себе вопросы: есть ли одинаковые строки? Может ли дорога в школу занимать почти шесть часов? Можно ли точно перевести текст в число, а что делать, если ответа нет совсем? Когда каждый ученик останется ровно один раз и с числом минут, нажми «Проверить» и посмотри, как изменилось среднее. Если что-то осталось непонятным — ничего страшного, спроси меня о чём угодно, я отвечу. Не переживай.

Задание в опыте

Очистите таблицу опроса: каждая ученица и каждый ученик должны остаться ровно один раз, с числом минут. Ошибочные строки уберите, а то, что можно точно исправить, исправьте.
Открыть интерактивный урок ›Опыт своими руками, лекция голосом, ИИ-наставник и тест. Бесплатно.

Уроки темы: Анализ данных

  1. Сбор и очистка данных
  2. Визуализация: какой график выбрать
  3. Python для данных