РусҚаз

Деректерді жинау және тазарту

Информатика · 10-сынып · Деректерді талдау · Сабақ 1 / 3

Интерактивті сабақты ашу ›Өз қолыңмен тәжірибе, дауыспен дәріс, ЖИ-тәлімгер және тест. Тегін.

Бұл не?

Сабақтың тақырыбы — «Деректерді жинау және тазалау». Талдап көрейік. Деректерді талдау графиктерден емес, жинау мен тазалаудан басталады. Салат дайындап жатырсың деп елестет: алдымен көкөністерді әкеліп, шіріктерін лақтырып тастап, іріктеп алу керек — әйтпесе ең жақсы рецепт те құтқармайды. Деректермен де солай: алдымен кестені жинаймыз, содан кейін оны қателерден тазалаймыз, тек содан кейін ғана есептейміз.

Деректерді жинау және тазарту — Бұл не?

Бұл не үшін керек?

Деректерді барлық жерден жинайды: зауыттардағы және ақылды үйлердегі датчиктерден, дүкен кассаларынан, медициналық құралдардан, спутниктерден, сауалнамалардан. Талдаушылар өз жұмысының үлкен бөлігі дәл тазалау екенін айтады, өйткені лас деректерде есеп те өтірік айтады, нейрондық желі де қате үйренеді. Жасанды интеллект күдікті жолдарды тез таба алады, бірақ нені қате деп санау керектігін, мәнді дәл түзетуге бола ма, әлде жолды алып тастаған дұрыс па — соны осы деректердің қайдан алынғанын түсінетін адам шешуі керек. Талдаушы, деректер инженері және зерттеуші мамандықтарына дәл осындай адамдар қажет болады.

Деректерді жинау және тазарту — Бұл не үшін керек?

Бұл қалай жұмыс істейді?

Жинау нәтижесі — кесте: әр жол — бір жазба, мысалы сауалнамадағы бір жауап, ал әр баған — бір белгі, мысалы есім немесе жолда жүрген уақыт. Шикі деректер әрдайым дерлік лас болады: біреу форманы екі рет жіберді — көшірме пайда болды, біреу жауап бермеді — бос орын, біреу санның орнына мәтін жазды — қате формат, ал қате басылған таңба мүмкін емес мәнді берді — шығынды мән. Тазалау — әрбір проблемалы жол бойынша шешім: жою, түзету немесе қалдыру. Түзетуге тек дұрыс мән дәл белгілі болғанда ғана болады, әйтпесе жолды алып тастайды.

Деректерді жинау және тазарту — Бұл қалай жұмыс істейді?

Аздап тарих

Ұқыпты жиналған деректердің адам өмірін қалай құтқаратынының ең белгілі мысалдарының бірі — бір мың сегіз жүз елу төртінші жылғы лондондық дәрігер Джон Сноудың жұмысы. Тырысқақ індеті тұтанған кезде ол үйлерді аралап, ауырғандардың қайда тұрғанын жазып алды да, олардың бір көшедегі су сорғысының айналасына шоғырланғанын көрді. Колонканың тұтқасын алып тастағанда, оның айналасында жаңа ауырғандар әлдеқайда азайды.

Деректерді жинау және тазарту — Аздап тарих

Практикада не істейміз?

Ал енді практикалық тапсырманы орындап көрейік. Алдыңда он екі жолдан тұратын «Мектепке дейін неше минут жүресің?» сауалнамасының кестесі тұр: жіберілген уақыты, есімі, сыныбы және минуттар, ал әр жол үшін әрекетті таңдауға болады — қалдыру, жою немесе түзету. Төменде есептеуге қандай сандар кіретіні, орташа мән мен медиана көрініп тұр: қазір орташа мән алпыс минуттан асады, және бұл анық күдікті. Жолдарды аралап шығып, өзіңе сұрақтар қой: бірдей жолдар бар ма? Мектепке дейінгі жол алты сағатқа жуық уақыт алуы мүмкін бе? Мәтінді санға дәл аударуға бола ма, ал жауап мүлде жоқ болса не істеу керек? Әр оқушы дәл бір реттен және минуттар санымен қалғанда, «Тексеру» батырмасын басып, орташа мәннің қалай өзгергеніне қара. Егер бірдеңе түсініксіз болып қалса — ештеңе етпейді, менен кез келген нәрсені сұра, мен жауап беремін. Уайымдама.

Тәжірибедегі тапсырма

Сауалнама кестесін тазалаңыз: әр оқушы минут санымен дәл бір рет қалуы керек. Қате жолдарды алып тастаңыз, ал нақты түзетуге болатынын түзетіңіз.
Интерактивті сабақты ашу ›Өз қолыңмен тәжірибе, дауыспен дәріс, ЖИ-тәлімгер және тест. Тегін.

Тақырып сабақтары: Деректерді талдау

  1. Деректерді жинау және тазарту
  2. Визуализация: қандай график таңдау керек
  3. Деректерге арналған Python