Бұл не?
Сабақтың тақырыбы — «Деректерді жинау және тазалау». Талдап көрейік. Деректерді талдау графиктерден емес, жинау мен тазалаудан басталады. Салат дайындап жатырсың деп елестет: алдымен көкөністерді әкеліп, шіріктерін лақтырып тастап, іріктеп алу керек — әйтпесе ең жақсы рецепт те құтқармайды. Деректермен де солай: алдымен кестені жинаймыз, содан кейін оны қателерден тазалаймыз, тек содан кейін ғана есептейміз.
Бұл не үшін керек?
Деректерді барлық жерден жинайды: зауыттардағы және ақылды үйлердегі датчиктерден, дүкен кассаларынан, медициналық құралдардан, спутниктерден, сауалнамалардан. Талдаушылар өз жұмысының үлкен бөлігі дәл тазалау екенін айтады, өйткені лас деректерде есеп те өтірік айтады, нейрондық желі де қате үйренеді. Жасанды интеллект күдікті жолдарды тез таба алады, бірақ нені қате деп санау керектігін, мәнді дәл түзетуге бола ма, әлде жолды алып тастаған дұрыс па — соны осы деректердің қайдан алынғанын түсінетін адам шешуі керек. Талдаушы, деректер инженері және зерттеуші мамандықтарына дәл осындай адамдар қажет болады.
Бұл қалай жұмыс істейді?
Жинау нәтижесі — кесте: әр жол — бір жазба, мысалы сауалнамадағы бір жауап, ал әр баған — бір белгі, мысалы есім немесе жолда жүрген уақыт. Шикі деректер әрдайым дерлік лас болады: біреу форманы екі рет жіберді — көшірме пайда болды, біреу жауап бермеді — бос орын, біреу санның орнына мәтін жазды — қате формат, ал қате басылған таңба мүмкін емес мәнді берді — шығынды мән. Тазалау — әрбір проблемалы жол бойынша шешім: жою, түзету немесе қалдыру. Түзетуге тек дұрыс мән дәл белгілі болғанда ғана болады, әйтпесе жолды алып тастайды.
Аздап тарих
Ұқыпты жиналған деректердің адам өмірін қалай құтқаратынының ең белгілі мысалдарының бірі — бір мың сегіз жүз елу төртінші жылғы лондондық дәрігер Джон Сноудың жұмысы. Тырысқақ індеті тұтанған кезде ол үйлерді аралап, ауырғандардың қайда тұрғанын жазып алды да, олардың бір көшедегі су сорғысының айналасына шоғырланғанын көрді. Колонканың тұтқасын алып тастағанда, оның айналасында жаңа ауырғандар әлдеқайда азайды.
Практикада не істейміз?
Ал енді практикалық тапсырманы орындап көрейік. Алдыңда он екі жолдан тұратын «Мектепке дейін неше минут жүресің?» сауалнамасының кестесі тұр: жіберілген уақыты, есімі, сыныбы және минуттар, ал әр жол үшін әрекетті таңдауға болады — қалдыру, жою немесе түзету. Төменде есептеуге қандай сандар кіретіні, орташа мән мен медиана көрініп тұр: қазір орташа мән алпыс минуттан асады, және бұл анық күдікті. Жолдарды аралап шығып, өзіңе сұрақтар қой: бірдей жолдар бар ма? Мектепке дейінгі жол алты сағатқа жуық уақыт алуы мүмкін бе? Мәтінді санға дәл аударуға бола ма, ал жауап мүлде жоқ болса не істеу керек? Әр оқушы дәл бір реттен және минуттар санымен қалғанда, «Тексеру» батырмасын басып, орташа мәннің қалай өзгергеніне қара. Егер бірдеңе түсініксіз болып қалса — ештеңе етпейді, менен кез келген нәрсені сұра, мен жауап беремін. Уайымдама.