Adattisztítás a gyakorlatban: Hogyan szűrd ki a valós számokat egy nagy adathalmazból?

Ugye ismerős a helyzet? Előtted áll egy hatalmas, kusza adathalmaz, és a fejedben már ott van a briliáns elemzés, a forradalmi felismerés. De ahogy belemerülsz, rájössz: az adatok nemhogy nem rendezettek, de egyenesen káoszosak. Szövegek keverednek számokkal, hiányzó értékek torzítják a képet, és a valós számok mintha tűt keresnénk a szénakazalban. Ne add fel! Ez a cikk egy gyakorlati útmutató, amely lépésről lépésre végigvezet azon, hogyan teheted rendbe a numerikus adataidat, hogy a belőlük levont következtetések valóban megalapozottak és értékesek legyenek.

Az adatelemzés világában gyakran halljuk a „garbage in, garbage out” elvet. Ez nem csupán egy szlogen, hanem egy keserű tapasztalatokon alapuló valóság. Ha szennyezett, pontatlan vagy hibás adatokkal dolgozunk, az eredményeink is pontatlanok, hibásak és félrevezetőek lesznek. Az adattisztítás tehát nem egy opcionális lépés, hanem az analitikai folyamat sarokköve. Különösen igaz ez, ha a számokra, a mennyiségi adatokra fókuszálunk, hiszen ezek képezik a legtöbb statisztikai elemzés, modellezés és döntéshozatal alapját.

Miért kritikus az adattisztítás, különösen a numerikus adatoknál? 🤔

Képzeljünk el egy pénzügyi elemzést, ahol a bevételi adatok között szöveges leírások, elírt számok és különböző pénznemek keverednek. Vagy egy tudományos kutatást, ahol a mérési eredmények pontatlansága miatt téves következtetéseket vonnak le. A lista szinte végtelen. Az adatminőség közvetlenül befolyásolja az üzleti intelligencia, a gépi tanulási modellek pontosságát és végső soron a döntéshozatal színvonalát. Egy rosszul tisztított adathalmaz nem csupán eltorzítja az eredményeket, de súlyos anyagi és reputációs károkat is okozhat.

Személyes tapasztalatom, hogy a legtöbb időt nem is maga a kódolás, hanem az adatok megértése és a hibák azonosítása viszi el. Egy projektnél a beérkező adatok 60%-át kellett volna átalakítani vagy javítani ahhoz, hogy egyáltalán értelmezhetőek legyenek. Az első, naiv próbálkozások rendre kudarcot vallottak, mert nem értettük meg kellőképpen az adatok struktúráját és a bennük rejlő „szennyeződéseket”. Ezért hangsúlyozom mindig, hogy az első lépés a megfigyelés, mielőtt bármit is módosítanánk.

A valós számok definíciója és a vele járó kihívások a gyakorlatban 📊

Mielőtt nekikezdenénk a takarításnak, fontos tisztáznunk, mit is értünk „valós szám” alatt a mi kontextusunkban. Általában ide soroljuk az egész számokat (pl. 10, -500), a tizedes törteket (pl. 3.14, 0.5), és olykor a tudományos jelöléseket (pl. 1.2e-3). Fontos, hogy ezek valóban numerikus értékek legyenek, amelyekkel matematikai műveleteket végezhetünk. Nem számítanak valós számnak a dátumok, szöveges leírások, logikai értékek, még akkor sem, ha számokat tartalmaznak (pl. „2023.10.26” vagy „Húsz darab”).

A kihívások számtalan formában jelentkeznek egy nagyméretű adatkészletben:

• Vegyes adattípusok: Egy oszlopban keverednek a számok, szövegek („N/A”, „hiányzik”, „ismeretlen”) és speciális karakterek.
• Elválasztók inkonzisztenciája: Egyes országokban a vesszőt, másokban a pontot használják tizedeselválasztónak (pl. 1,500.00 vs 1.500,00). Ez különösen nemzetközi adatoknál okoz fejtörést.
• Extra karakterek: Pénznemszimbólumok (€, $, Ft), százalékjelek (%), mértékegységek (kg, db) vagy akár zárójelek a számokon belül.
• Felesleges szóközök: A számok előtt vagy után szereplő szóközök, vagy akár a számokon belüli szóközök („1 000 000”).
• Hiányzó adatok: Üres cellák, nullák, vagy speciális szöveges jelölések („NULL”, „NA”).
• Elírások, gépelési hibák: Emberi hiba folytán bekerült karakterek („1O0” helyett „100”).

Az adattisztítás lépésről lépésre – Fókuszban a számok 🧑‍💻

Lássuk, hogyan közelíthetjük meg ezt a feladatot egy rendszerezett módon, főként olyan eszközöket szem előtt tartva, mint a Pandas a Pythonban, amely kiválóan alkalmas nagyméretű adathalmazok kezelésére.

1. Az adatok feltárása és megértése 🔍

Ez az első és talán legfontosabb lépés. Ne essünk neki azonnal kódolni! Először ismerjük meg az adatokat. Nézzünk bele az első néhány sorba (df.head()), ellenőrizzük az oszlopok adattípusait (df.info()), és kérjünk egy gyors statisztikai összefoglalót (df.describe()). Keressünk olyan oszlopokat, amelyeknek számokat kellene tartalmazniuk, de ‘object’ (szöveges) típusként szerepelnek. Ez azonnal gyanút kelthet, hogy valamilyen nem numerikus érték is megbújik bennük.

Személyes tapasztalatom szerint sokan átugorják ezt a fázist, ami később sokkal több hibához és időveszteséghez vezet. Egy egyszerű mintavételezés vagy egy hisztogram sokszor azonnal megmutatja a leggyakoribb anomáliákat. Miért nem numerikus az az oszlop? Miért vannak benne értelmezhetetlenül nagy vagy kicsi értékek? Ezekre a kérdésekre már az elején keressük a választ.

2. A „valós szám” jellegzetességeinek meghatározása ✍️

Mielőtt törölnénk vagy átalakítanánk bármit, definiáljuk, mi az, amit elfogadható valós számnak tekintünk. Ez történhet reguláris kifejezések (regex) segítségével, amelyekkel pontosan meghatározhatjuk a számok mintázatát. Például egy olyan regex, amely csak számjegyeket, egyetlen tizedesjelzőt és opcionálisan egy előjelet engedélyez.

Egy egyszerűbb megközelítés lehet a beépített függvények használata, mint például a Pandas `pd.to_numeric()` metódusa, amely kiválóan alkalmas erre a célra, hiszen az `errors=’coerce’` paraméterrel a nem konvertálható értékeket automatikusan `NaN` (Not a Number) értékre cseréli.

3. Érvénytelen karakterek eltávolítása 🧹

Ez a takarítás érdemi része. Vegyük sorra azokat az oszlopokat, amelyekről tudjuk, hogy számokat kellene tartalmazniuk, de szöveges formában vannak. Használjuk a string műveleteket az extra karakterek eltávolítására:

• Pénznemszimbólumok, százalékjelek: `df[‘oszlop’].str.replace(‘€’, ”).str.replace(‘%’, ”)`
• Mértékegységek: `df[‘oszlop’].str.replace(‘kg’, ”).str.replace(‘db’, ”)`
• Felesleges szóközök: `df[‘oszlop’].str.strip()` az elejéről és végéről, és `str.replace(‘ ‘, ”)` a számokon belüli szóközök eltávolítására.
• Zárójelek, egyéb speciális jelek: `df[‘oszlop’].str.replace(‘[()]’, ”, regex=True)`

Ezeket a műveleteket célszerű láncolva végrehajtani, vigyázva a sorrendre. Például előbb távolítsuk el a pénznemszimbólumot, majd a tizedeselválasztót egységesítsük. Egy valós adatgyűjtés során gyakran találkozni olyan oszlopokkal, ahol a negatív értékeket zárójelbe teszik, mint pl. (100). Ezt is le kell kezelni a konverzió előtt.

4. Tizedes- és ezreselválasztók egységesítése 🔢

Ez egy kritikus lépés, különösen, ha különböző földrajzi régiókból származó adatokkal dolgozunk. Két fő forgatókönyv van:

1. Vessző mint tizedes, pont mint ezres: `1.234,56` -> `1234.56`. Ebben az esetben először távolítsuk el a pontokat, majd cseréljük a vesszőt pontra: `df[‘oszlop’].str.replace(‘.’, ”, regex=False).str.replace(‘,’, ‘.’)`
2. Pont mint tizedes, vessző mint ezres: `1,234.56` -> `1234.56`. Itt egyszerűen eltávolítjuk a vesszőket: `df[‘oszlop’].str.replace(‘,’, ”, regex=False)`

A pd.to_numeric() függvénynek van egy `decimal` paramétere, amivel megadhatjuk a tizedeselválasztót (pl. `decimal=’,’`). Ez nagyban leegyszerűsítheti a folyamatot, ha csak a tizedeselválasztó okoz gondot, és nincsenek ezreselválasztók.

5. Nem numerikus értékek kezelése ❌

Miután eltávolítottunk minden zavaró karaktert, megpróbálhatjuk a string típusú oszlopot numerikusra konvertálni. Ekkor jön a képbe a pd.to_numeric(df['oszlop'], errors='coerce'). Az `errors=’coerce’` paraméter hatására minden olyan érték, amelyet nem tud számra konvertálni, `NaN` (Not a Number) lesz. Ez egy rendkívül hasznos funkció, mert így egyértelműen azonosíthatjuk a ténylegesen nem numerikus bejegyzéseket.

Miután `NaN` értékeket kaptunk, döntenünk kell, mi legyen velük. Lehetőségek:

• Eltávolítás: Ha a hiányzó adatok aránya elenyésző, és nem kritikus az adott sor, egyszerűen törölhetjük azokat (`df.dropna(subset=[‘oszlop’])`).
• Feltöltés: Ha sok hiányzó adat van, és fontos, hogy ne veszítsünk információt, feltölthetjük őket valamilyen értékkel (pl. 0, átlag, medián, módusz). A feltöltés módja függ az adatok jellegétől és az elemzés céljától (`df[‘oszlop’].fillna(0)`).

Ez az a pont, ahol a legnehezebb döntések születnek, és ahol az adatelemzés során a szakértelem a leginkább megmutatkozik. Egy rossz feltöltési stratégia torzíthatja az eredményeket, míg egy túl agresszív törlés túl sok értékes adat elvesztéséhez vezethet. Gondoljunk csak arra, ha egy termék árát kellene feltölteni: 0-val feltölteni nyilvánvalóan rossz lenne, de az átlaggal is óvatosan kell bánni.

„Az adatok feltisztítása olyan, mint a régészet: a türelem és a módszeres munka vezet el az igazán értékes leletekhez, a felszín alatt rejtőző felismerésekhez.”

6. Adattípus konverzió ➡️

Miután a nem numerikus értékeket megfelelően kezeltük (vagy `NaN`-ra alakítottuk őket), az oszlopot véglegesen a megfelelő numerikus adattípusra konvertálhatjuk. Ha tizedes törtek is vannak, `astype(float)` a cél. Ha csak egész számokról van szó, és nincsenek `NaN` értékek, akkor `astype(int)` is szóba jöhet. Fontos megjegyezni, hogy az `int` típus nem képes `NaN` értékeket tárolni, ezért előtte gondoskodnunk kell azok kezeléséről (pl. feltöltés, vagy egy olyan típus használata, ami támogatja a hiányzó értékeket, mint a `Int64` a Pandasban).

7. A megtisztított adatok ellenőrzése ✅

Soha ne feledkezzünk meg az utolsó ellenőrzésről! Ismételjük meg az 1. lépésben leírtakat: df.info(), df.describe(). Nézzük meg, hogy az oszlopok adattípusa immár megfelelő-e, és a statisztikai összefoglaló reális értékeket mutat-e. Készítsünk hisztogramokat vagy dobozdiagramokat, hogy vizuálisan is meggyőződjünk az adatok eloszlásáról és arról, nincsenek-e még mindig kiugró, hibás értékek, amelyek valahogy átcsúsztak a rostán (pl. 9999999, ami egy hibás adatbevitelt jelöl).

Gyakori buktatók és tippek a gyakorlatból 💡

• Feltételezések kerülése: Soha ne feltételezd, hogy tudod, milyen az adat. Mindig ellenőrizd! Sokszor a látszólag egyszerű adatok is rejtélyes hibákat tartogatnak.
• Dokumentáció: Minden egyes tisztítási lépést dokumentálj! Később hálás leszel magadnak, ha újra kell futtatni vagy módosítani a folyamatot. Egy egyszerű Readme fájl, vagy notebook cellákba írt kommentek is elegendőek lehetnek.
• Eredeti adatok megőrzése: Soha ne módosítsd közvetlenül az eredeti adathalmazt. Mindig készíts másolatot, és azon dolgozz (`df.copy()`).
• Iteratív folyamat: Az adattisztítás ritkán egyenes vonalú. Valószínűleg többször is vissza kell térned egy korábbi lépéshez, ahogy újabb hibákat fedezel fel.
• Automatizálás: Ha ismétlődő feladatokkal állsz szemben, írj funkciókat vagy szkripteket a tisztítási lépések automatizálására. Ez időt takarít meg és csökkenti az emberi hiba lehetőségét.
• Verziókövetés: Használj verziókövető rendszert (pl. Git) a tisztító szkriptjeidhez. Ez segít nyomon követni a változásokat és visszatérni korábbi állapotokhoz, ha valami elromlik.

Esettanulmány vázlata: Termékárak tisztítása egy webshop adatbázisában

Képzeljünk el egy webáruház termékadatbázisát, ahol a termékek árai egyetlen oszlopban találhatók. Ez az oszlop azonban nem egységes: tartalmazhat „10.000 Ft”, „50%”, „N/A”, „egyezer”, „1.250,50”, „2,300.00 HUF” és „1500” formátumokat is.

1. Feltárás: Az `info()` és `head()` parancsok azonnal jeleznék, hogy az oszlop `object` (szöveges) típusú.
2. Karaktereltávolítás: Először eltávolítanánk a „Ft”, „HUF”, „%” szövegeket, valamint a felesleges szóközöket.
3. Tizedes/ezres egységesítés: A „1.250,50” -> „1250.50” átalakításához előbb a pontot, majd a vesszőt cserélnénk. A „2,300.00” -> „2300.00” esetén egyszerűen a vesszőt távolítanánk el.
4. Konverzió `NaN`-ra: A `pd.to_numeric(…, errors=’coerce’)` segítségével az „N/A”, „egyezer” és bármely más, nem konvertálható érték `NaN` lesz.
5. Hiányzó értékek kezelése: Dönthetünk úgy, hogy azokat a sorokat, amelyeknek az ára `NaN` lett, töröljük, vagy ha lehet, valamilyen logikával (pl. a termékkategória átlagárával) feltöltjük.
6. Típus konverzió: Végül az oszlopot `float` típusra alakítanánk, hogy matematikai műveleteket végezhessünk rajta.

Ez a vázlat jól illusztrálja, hogy a valós életben milyen összetett lehet a feladat, és mennyire fontos a szisztematikus megközelítés.

Zárszó 🚀

Az adattisztítás, különösen a valós számok kiszűrése és rendezése egy nagyméretű adathalmazból, alapvető fontosságú lépés minden adatelemzési projektben. Bár időigényes és néha frusztráló feladatnak tűnhet, a befektetett energia megtérül a pontosabb eredmények, a megalapozottabb döntések és a magasabb szintű adatminőség révén.

Ne feledd, az adattisztítás nem egy egyszeri esemény, hanem egy iteratív folyamat. Ahogy mélyebben megismered az adataidat, valószínűleg újabb és újabb problémákra bukkansz, amelyek további finomításokat igényelnek. De a most megszerzett tudással felvértezve magabiztosan nézhetsz szembe bármilyen adatkészlettel, és képes leszel értékes, megbízható információt kinyerni belőlük. Jó munkát az adatok rendbe tételéhez!