Lekce 17 - Nástroje pro čištění dat

V předchozím kvízu, Kvíz - Metody a statistická analýza v byznysu, jsme si ověřili nabyté zkušenosti z předchozích lekcí.

V dnešním tutoriálu Úvodu do datové analýzy se seznámíme s klíčovými nástroji pro čištění dat. Projdeme si tabulkové editory pro manuální kontrolu a základní úpravy, nástroj OpenRefine pro standardizaci dat pomocí výrazového jazyka GREL a filtrování dat pomocí faceted filtering. Nakonec se dotkneme dotazovacího jazyka SQL pro manipulaci s daty v relačních databázích.

Proč čistit data

Syrová data často obsahují duplicity, chybějící nebo nekonzistentní hodnoty a různé formáty, které mohou ovlivnit analýzu. V praxi často nějaké osoby např. vyplní dotazník několikrát, v některých položkách nebudeme mít vypsané všechny hodnoty nebo budou data nekonzistentní (např. lidé vyplní město jako PRaha, P-10, Praha 10 a my hodnoty můžeme chtít sjednotit pod Praha, abychom podle nich mohli filtrovat).

Jak si čištění dat usnadnit

Formuláře, webové stránky a další metody sběru dat se vždy snažíme navrhovat tak, aby respondent mohl zadat jen co nejpřesnější data. Toho dosáhneme např. tím, že místo jednoho pole pro celou adresu vyčleníme samostatná políčka pro ulici, město a PSČ nebo že nabídneme pevný seznam zemí pro výběr. V některých případech, např. při volbě města, by však bylo hodnot k výběru příliš mnoho, a proto respondent zadává hodnotu libovolně, což často také vede k nekonzistentnosti.

Tabulkové editory

Začneme jako vždy tabulkovými editory. Excel nebo Google Sheets jsou ideální pro rychlou manuální kontrolu menších až středně velkých datasetů – souborů dat uspořádaných v řádcích a sloupcích. Krátce si představíme jejich hlavní funkce pro čištění.

Na obrázku vidíme tabulku s daty zákazníků. Pokud byste si ji chtěli otevřít, je ke stažení v příloze na konci lekce. Můžeme si všimnout několika typických problémů:

...konec náhledu článku...
Pokračuj dál