Data visualisation and decision support
Explanation
Magyarázat
Hajdu Csaba, 2026
Data visualisation and decision support
Miből következik a diagramválasztás, mi torzít, és mikor lesz egy műszerfalból döntés.
Hajdu Csaba, 2026
The semester
Tíz perc, és a saját gépeden ugyanazok a számok
Mielőtt bármibe belekezdenénk, egy dolgot rendezzünk el. Ennek a kurzusnak minden állítása mögött futtatható kód van — a diákon szereplő számokat nem elhinni kell, hanem újra előállítani. Ehhez tíz perc telepítés kell, és utána a saját gépeden pontosan ugyanazok a számok jönnek ki, mint itt.
Aki lefuttatja, az azt is megtudja, mikor nem igaz az állítás.
Az adatelemzésben a legveszélyesebb mondat az, hogy „a szakirodalom szerint”. Nem azért, mert a szakirodalom téved, hanem mert aki csak idézi, az nem tudja, mikor nem érvényes. Ha viszont lefuttatod, és átírsz egy paramétert, akkor megtudod, hol borul fel az állítás. Ezért van minden diához tartozó szám mögött egy szkript, amit el tudsz indítani.
A részletes telepítési útmutató a repóban: `docs/telepites.md`. Ott van a hibakereső táblázat is, tünetenként. Az oldalsó rajz a `stat-multiple` demóé: húsz hatástalan kezelésből az esetek 48,2 %-ában lesz legalább egy „szignifikáns”. A tankönyvi képlet 64,2-t mond — a különbség maga is tanulság: a húsz próba ugyanazt a kontrollt használja, tehát nem független. Ez az a fajta állítás, amit elhinni nem elég.
A `w05-overplot` demó „elfedve” száma, öt véletlenmagon futtatva.
Mielőtt bármit elhiszel tőlem, itt van, mit jelent az, hogy „futtasd le magad”. Ez a `w05-overplot` demó kulcsszáma öt különböző véletlenmaggal: nyolcvankilenc egész egy és nyolcvankilenc egész kilenc között szóródik. Ebből két dolog következik. Az egyik: a mérés megismételhető, tehát lehet rá építeni. A másik, kellemetlenebb: a „nyolcvankilenc egész hat százalék” egy tizedesre nem reprodukálható szám. Kilencven százalék körül — ennyit szabad állítani.
A tengely nullától indul, ezért látszik keveset ingadozónak. A 0,8 százalékpontos terjedelem ezen a rajzon alig észrevehető — és pontosan ez a helyzet becsületes ábrázolása: a szórás valóban kicsi a mért mennyiséghez képest.
A telepítő négy dolgot csinál, de neked egy parancsot kell kiadnod. Először gondoskodik a Pythonról — ha nincs a gépeden, letölti. Aztán készít egy külön környezetet, hogy a kurzus csomagjai ne keveredjenek másik projektedével. Telepíti a csomagokat. Végül bejegyez egy Jupyter-kernelt, hogy a jegyzetfüzet megtalálja a saját környezetét.
aztán ÚJ ablak, majd cd scripts és .\setup.ps1
aztán új héj, majd cd scripts és ./setup.sh
kilépési kód 0, ha minden megvan
Egy előfeltétel van: az uv. Ez nem csak gyorsabb a hagyományos telepítőnél, hanem a Pythont is telepíti — és Windowson pont ez a különbség a működő és a nem működő telepítés között, mert ott a python parancs alapból egy áruházi parancsikon, nem értelmező. Telepítés után nyiss új ablakot, különben a rendszer még nem tud az uv-ról.
Ha a PowerShell nem enged szkriptet futtatni: Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass. Csak arra az ablakra érvényes, tehát nem nyitja ki a gépedet.
A cella betöltése…
Ez az első mérés, amit lefuttatsz. Nem a vizualizációról szól, hanem arról, hány mintaelem kell ahhoz, hogy egy adott különbséget egyáltalán észrevegyünk. A cellát a jegyzetfüzetben megtalálod; ha ugyanezek a számok jönnek ki nálad, akkor a környezet rendben van, és mehetünk tovább.
bármelyik héthez
A jegyzetfüzetek nem tartalmaznak mérési kódot. A demócsomagot hívják, és a te dolgod a paraméterek átírása — ez a feladat, nem a kód újragépelése. Minden demóhoz három cella tartozik: a futtatás, egy söprés öt véletlenmagon, és ahol van értelmes csavar, egy paraméter-feladat.
A hibaüzenetek láncban jönnek. Az első az ok, a többi a következménye.
Egy szokást kérek, és ez nem csak a telepítésre igaz. A hibaüzenetek láncban jönnek: az első az ok, a többi a következménye. Ha a telepítő félúton elszáll, és utána azt írja, hogy nincs virtuális környezet, akkor nem két hibád van, hanem egy. Görgess vissza az elsőig.
A `docs/telepites.md` utolsó szakasza hét gyakori tünetet sorol fel, mindegyikhez az okot és a megoldást. Ez a lista a hallgatói visszajelzésekből nő tovább.
csomag- és környezetkezelő; egyetlen paranccsal felállítja a Pythont, a környezetet és a csomagokat
a kurzus csomagjai elkülönítve a gép többi Python-projektjétől; így nem írnak felül semmit
az a Python, amit a jegyzetfüzet ténylegesen futtat; a regisztrálás köti össze a kettőt
a kurzus mérései telepíthető csomagként; ugyanaz fut a dián, a jegyzetfüzetben és a böngészőben
a sorsolás kiindulópontja; ugyanaz a mag ugyanazokat a számokat adja, ezért reprodukálható a mérés
a diákon szereplő szám a te gépeden is előáll, és ha átírsz egy paramétert, látod, mi változik
Ha a check_env végigfutott, mindened megvan. A következő órán az első kérdés az lesz, hogy mitől lesz egy ábrából érv.
Átlag, momentumok, szórás, nagy számok törvénye — képlettel és méréssel
Mielőtt bármit rajzolnánk, tisztázzuk a közös nyelvet. Ez a blokk nem új anyag: átlag, szórás, momentumok, nagy számok törvénye. Két okból van mégis itt. Egy: ezek nélkül a bizonytalansági sávról nem lehet beszélni, márpedig a hét második felében végig arról lesz szó. Kettő: ezeknek a fogalmaknak PONTOS képletük van, és a képletből következnek olyan dolgok, amiket a szemlélet nem ad ki — például hogy négyszer annyi mérés csak feleakkora hibát ad. Tizenöt perc, és utána mindenki ugyanazt érti szórás alatt.
A várható érték a sokaságé, és rögzített. A mintaátlag a mintáé, és véletlen.
Ezért van értelme azt kérdezni, hogy „mennyire pontos az átlagunk”. A várható értékre ennek nem lenne értelme — az nem ingadozik.
A jelölés is ezt mondja: a sokaság mennyiségeit görög betűvel és E-vel írjuk (μ, σ), a mintából számítottakat latinnal és vonással (x̄, s). Ahol a két jelölés keveredik, ott majdnem mindig fogalmi hiba van mögötte.
Két középérték, két veszteségfüggvény. A négyzet bünteti a nagy eltérést, tehát az átlag odahúz.
A négyzetes veszteség deriváltja nulla: Σ 2(xᵢ − c) = 0, amiből c = x̄. Az abszolút veszteségé a előjelek összege, ami akkor nulla, ha ugyanannyi pont van alatta, mint fölötte — ez a medián.
A `stat-alapok` demó nem elhiszi ezt, hanem húszezer rácsponton végigméri mindkét veszteséget, és megkeresi a minimumhelyüket: az eredmény fél rácslépésen belül az átlag, illetve a medián.
Az ábra betöltése…
Itt a két görbe. Fölül a négyzetes eltérés összege, alul az abszolút — mindkettő ugyanarra a tizenöt tábla hozamára, és a vízszintes tengelyen az a c, amivel a mintát helyettesítenénk. A szürke pontok maguk a megfigyelések. Nézd meg a két minimumhelyet: nem esnek egybe. A felső parabola alja az átlag, az alsó törtvonalé a medián. És vedd észre az alakjukat is: a négyzetes görbe messze meredekebben nő, ahogy a széle felé megyünk — ez az, amit „bünteti a nagy eltérést” alatt értünk.
Az alsó görbe nem sima: tizenöt töréspontja van, pontosan a megfigyeléseknél. Ezért van az, hogy páros elemszámnál az abszolút veszteség minimuma nem pont, hanem SZAKASZ — a medián ilyenkor megállapodás kérdése, és a szokás a szakasz felezőpontját veszi.
Az átlag elmozdulása arányos Δ-val, a mediáné korlátos — akkor is, ha Δ végtelen.
Tizenöt elemű mintán Δ/n = Δ/15. Egy 12 t/ha-s elütés tehát 0,8 t/ha-val viszi el az átlagot — egy hozamsoron ez a különbség két év között.
A döntés nem az, hogy melyik a „jobb” mérőszám. A kérdés az, hogy a kiugró érték HIBA-e vagy ADAT. Ha hiba, a medián véd; ha adat — mondjuk egy tényleg kiváló tábla —, akkor a medián elrejti azt, amiért az egészet néztük.
Az ábra betöltése…
A mérés ugyanez, képben. A vízszintes tengelyen az áll, mennyivel tolunk el egyetlen megfigyelést; a két görbe az átlag és a medián. Az átlag egyenes, és a meredeksége pontosan egy per tizenöt, nulla egész nulla hatvanhét. A medián lép egyet, amikor a kiugró érték átlépi a középső elemet — és onnantól vízszintes. Ez a kép a robusztusság meghatározása: nem az, hogy „nem érzékeny”, hanem hogy KORLÁTOS a hatás.
Az ábra bal szélén a két görbe nem esik egybe: a medián eleve nem ugyanott van, mint az átlag, mert a minta enyhén ferde. Ez nem hiba az ábrában — ez maga a ferdeség, amiről két diával később lesz szó.
Egy képlet, négy mérőszám. A k határozza meg, mit mér: helyzetet, terjedelmet vagy alakot.
A páratlan hatvány megőrzi az előjelet, tehát a ferdeség megmondja, MELYIK oldalra nyúlik a farok. A páros hatvány nem, tehát a variancia és a csúcsosság csak a nagyságot méri.
A hármas levonás a csúcsosságnál nem önkény: a normális eloszlás m₄/s⁴ értéke pontosan 3, tehát a levonás után a normális nulla. Ezt nevezik „többletcsúcsosságnak”, és a legtöbb szoftver — a numpy is — ezt adja vissza.
Az n-nel osztó becslés (n−1)/n arányban becsül alá. Öt elemű mintán ez 20 százalék.
A szórás a variancia gyöke, és azért azt használjuk, mert ugyanabban a mértékegységben van, mint az adat: t/ha-hoz t/ha tartozik, nem t²/ha².
A gyökvonás egy dolgot elront: a torzítatlanság nem öröklődik. s² torzítatlan becslése σ²-nek, de s NEM torzítatlan becslése σ-nak — kis mintán enyhén alulbecsül. A kurzus ezzel nem számol, mert a hatás a többi hibaforrás alatt van, de tudni kell róla.
Az ábra betöltése…
Itt a mérés: negyvenezer ismételt minta, hat elemszámon, és minden oszlop azt mutatja, hogy a becslés a valódi variancia hányadrészét adja vissza. A szaggatott vonal az egy — ott lenne a helyes érték. A terrakotta oszlopok az n-nel osztó becslés: kettes mintán a valódi variancia felét adják. A szürke pont rajtuk a KÉPLET szerinti érték, n mínusz egy per n — és rajta ülnek. A sötétkék oszlopok az n mínusz eggyel osztó becslésé, és mind az egyen állnak.
Vedd észre, hogy a torzítás n = 100-nál sem tűnik el, csak elhanyagolhatóvá válik: ott 0,99. A kérdés soha nem az, hogy „eltűnt-e”, hanem az, hogy a mérés többi hibájához képest számít-e még.
A ferdeség irányt mond, a csúcsosság a farkak súlyát. Mindkettő mértékegység nélküli.
Az exponenciális eloszlás ferdesége pontosan 2, a normálisé 0. Ez a két szám elég viszonyítási pontnak: 0,5 körül még majdnem szimmetrikus, 2 fölött erősen ferde.
Mindkét mérőszám kis mintán maga is erősen ingadozik, a negyedik momentum különösen: néhány tucat megfigyelésből számolt csúcsosságra nem szabad állítást építeni. A demó ezért kétszázezres mintákon méri.
Az ábra betöltése…
És itt a következmény, ami miatt az egész momentumos rész a diasorban van. Három minta. Mindháromnak az átlaga nulla, a szórása egy — nem körülbelül, hanem tizenhat tizedesjegy pontossággal, mert a konstrukció így állította be. A ferdeségük és a csúcsosságuk viszont más, és a hisztogramjuk ránézésre semmiben nem hasonlít. Aki tehát átlagot és szórást közöl, ezt a hármat nem különbözteti meg. Ez a legjobb érv amellett, hogy eloszlást mindig RAJZOLNI kell, nem összefoglalni.
Ugyanez a gondolat tér vissza az 5. hét végén, más ruhában: két adathalmaz, amelynek a peremeloszlása képpontra azonos, a korrelációja viszont 0,92 és −0,91. A mérőszám mindig kevesebb, mint az adat — a kérdés csak az, hogy az elveszett rész számít-e.
A cella betöltése…
Itt a másik demó cellája. A csavar a kiugró érték nagysága: told negyvenre, és nézd meg, hogy az átlag elmozdulása pontosan követi-e a delta per n képletet, a medián pedig megáll-e a korlátnál. A harmadik ábrán pedig azt figyeld, mi történik a három hisztogrammal — az átlaguk és a szórásuk a konstrukció miatt akkor is azonos marad.
A demó a minimumhelyeket húszezer rácsponton keresi meg, nem képletből. Ez szándékos: így a dián álló tétel nem feltevés, hanem mért állítás — és ha valaki átírja a mintát, a keresés ugyanúgy lefut.
A szórás az adaté és nem csökken a mintával. A standard hiba a becslésé, és 1/√n szerint csökken.
Innen a kurzus legtöbbet idézett mondata: NÉGYSZER annyi mérés feleakkora hibát ad. Aki tízszeres pontosságot akar, annak százszoros mintát kell vennie — és ez az a pont, ahol a mérési terv költségkérdéssé válik.
A képlet független megfigyeléseket feltételez. Idősoron ez nem teljesül, és ott a tényleges standard hiba nagyobb — pontosan ezért lesz a 6. hét előrejelzési sávja szélesebb, mint amit ez a képlet adna.
A `stat-nagyszamok` demó sokasága: exponenciális, σ = 6,00 t/ha.
SE=6 / sqrt(30)=1,1t/ha
Húzd a csúszkát, és nézd, mi mozdul.
Ez az a képlet, amit a kurzus a legtöbbször használ, tehát érdemes a kezeddel is végigvinni. A felső csúszka az ADAT szórása, az alsó a minta elemszáma. Nézd meg, mi történik, ha az elemszámot megnégyszerezed: a standard hiba a FELÉRE esik, nem a negyedére. Aztán próbáld a másik irányt: told a szórást a duplájára. Ott viszont pontosan duplázódik — az adat szórása egyenesen, az elemszám gyökösen hat. Ez a két különböző viselkedés a képlet egész mondanivalója.
A demó ugyanezt méréssel is igazolja: n = 30-nál a mintaátlagok mért szórása 1,104, a képlet 1,095-öt ad. Az eltérés a szimuláció saját ingadozása — negyvenezer ismétlésből ennyi marad.
Az ábra betöltése…
A mérés: minden elemszámhoz negyvenezer mintát veszünk, kiszámoljuk a mintaátlagokat, és megnézzük, mennyire szórnak. Logaritmikus tengelyen a hatványfüggvény egyenes lesz, a meredeksége pedig maga a kitevő. A mért kitevő mínusz nulla egész ötezer-négy — az elméleti mínusz fél. A szaggatott piros vonal a szigma per gyök n képlet, és a mért pontok rajta ülnek. Ez az a fajta dia, amit érdemes átírni és újrafuttatni: állítsd át az ismétlésszámot ezerre, és nézd meg, mikor kezd el táncolni a kitevő.
Miért log-log: mert ezen a tengelyen a HATVÁNYKITEVŐ olvasható le közvetlenül, és éppen az a kérdés. Ugyanez a rajz lineáris tengelyen egy lefelé hajló görbe, amiről ránézésre nem lehet megmondani, hogy 1/√n vagy 1/n — pedig a kettő között négyzetes a különbség a szükséges mintaméretben.
Egy kísérletben száz parcellából mérsz átlagot, és a standard hiba 0,4 t/ha. A vezetőd azt kéri, hogy feleannyi legyen. Hány parcella kell hozzá?
Egy kísérletben száz parcellából mérsz átlagot, és a standard hiba 0,4 t/ha. A vezetőd azt kéri, hogy feleannyi legyen. Hány parcella kell hozzá?
A mintaátlag normálishoz tart, és a ferdesége 1/√n szerint tűnik el.
Exponenciális sokaságra γ₁(X) = 2, tehát n = 30 mellett a mintaátlag ferdesége 2/√30 ≈ 0,37 — még mindig nem nulla. A „harminc fölött már normális” ökölszabály éppen ezért ökölszabály, nem tétel.
A tétel a KÖZÉPRŐL szól, nem a farkakról. Az átlag körüli tartományban a közelítés hamar jó lesz; a szélső egy-két ezreléknél sokkal lassabban. Aki 99,9 százalékos kvantilist becsül normálisból egy ferde adaton, az a tétel hatókörén kívül van.
Az ábra betöltése…
Négy kép, egy erősen ferde exponenciális sokaságból. Balra a kettes minta átlaga: még látszik rajta a farok, a ferdeség egy egész negyvenhárom. Ahogy jobbra megyünk, a hisztogram ráül a piros normális görbére, és a ferdeség fogy: nulla egész nyolcvankilenc, nulla egész harmincnyolc, nulla egész huszonkettő. Minden panel alatt ott áll a kettő per gyök n képlet szerinti érték is — és egyezik. Ez tehát nem szemlélet: a közeledés sebessége kiszámolható.
Nézd meg a bal szélső panel bal oldalát: a hisztogram élesen elvágódik. Az exponenciális nem vesz fel negatív értéket, tehát a kettes átlag sem — a normális görbe viszont igen. Ez a legláthatóbb jele annak, hogy kis n-nél a közelítés még nem érvényes.
A kovariancia a két szórással leosztva. Mértékegység nélküli, tehát összehasonlítható — de csak a lineáris részt méri.
A nevező az, ami a mértékegységet kiüti: a kovariancia t/ha·mm-ben állna, az r-nek nincs mértékegysége. Ezért lehet két merőben más mennyiség korrelációját egymás mellé tenni.
A 6. hét ezt külön megméri: két FÜGGETLEN véletlen bolyongás korrelációja rendszeresen 0,8 fölé megy, pusztán attól, hogy mindkettőnek trendje van. A korreláció tehát idősoron önmagában nem bizonyít semmit.
| mérőszám | mit mond meg | mit NEM mond meg |
|---|---|---|
| átlag x̄ | a minta súlypontja, a négyzetes eltérés minimumhelye | robusztusság: egyetlen kiugró érték Δ/n-nel elviszi |
| medián | a középső érték, az abszolút eltérés minimumhelye | a farok: a szélső értékek nagysága nem látszik rajta |
| szórás s | az adat szóródása a saját mértékegységében | az alak: azonos szóráshoz merőben eltérő eloszlás tartozhat |
| ferdeség γ₁ | melyik oldalra nyúlik a hosszú farok | mekkora: az irányt mondja, nem a szélsőérték nagyságát |
| csúcsosság γ₂ | mennyi tömeg ül a farkakban a normálishoz mérve | kis mintán semmit: maga is erősen ingadozik |
| standard hiba σ/√n | a BECSLÉS bizonytalansága, 1/√n szerint csökkenve | független megfigyelést feltételez: idősoron alulbecsül |
| korreláció r | a lineáris együttmozgás iránya és erőssége | okságot, nemlineáris kapcsolatot és az adat alakját |
Összefoglalás egy táblázatban, és a harmadik oszlop a fontos. Minden mérőszám egy KIVONAT: az adatból kevesebb. A kérdés soha nem az, hogy jó-e a mérőszám, hanem az, hogy amit elhagy, az számít-e a mostani kérdéshez. Ha ezt a táblázatot a saját adatodra ki tudod tölteni, akkor tudod, mit veszítesz, amikor összefoglalsz.
A táblázat harmadik oszlopa ugyanaz a gondolat, mint az 5. hét diagramtípus-táblázatáé: minden eszközhöz oda kell tudni írni, mire NEM jó. Egy eszköz, amiről csak azt tudjuk, mire jó, előbb-utóbb rossz helyen kerül elő.
A cella betöltése…
A blokk két demója itt fut, a böngészőben. Az érdekes csavar az ismétlésszám: állítsd négyezerre, és nézd meg, hogy az illesztett kitevő mennyire távolodik el a mínusz féltől. Ebből megtudod azt is, amit egy képletből nem lehet: hogy MEKKORA mintán mérhető egy ilyen kitevő megbízhatóan. A másik demónál a kiugró érték nagysága a csavar — told negyvenre, és nézd meg, mennyit mozdul az átlag, és mennyit a medián.
Mindkét demó csak numpyt és matplotlibet használ, tehát telepítés nélkül fut a böngészőben is. A `stat-alapok` külön jegyzetfüzetben van, ugyanabban a mappában.
Ennyi az ismétlés. Ezek a fogalmak innentől adottnak számítanak — ha valamelyik bizonytalan, a fogalomtárban mindegyik mellett ott a meghatározás, és mindegyikhez tartozik egy futtatható mérés.
05. hét · Az ábra nem illusztráció, hanem érv
Üdvözöllek az ötödik héten. Ma az ábrákról lesz szó — de nem arról, hogy melyik a szép. Arról, hogy melyik igaz, és melyik az, amelyik igaz adatból hamis benyomást kelt. Ez a kettő nem ugyanaz, és a különbség mérhető.
Az ábra érv. Ha nem tartozik hozzá döntés, dísz.
Kezdjük a legfontosabbal. Egy ábra állít valamit. Ha nem tudod megmondani, milyen döntés változik meg tőle, akkor nem érv, hanem dísz. És ha a döntés attól változik meg, hogyan skáláztad a tengelyt, akkor nem érv, hanem manipuláció — akkor is, ha nem szántad annak.
Ez a hét rejtett tárgya végig ugyanaz: hogyan lehet félrevezetni magunkat. A módszertan nagy része védekezés a saját lelkesedésünk ellen. Az oldalsó rajz a `w05-axis` demóé, és pontosan a tételt mutatja: ugyanaz a két szám, ugyanaz az adat, két különböző döntés. Hat százalékos valódi változásból a nullától el nem induló tengelyen 3,47-szeres magasságkülönbség lesz.
Az ábra betöltése…
Hogy a tétel ne maradjon jelszó, itt egy ábra, amiből egyenesen következik egy döntés. A kérdés: hány parcella kell ahhoz, hogy egy harminc kilós hozamkülönbséget négyszer öt esetből meglássunk. A görbe megmondja. Négy parcellával tizenegy százalék az esély — vagyis a kísérlet kilencszer tízből elmulasztja a meglévő különbséget. Hattal tizenhat. Hússzal negyvenhat. A nyolcvan százalékhoz negyvenhat parcella kell kezelésenként. Ebből az ábrából tehát nem „érdekesség” lesz, hanem vetésterv. Ha egy ábrához nem tartozik ilyen mondat, akkor dísz.
A fordítottja a fontosabb: ha a kísérlet hat parcellás volt, akkor a „nem szignifikáns” eredmény nem azt jelenti, hogy nincs különbség. Azt jelenti, hogy ez a kísérlet nem láthatta meg. A kettőt a jelentésekben rendszeresen összekeverik.
Az ábra betöltése…
Mielőtt bármit mondanánk arról, hogy az ábra érv, nézzük meg, mennyire nem mindegy, mivel kódolunk. Ez a demó két tábla hozamát veszi — négy egész kilencvenegy és négy egész ötvenhét, hét egész négy százalék a különbség —, és megmutatja, mekkorának LÁTSZIK ez a különbség ötféle kódolásban. Pozícióként húsz képpont, szögként négy egész három fok, sugárarányként három egész hét százalék. Ugyanaz az adat, és a szem öt különböző dolgot lát.
Ez a hét tétele egyetlen képben. Az ábra nem az adat semleges tükre: a kódolás választása eldönti, mit lát meg a néző és mit nem. Ezért nevezzük érvnek, és ezért kell minden elemét indokolni.
Az adat nem tudás. A mérés adatot ad, az adatból ábra lesz, az ábrából értelmezés, abból döntés, a döntésből beavatkozás — és a beavatkozás hatása megint mérhető. Az ábra ennek a láncnak a közepén áll, azon a ponton, ahol az ember belép a hurokba. Ezért érdemes vele kezdeni a félévet: az ábra kényszerít rá, hogy kimondd, mit akarsz tudni.
Feltáró adatelemzés (EDA)az a szakasz, amelyben még a KÉRDÉST keressük — az eloszlásokat, a hiányzó értékeket, a szélsőértékeket, a páronkénti összefüggéseket és a csoportokat nézzük át —, mielőtt bármit modelleznénk.
ez dönti el, melyik elemzésnek van egyáltalán értelme
gyors, csúnya, sok van belőle
a kimondott kérdés és a hozzá illő módszer
Egy szakasz, aminek a neve sokszor elsikkad: a feltáró adatelemzés. Angolul exploratory data analysis, rövidítve E-D-A. A meghatározás a dián áll, és a benne lévő szó a fontos: kérdés. Ebben a szakaszban még nem a választ keresed, hanem azt, hogy mi a jó kérdés — és hogy az adat egyáltalán alkalmas-e a megválaszolására. Sokan előkészületnek tekintik a „valódi” elemzéshez; pedig ez dönti el, hogy melyik elemzésnek van értelme. Az oldalsó rajz egy mért példa arra, mit visz el, aki kihagyja: ugyanaz a kilenc tábla, összevonva és táblán belül, ellentétes előjelű meredekséggel.
Az oldalsó rajz a `stat-simpson` demóé: ugyanaz a kilenc tábla, összevonva és táblán belül. Aki kihagyja a csoportok átnézését, ellentétes előjelű következtetést visz tovább — és onnantól minden további lépés arra épül.
A sorrend nem önkényes: minden lépés azt tisztítja meg, amire a következő épül. Először egyenként nézed az oszlopokat — milyen az eloszlásuk, van-e ferdeség, hol vannak a szélsőértékek. Aztán a hiányt: hol nincs érték, és mit jelent a hiánya. Aztán a mértékegységet és a kulcsot: egyféle egység van-e az oszlopban, egyedi-e a sor. Csak ezután jönnek a páronkénti összefüggések, mert egy rossz egységű oszloppal korrelálni értelmetlen. És legvégül a csoportok: ugyanaz az összefüggés igaz-e minden táblán, minden évben, minden fajtán. Ha ezt a lépést kihagyod, Simpson-paradoxont viszel tovább.
A feltárásban a felfedező ábra az eszköz: gyors, csúnya, sok van belőle. Ezért van a következő dián a két ábrafajta megkülönböztetése — a feltárás ábrái nem arra valók, hogy vezetői anyagba kerüljenek.
| a feltárás lépése | mit fog meg | mérve, és melyik demóban |
|---|---|---|
| Eloszlás oszloponként | ferdeség, szélsőérték | a 95 %-os intervallum valójában 82,7 %-ot fed — `stat-coverage` |
| Hiányzó érték | jelölt hiány, hibás nulla | a −999 az átlagot −314 %-kal viszi el — `w07-quality` |
| Mértékegység és kulcs | kevert egység, duplikátum | a t/hold 2,2 %-ot mozdít, csendben — `w07-quality` |
| Páronkénti összefüggés | elfedés, látszatösszefüggés | 40 000 pontból 89,6 % takarásban — `w05-overplot` |
| Csoportonként ugyanaz-e | Simpson-paradoxon | az előjel megfordul: −0,0439 kontra 0,0114 — `stat-simpson` |
És hogy ez ne jámbor jótanács maradjon: minden lépéshez tartozik a kurzuson egy demó, amelyik megmutatja, mit fog meg, és mekkorát. Az eloszlásnál a ferdeség: a kilencvenöt százalékosnak hirdetett intervallum nyolcvankettő egész hetet fed le, ha az adat ferde és a minta kicsi. A hiányzó értéknél a mínusz kilencszázkilencvenkilences jelölt hiány: háromszáztizennégy százalékos eltérés az átlagban. A mértékegységnél a tonna per hold: mindössze két egész két százalék, és éppen ezért veszélyes, mert semmi nem szól érte. A szélsőértéknél az elfedés: negyvenezer pontból a kilencven százaléka takarásban. A csoportoknál pedig az előjelváltás. Öt lépés, öt mért szám.
A táblázat harmadik oszlopa nem illusztráció: mindegyik szám egy futtatható demóból való, és a hallgató mindegyiket újra tudja futtatni. Az ötből négy nem is az 5. hét anyaga — a feltárás azért külön szakasz, mert minden hétre átnyúlik.
csúnya lehet
húsz ábra egy délután
nem a választ mutatod
mindent ez szolgál
nem neked
a rács is döntés
Két ábrafajta van, és más a mércéjük. A felfedező ábrát magadnak rajzolod: gyors, csúnya, és sok van belőle. A célja az, hogy megtaláld a kérdést. A közlő ábrát másnak rajzolod: egyetlen állítást visz, és minden eleme azt szolgálja. A leggyakoribb hiba az, hogy a felfedező ábra kerül be a vezetői anyagba — és ott már nem segít, hanem elrejt.
A `w05-overplot` demó mérése: 5 képpontos jelölő, csomós adat.
Egy mért példa arra, miért nem azonos a két ábrafajta mércéje. Negyvenezer megfigyelést raktunk egy pontfelhőre. Ebből négyezer-száznegyvenkettő látszik külön pontként — a többi takarásban van. A felfedező ábránál ez elfogadható: te tudod, mi van mögötte, és tovább kattintasz. Közlő ábrán viszont ugyanez azt jelenti, hogy a néződ a pontok kilenc százalékát látja, és arról hoz döntést.
A legsűrűbb jelölő alatt 156 megfigyelés ül. A megoldás nem a nagyobb ábra: átlátszóság, kisebb jelölő, hatszögrács vagy mintavétel. Melyik — az attól függ, mit akarsz megmutatni, és ez már közlő döntés.
A `w05-overplot` demó ellenőrzése: mért 14 843, a képlet szerint 14 877 — 0,23 % eltérés.
A jobb oldali közelítés nagy M-re érvényes, és ez a használható alak: ha N akkora, mint M, a pontok 63 százaléka látszik csak; ha N a tízszerese, akkor 10 százaléka. A saját rajzodhoz elég két szám: a rajzterület és a jelölő mérete adja M-et.
Ez a képlet az EGYENLETES esetre igaz, és a demó azért ellenőrzi rajta, hogy tudjuk: jól mérünk. A valódi adat csomós, és ott a fedés sokkal rosszabb — 40 000 pontból 4 142 látszott, nem 25 000. A képlet tehát az OPTIMISTA határ.
A cella betöltése…
Itt a cella. A csavar a kategóriaszám: állítsd háromra és negyvenre. Három szeletnél a torta még teljesen rendben van; negyvennél a párok döntő többsége eldönthetetlen. A kettő között van egy tartomány, ahol a válasz attól függ, mit kérdezel — és pontosan ez a demó mondanivalója.
A demó az „eldönthetetlen pár” fogalmát méri, nem becsüli: két szeletet akkor tekint szemre megkülönböztethetetlennek, ha a szögük öt foknál kevesebbel tér el, két oszlopot pedig akkor, ha három képpontnál kevesebbel.
Kaptál egy ábrát, amin tizenkét görbe fut egymáson, mindegyik más színnel, jelmagyarázat nélkül. Hova való?
Kaptál egy ábrát, amin tizenkét görbe fut egymáson, mindegyik más színnel, jelmagyarázat nélkül. Hova való?
Az ábra betöltése…
Vizuális kódolásaz adat és a grafikus tulajdonság megfeleltetése.
Exampleérték ↦ pozíció · érték ↦ hossz · érték ↦ szög · érték ↦ terület · érték ↦ színárnyalat
Amikor ábrát rajzolsz, egy döntést hozol: melyik adatot melyik grafikus tulajdonság hordozza. Az érték lehet pozíció, hossz, szög, terület, szín vagy alak. Ezt hívjuk vizuális kódolásnak, és ez a diagramtípus előtti döntés — a diagramtípus már csak következmény.
És most jön az, amitől ez nem ízlés kérdése. Megmérték, melyik kódolást olvassuk pontosabban. A sorrend: közös tengelyen mért pozíció a legpontosabb, utána a hossz, aztán a szög, a terület, végül a színárnyalat. A rangsor tetején tíz százalék alatti leolvasási hiba van, az alján többszörös tévedés. Ebből következik a diagramválasztás — nem fordítva.
A rangsor Cleveland és McGill kísérleteiből származik: embereknek kellett arányokat becsülniük különböző kódolásokban, és a hibát mérték. Azóta többször megismételték, a sorrend tartja magát.
A szög a rangsor közepe. A pozíció a teteje.
Innen már következik. A tortadiagram szöggel kódol, a szög a rangsor közepén áll. Ha két szelet közel egyforma, nem tudod megmondani, melyik a nagyobb — hiába van ott a szám. Ugyanaz az adat pontdiagramon, közös tengelyen, azonnal olvasható. A tortadiagram nem tilos; csak akkor jó, ha egyetlen dolgot kérdezel tőle: ez körülbelül fele az egésznek, vagy sem.
Az oldalsó rajz maga a torta, a `w05-encoding` demó öt hozamértékével — itt még csak azért, hogy lássuk, miről beszélünk. Ami a rajzon KÓDOL, az a szög: a negyedik szelet 61,8 fok, az ötödik 57,5, a különbség 4,3 fok. Ugyanez a különbség közös tengelyű oszlopon 20 képpont. A szeletbe írt szám ezt megkerüli — és pontosan ez a gyanús: ha a felirat nélkül nem megy a leolvasás, akkor nem az ábra dolgozik. A következő két dia ezt próbálja ki, nagyban.
Tanpélda: öt tábla hozama, tonna hektáronként. Ugyanaz az adat, mint a következő dián.
Itt van ugyanaz az öt érték tortadiagramon. Mielőtt továbblépnénk, próbáld meg: rangsorold a szeleteket. Melyik a második legnagyobb? És mennyivel nagyobb az ötödiknél? A számok oda vannak írva, tehát megoldható — csak nem az ábráról olvasod le, hanem a feliratokról. Ha a felirat nélkül nem megy, akkor az ábra nem dolgozik, csak díszít.
A szeletek sorrendje a felsorolásé, nem nagyság szerinti. Rendezéssel a torta olvashatóbb lenne — de a rangsor akkor is a szögből jönne, és a szög a vizuális rangsor közepén áll.
Tanpélda: öt tábla hozama, tonna hektáronként.
Itt öt tábla hozama áll egymás mellett, közös tengelyen. Nézd meg, milyen könnyű rangsorolni őket, és milyen könnyű megmondani, hogy a második nagyjából másfélszerese az ötödiknek. Ez a pozíció- és hosszkódolás ereje. Tortadiagramon ugyanez a két kérdés megválaszolhatatlan lenne.
Az ábra betöltése…
közös tengely, pozíció
a torta csak durva arányra
a pozíció és a meredekség együtt
két tengely, egy pont egy megfigyelés
A választás nem a diagramtípussal kezdődik, hanem a kérdéssel. Ha rangsorolni akarsz, pozíció kell. Ha összetételt mutatsz, és elég a nagyságrend, mehet a torta. Ha időbeli alakulást, vonal. Ha összefüggést két mennyiség között, pontfelhő. Írd le a kérdést egy mondatban, és a kódolás magától adódik.
A hasábban a négy válasz egymás alatt, a `w05-question` demó ábrájáról. Nem illusztráció: ugyanaz az adat van mind a négy rajzon, amit a következő dia nagyban és a rossz választásokkal együtt is kirak.
Az ábra betöltése…
Nézzük meg mind a négyet egyszerre, és közben egy fontos különbséget. Felül az, amit a kérdés kíván, alul a szokásos alternatíva. Az első oszlopnál a torta a rangsorhoz drága: öt táblánál a tíz párból egy nem dönthető el a szögből, húsz táblánál viszont a százkilencven párból százhuszonnyolc — kétharmaduk. Közös tengelyen nulla, illetve hat. A második oszlopban UGYANAZ a torta van, ugyanazzal a leolvasási árral — csak most nem rangsorolni kell, hanem az egészhez viszonyítani, és ahhoz a nagyságrend elég. Nem a diagram lett jobb: a kérdés lett más. A harmadik és a negyedik oszlop viszont másfajta hiba, és ezt kérem, jegyezd meg.
A jobb szélső két oszlop a bizonyíték: a két pontfelhő ellentétes irányba dől — a korreláció 0,92 és −0,91 —, a hozamok oszlopdiagramja viszont képpontra azonos, mert a két készlet ugyanazokat az értékeket tartalmazza, más párosításban. Két külön oszlopdiagramról tehát a két adatkészlet megkülönböztethetetlen.
A `w05-question` demó söprése: a párok hány százaléka nem dönthető el, kategóriaszám szerint.
Az előző ábra lényegét egyetlen görbe mondja el. A vízszintes tengelyen a kategóriák száma, a függőlegesen az, hogy a párok hány százaléka nem dönthető el szemre. A tortán öt kategóriánál tíz százalék, nyolcnál harminckilenc, tizenkettőnél hetven, húsznál hatvanhét. Közös tengelyen végig nulla és három között marad. Ez leolvashatósági hiba: az adat ott van, csak nehezen becsülhető, és nagyobb ábrával, feliratozással enyhíthető. A másik két hiba — a rendezett oszlop és a két külön oszlopdiagram — nem ilyen. Ott az adat nincs a rajzon. Az elsőt szebb rajzzal javítod, a másodikat semmivel.
A szögküszöb — öt fok nem érintkező körcikkekre — feltevés, nem mérés, és a demó ki is mondja. A számok tőle függenek; a két görbe TÁVOLSÁGA viszont nem tűnik el semmilyen ésszerű küszöbnél. A torta görbéje húsznál azért nem nő tovább, mert ott már a szeletek nagy része egyforma kicsi — a telítődés is a jelenség része.
Tanpélda: tizennégy tábla nitrogénkijuttatása és hozama ugyanabban a szezonban.
Itt tizennégy tábla áll: a vízszintes tengelyen a kijuttatott nitrogén, a függőlegesen a hozam. Egy pont egy tábla. Nem vonal köti össze őket, mert nincs sorrendjük — nem idősor, hanem összefüggés. És látszik a lényeg: eleinte a több nitrogén több hozamot ad, a felső harmadban viszont ellaposodik, a végén már fogy. Ezt egyetlen átlagszám sem mutatná meg.
A pontokat összekötni itt hiba lenne: a vonal sorrendet állít, a tábláknak pedig nincs sorrendjük. A csökkenő hozadék a 6. és a 8. héten tér vissza.
A cella betöltése…
Ez a dia nem az én ábrám, hanem a tiéd: ezt a cellát a saját gépeden ugyanígy le tudod futtatni, és ugyanezeket a számokat kapod. Negyvenezer megfigyelésből négyezer-száznegyvenkettő látszik külön. A többi kilencven százalék egy korábbi pont korongja alá kerül, a legsűrűbb helyen százötvenhat megfigyelés van egyetlen jelölő alatt. A pontfelhő tehát nagy N-nél nem ábrázolja az adatot, hanem eltakarja.
A számok nem a diába vannak beírva: a `scripts/build_cells.py` futtatja a demót, és onnan jönnek. Ha a demó megváltozik, a dia is változik — vagy kiderül, hogy nem fut le.
%pip install -q unigaku-demofrom demo.lite import futtatfuttat('w05-overplot')A Python a böngésződben indul el, telepítés nélkül. Az első indítás néhány másodperc, mert a futtatókörnyezet ekkor töltődik be. Utána átírhatod a paramétert, és újrafuttathatod.
Az előző dián a mérés kimenete állt. Ez ugyanaz a mérés, de nálad fut, a böngésződben — telepítés nélkül. Nyomd meg a gombot, várd meg a futtatókörnyezetet, és utána írd át az N-t tízezerre. Nézd meg, hol borul át: hány megfigyelésnél kezd a pontfelhő többet elrejteni, mint amennyit megmutat. Ez a kérdés az egész héten visszatér, és nem tudom megválaszolni helyetted.
A Python a böngésződben fut, WebAssemblyként. Ugyanaz a csomag, mint ami a saját gépeden települ — a `futtat` a demócsomag része, nem a dia sajátja.
Tanpélda: ugyanaz az öt tábla, mint a rangsoros ábrán — most vonallal összekötve.
És egy ellenpélda, hogy a kódolás választása élesebb legyen. Ez ugyanaz az öt tábla, ugyanazokkal a hozamokkal, mint a rangsoros ábrán — csak vonallal összekötve. A vonal két dolgot állít, amit te nem akartál mondani. Az egyik: hogy a tábláknak sorrendjük van. A másik: hogy kettő között van köztes állapot. Nézd meg a Dűlő és a Patak menti közötti szakaszt. Mi van ott? Semmi. Nincs olyan, hogy két és fél tábla.
A vonal a folytonosság jele: időre, hőmérsékletre, dózisra való. Kategóriákra nem. Ha a kategóriáknak mégis van sorrendjük — mondjuk növekvő kezelési szintek —, akkor a vonal megengedhető, de akkor a tengelyt is így kell felcímkézni.
Egy jelentésben azt kell megmutatnod, hogy nyolc tábla közül melyiken termett a legtöbb, és mennyivel. Melyik kódolás a helyes?
Egy jelentésben azt kell megmutatnod, hogy nyolc tábla közül melyiken termett a legtöbb, és mennyivel. Melyik kódolás a helyes?
Tanpélda: nyolc szezon hozama ugyanazon a táblán.
Az idősornál a vonaldiagram nem konvenció, hanem a helyes kódolás: a pozíció viszi az értéket, a meredekség pedig magát a változást — azt, ami a döntés szempontjából a leggyakrabban érdekel. Itt nyolc szezon hozama látszik. A szemed a meredekséget olvassa, és pontosan ezt kell.
Kevesebb festék, ugyanaz az állítás — de a felidézhetőség is szempont.
Van egy szabály, amit gyakran idéznek: az ábra festékének minél nagyobb része hordozzon adatot. Jó iránymutatás. De nem dogma: mérések szerint a visszaemlékezésben a díszítés néha segít. A különbség az, hogy a díszítés sosem változtathatja meg, mit olvasol le. Ha megváltoztatja, akkor nem díszítés, hanem torzítás.
A háromdimenziós oszlop tipikus eset: nemcsak felesleges, hanem a magasságot is nehezebben olvashatóvá teszi, mert a perspektíva belejátszik. Az oldalsó rajz a `w05-overplot` demóé: a festék kilencven százaléka nem hordoz információt. A kevesebb tinta itt tényleg több állítás — de a szabály másik iránya is igaz, a felidézhetőséghez néha kell a redundancia.
Az ábra betöltése…
Az adat–tinta arány elvont szabálynak hangzik, ezért itt van mérve. Negyvenezer megfigyelés egyetlen pontfelhőn. A rajzon rengeteg festék van — és ebből négyezer-száznegyvenkettő pont az, amelyik külön látszik. A többi, nyolcvankilenc egész hat százalék, egy korábbi korong alá került. A legsűrűbb helyen százötvenhat megfigyelés ül egyetlen jelölő alatt. Vagyis a festék kilencven százaléka nem hordoz információt: ott van, de nem mond semmit. Ez az az eset, amikor a kevesebb tinta valóban több állítás — a jobb oldali sűrűségábra ugyanennyi adatból a csomó nagyságát is megmutatja.
A szabály másik iránya is igaz, és ezért óvatos a tétel: a felidézhetőséghez néha kell a redundancia. A rácsvonal, a tengelyfelirat, a közvetlen címke mind „tinta”, és mind segít. Amit el kell hagyni, az a jelentés nélküli festék, nem a tájékozódást segítő.
Most lépjünk a műszerfalra. A műszerfal nem ábrák gyűjteménye, hanem kérdéssor. Minden eleméhez három dolog tartozik: a mutató, a viszonyítási alap, és a cselekvési küszöb. Ha a mutató nincs mihez mérve, akkor a szám nem hír. Ha nincs küszöb, akkor nincs döntés. És ha a küszöböt utólag mondod ki, az már nem döntési szabály, hanem magyarázkodás.
Egy üzemi műszerfalon ez áll: „Átlagos talajnedvesség: 23 százalék.” Mi hiányzik?
Egy üzemi műszerfalon ez áll: „Átlagos talajnedvesség: 23 százalék.” Mi hiányzik?
Ennyi az első rész. Ezeket a fogalmakat használtuk — a fogalomtárban mindegyik mellett ott a meghatározás.
Négy torzítás, számmal mérve
A következő blokkban egyetlen hazugság sem lesz. Minden szám igaz, minden ábra pontos — és mégis mást fognak állítani, mint ami az adatban van. Ez a rész arról szól, hogyan.
Nem nulláról induló tengely: a különbség felnagyítva.
Az első a legismertebb. Ha a tengely nem nulláról indul, a különbségek felnagyítódnak. Oszlopdiagramon ez hiba, mert ott a hossz maga az érték: aki fél oszlopot lát, az fele akkora értéket olvas. Vonaldiagramon viszont gyakran indokolt — ott a meredekség az üzenet, nem a magasság.
A szabály nem az, hogy tilos, hanem hogy ki kell mondani. Egy jelentésben egyetlen mondat elég: „a tengely 6,0-tól indul”. Az oldalsó rajz a `w05-axis` demóé: ugyanaz a két hozam, kétféle tengelyaljal. A negyvenegyszeres tényező nem sajtóhiba — két közeli érték között a csonkolás nagyságrendi túlzást állít elő.
Tanpélda: két szezon átlaghozama, a tengely 6,0-tól indul.
Két szezon átlaghozama, oszlopdiagramon, és a tengely alja hat egész. Nézd meg, mekkora a különbség. Az idei oszlop nagyjából két és félszer akkora, mint a tavalyi. Most olvasd le a számokat: hat egész tizenöt és hat egész ötvenkettő. A valódi eltérés hat százalék. Semmit nem hamisítottam — a tengely alját írtam át, és a többit a szemed csinálta.
Ez a dia szándékosan a rossz ábrát mutatja. Oszlopdiagramon a hossz maga az érték, tehát itt a csonkolás hiba — a `w05-axis` demó ugyanezt a két számot rakja egymás mellé a két tengellyel.
A `w05-axis` demó ezt a hányadost számolja ki; a 41,0-es szám innen jön.
A képlet csak akkor érvényes, ha a tengely alja a kisebbik érték ALATT van (t < b). Ha fölé kerül, a kisebbik oszlop magassága negatív lenne, és a rajz már nem torzít, hanem hazudik: az egyik oszlop egyszerűen eltűnik.
A `TENGELYALJ` a demó egyetlen csavarja. Írd át 6,3-ra: a nevező nem változik, a számláló viszont igen — próbáld ki, mennyi lesz a tényező.
A `w05-axis` demó esete: a tengely 6,0-tól indul, a kisebbik érték 6,15 — a levágott hányad 0,9756.
N=1 / (1 - 0,98)=40,98×
Húzd a csúszkát, és nézd, mi mozdul.
A két alak azonos: b = a(1+v) behelyettesítéssel a relatív változás v kiesik, és marad az 1/(1−q). A nagyítás tehát nem az értékektől függ, hanem attól, mennyit vágtunk le — és ez az, amiért a csonkolást egyetlen számmal jellemezni lehet.
Az eredeti, háromváltozós alakot szándékosan nem csúszkáztuk: ott a nevezőben b/a − 1 áll, ami a = b esetén nulla, és a dia a terem előtt osztana nullával. A képlet egyszerűsítése nem kényelem — az teszi a diát megbízhatóvá. A `check_csuszkak.py` ezt az esetet fogta meg.
Nézzük számmal. Két szezon átlaghozama: hat egész tizenöt és hat egész ötvenkettő. A valódi változás hat százalék. Ha a tengelyt hat egésznél vágjuk el, a két oszlop magasságának aránya három és fél lesz. A benyomás tehát negyvenegyszeresére nő ahhoz képest, amekkora a tényleges változás — és az ábra közben végig igazat mond.
A számok a w05-axis demóból valók; a hallgató a saját gépén újra előállíthatja, és más értékekkel is kipróbálhatja.
Az ábra betöltése…
A demó saját ábrája, mert a két rajz egymás mellett többet mond, mint a szám. Balra a nullától induló tengely: a két oszlop majdnem egyforma, ahogy a hat egész tizenöt és a hat egész ötvenkettő valóban majdnem egyforma. Jobbra ugyanaz hat egésztől indítva. A látott magasságok aránya három egész negyvenhét, a valódi változás hat százalék — negyvenegyszeres nagyítás.
A nagyítási tényező azért ekkora, mert a csonkolás a valódi különbséget a maradék tengelyhosszhoz méri. Minél közelebb húzod az alját az adathoz, annál nagyobb a szorzó — és nincs olyan határ, ami fölött megállna.
A cella betöltése…
A cella itt fut. A csavar a tengely alja: told feljebb hat egész háromra, és nézd meg, hogyan nő a nagyítási tényező. Nincs olyan határ, ami fölött megállna — és éppen ez a lényeg. A csonkolás mértéke nem ízlés kérdése, hanem szám, amit ki lehet írni.
A nagyítási tényező azért nő korlátlanul, mert a csonkolás a valódi különbséget a MARADÉK tengelyhosszhoz méri. Ahogy a tengelyalj az adathoz közelít, a nevező nullához tart.
a hossz maga az érték
az összeg is jelentés
a kitöltés arányos
a meredekség az üzenet
a tartomány szűk
a változás kicsi, de valódi
A döntés a kódoláson múlik. Ha a hossz viszi az értéket, a tengelynek nulláról kell indulnia. Ha a pozíció és a meredekség viszi, a nulla gyakran csak üres helyet foglal — egy hőmérsékleti soron a nulla fok nem viszonyítási pont.
Tanpélda: talajnedvesség tömegszázalékban, nullától induló tengellyel. A beavatkozási küszöb 28 %.
És most az ellenpélda, mert az előbbi szabályt könnyű túltolni. Ez talajnedvesség, tizennégy mérés, és a tengely nulláról indul — ahogy az oszlopdiagramnál megköveteltük. Nézd meg, mit látsz. Egy majdnem vízszintes vonalat. Pedig a huszonhat egész nyolcas mélypont az öntözési küszöb alatt van, a harminchárom egész négyes csúcs pedig jóval fölötte. A nullától induló tengely itt nem becsületesebb, hanem használhatatlan: a döntéshez szükséges különbséget nyomta a vonalvastagságba.
A különbség az oszlopdiagramhoz képest az, hogy ott a HOSSZ maga az érték, tehát a nulla a jelentés része. A vonalnál nem a hossz, hanem a meredekség és a helyzet az üzenet — és ahhoz az kell, hogy a döntési tartomány kitöltse az ábrát. A szabály tehát nem „mindig nulláról”, hanem: a nullát az dönti el, hogy mit kódol a rajz.
Egy jelentésben a talajnedvesség napi alakulását mutatod, huszonkettő és huszonnyolc százalék között. Elvághatod a tengelyt?
Egy jelentésben a talajnedvesség napi alakulását mutatod, huszonkettő és huszonnyolc százalék között. Elvághatod a tengelyt?
Két skála, két önkényes döntés — és egy látszólagos összefüggés.
A második torzítás alattomosabb. Két különböző mértékegységet teszünk egy ábrára, két skálával. A két görbe metszéspontjai és az együttmozgás látszata teljes egészében attól függ, hogyan skáláztuk a két tengelyt — és ezt szabadon választottuk. Ugyanaz a két adatsor tetszőleges mértékben mutatható együttmozgónak.
A klímadiagram a ritka kivétel, amit a szakma elfogad: a csapadék és a hőmérséklet skálázása konvenció szerint rögzített, tehát nem a szerző választja meg. Ahol nincs ilyen konvenció, ott két ábra jobb, mint egy kettős tengely. Az oldalsó rajz a `ts-spurious` demóé, négyezer ismétlésből. A kettős tengely azért veszélyes, mert két trendes sor akkor is együtt mozog, ha semmi közük egymáshoz — a látszólagos összefüggés a trendből jön, nem a kapcsolatból.
Tanpélda: nyolc év hozama és vegetációs csapadéka, mindkettő a saját tartományára feszítve — ez a kettős tengely.
Nézzük meg, hogyan néz ki ez a gyakorlatban. Nyolc év hozama és csapadéka, kettős tengelyen — vagyis mindkét sorozat a saját szélső értékei közé feszítve. Ezt látod: két görbe, amely hol együtt jár, hol keresztezi egymást, és a szem azonnal összefüggést olvas ki belőle. A négy metszéspont különösen meggyőző. Csakhogy egyik sem jelent semmit: ha az egyik skálát tíz százalékkal arrébb tolom, mind a négy elmozdul. Egy metszéspont, amely a skála beállításától függ, nem adat.
A hozam 5,4 és 7,1 t/ha között, a csapadék 390 és 610 mm között mozog. A kettős tengely mindkettőt ugyanarra a magasságra nyújtja — és ezzel azt sugallja, hogy összemérhetők. Nem azok: két mennyiség, két mértékegység, és a közös rajzlap az egyetlen, ami összeköti őket.
Az ábra betöltése…
Három kettős tengelyes ábra, ugyanabból a nyolc évből, és egyetlen szám sem változott köztük — csak a jobb oldali tengely alja és teteje. A bal oldalin a csapadék szinte vízszintesnek látszik: mintha alig ingadozna. A középsőn már együtt hullámzik a hozammal. A jobb oldalin vadul kileng, és hétszer metszi a hozamgörbét. Mindhárom becsületes abban az értelemben, hogy minden pont a helyén van, és mindhárom mást állít. A negyedik panel az indexált változat: egy tengely, egy döntés — és azt az egy döntést ki lehet mondani.
A demó a jobb tengely alját és tetejét ezerhatszáz beállításban söpri végig, és csak olyat vizsgál, amelyen mindkét görbe teljesen a rajzon van — egy kilógó görbével bármit elő lehetne állítani, de azt egy rajzoló sem adná ki a kezéből.
A cella betöltése…
Itt a cella. A csavar a söprés finomsága: durvítsd tízre a negyven helyett, és nézd meg, hogy ugyanazt a szélső esetet találja-e meg. Ha igen, a tanulság nem a söprés részletességén múlik. Ha nem, akkor tudod, hogy a demó a rács felbontásától függ — és ez is mérési eredmény.
A demó csak olyan beállítást vizsgál, amelyen MINDKÉT görbe teljesen a rajzon van. Enélkül a keresés triviálisan nyerne: egy kilógó görbével bármilyen állítást elő lehetne állítani, de azt egy rajzoló sem adná ki a kezéből.
Az ábra betöltése…
a szem összeveti
nincs hamis metszés
százalékban
az arányok összevethetők
ha az összefüggés a kérdés
a metszés eltűnik
Három jó megoldás van a kettős tengely helyett, és mindhárom olvashatóbb nála.
A hasábban mind a három, ugyanazon a nyolc éven, a `w05-dualaxis` demó ábrájáról. A pontfelhő a legőszintébb: ott a korreláció — mínusz nulla egész hatszáznegyvennyolc — abból látszik, ahogy a pontok állnak, és nincs mit elskálázni rajta.
Ugyanaz a két sorozat, mindkettő az első évhez mérve (1. év = 100 %).
És ugyanaz a két sorozat becsületesen. Mindkettőt az első évhez viszonyítjuk, százalékban — ez egyetlen, kimondott átalakítás, és mindkettőre ugyanaz. Most nézd meg, mi maradt az összefüggésből. A hozam egyenletesen nő, harmincegy százalékkal nyolc év alatt. A csapadék ingadozik, trend nélkül. A két görbe metszései eltűntek, és ami látszik, az az igazi történet: a hozam nő valamitől, ami nem a csapadék.
Az indexelés sem semleges: a bázisév megválasztása döntés, és egy szélsőséges évre indexelve mindkét görbe mást mutat. A különbség a kettős tengelyhez képest az, hogy ezt az egy döntést ki lehet mondani és ellenőrizni — a kettős tengelynél kettő volt, és egyik sem látszott.
Ha az érték a sugárra kerül, a látott különbség a négyzete.
A harmadik torzítás egy fél sor kód. A buborékdiagramnál az értéket a terület hordozza — de a rajzoló könyvtárak a sugarat várják. Aki az értéket a sugárra teszi, az a különbséget négyzetre emeli.
Az oldalsó rajz a `w05-encoding` demóé. A sugárra skálázás felezi a látott különbséget, mert a terület a sugár NÉGYZETÉVEL nő — a szem a területet olvassa, a rajzoló a sugarat állította be.
A `w05-encoding` demó mért számai: két tábla, 4,91 és 4,57 t/ha.
És itt a szám, ami ezt élessé teszi. Két tábla hozama négy egész kilencvenegy és négy egész ötvenhét — hét egész négy százalék a különbség. Ha az értéket a TERÜLETRE teszed, a nagyobbik korong területe pontosan hét egész négy százalékkal nagyobb: helyes. Ha viszont a SUGÁRRA teszed, akkor a sugár lesz hét egész négy százalékkal nagyobb — a szem viszont a területet olvassa, és az a négyzettel nő, tehát tizenöt egész négy százalékot lát. A különbség megduplázódik, miközben te egyetlen számot sem hamisítottál. A mérést a demó végezte, nem én becsültem.
A szabály egy mondat: buborékdiagramon az ÉRTÉK a területre kerül, nem a sugárra. A legtöbb rajzolókönyvtár alapból helyesen csinálja; a kézzel írt kódban viszont a sugár a kézenfekvő, és ez a leggyakoribb néma hiba a témában.
A szem a területet olvassa. Ha az érték a sugáron van, a látott különbség a valódi NÉGYZETE.
A mért számokkal: a valódi területarány 1,074, és helyes kódolásnál a sugarak aránya ennek a gyöke, 1,037. Ha viszont az értéket a sugárra tesszük, a látott területarány 1,074² = 1,154 — a 7,4 %-os különbség 15,4 %-osnak látszik.
Az oldalsó rajz tengelye 1,0-nál kezdődik, és ez NEM az a csonkolás, amiről az előző diák szóltak: aránynál az 1,0 maga a „nincs különbség”, tehát ott a viszonyítási pont. A hiba iránya mindig ugyanaz: a sugárra tett érték FELNAGYÍTJA a különbséget. Ezért van az, hogy a buborékdiagramokon a nagy értékek rendre hangsúlyosabbnak látszanak, mint amennyivel valóban nagyobbak — a legtöbb rajzoló könyvtár alapértelmezésben a sugarat skálázza.
A cella betöltése…
A cella itt fut. A csavar a torta sugara: duplázd meg, és nézd meg, mi történik a szögben mért különbséggel. A várakozás az, hogy semmi — a szög nem függ a sugártól. A pozícióban és a hosszban mért képpontszám viszont igen. Ebből látszik, miért nem lehet „nagyobb ábrával” megoldani a tortadiagram problémáját.
A demó ábrái közül az első a kódolási sáv, a második a két korong, a harmadiktól pedig a diasoronkénti típusgalériák jönnek — azok az ábrák, amelyek minden diasor végén a típustáblázat mellett állnak.
Az ábra betöltése…
És itt jön a másik baj, ami a korongokkal van. Két tábla hozama négy egész kilencvenegy és négy egész ötvenhét, a különbség hét egész négy százalék. Ha helyesen kódolsz, vagyis az érték a TERÜLETEN van, akkor a korongok területaránya egy egész nullhetvennégy — pontosan annyi, amennyi a valódi különbség. Csakhogy az átmérőjük aránya ekkor már csak egy egész nullharminchét: három és fél százalék, amit szabad szemmel senki nem lát meg. Ha pedig az értéket a SUGÁRRA teszed, a szem akkor is a területet olvassa, és az a négyzettel nő: a látott arány egy egész tizenöt lesz. Ugyanaz a hét egész négy százalék egyszer eltűnik, másszor megduplázódik. Közös tengelyen mindkettő húsz képpont, és ott nincs mit félreolvasni.
A számok a `w05-encoding` demóból valók, a hasábban a demó rajza: fölül a helyes kódolás, alul a csapda. A korongok az egyetlen hely, ahol a hibát nem lehet ránézésre észrevenni — éppen azért, mert a hiba a leolvasás módjában van, nem a rajzban.
A szivárványskála határvonalat rajzol oda, ahol az adatban nincs.
A negyedik a leglátványosabb. A szivárványskála sorrendi adatot ábrázol, de nem egyenletesen: a cián és a sárga környékén ugrik, másutt beáll. Ettől az ábra határvonalat rajzol oda, ahol az adatban nincs — és elrejt olyan különbséget, ami van.
Az oldalsó rajz a `w05-colour` demóé: ahányszor a skála sötétedni kezd, miután világosodott. A szivárványskálán ötször — minden fordulat egy-egy hamis határvonal az ábrán.
Az ábra betöltése…
Eddig számokban beszéltünk a színskálákról. Itt van maga a kép. Felül a szivárványskála, alatta ugyanaz zöldtévesztéssel; alul az egyenletes, szintén kétszer. Nézd meg a szivárványon a cián és a sárga környékét: ott a szem határvonalat lát, pedig az adatban nincs semmi. Aztán nézd meg a jobb oldali oszlopot — a szivárvány színtévesztéssel nagyrészt összeomlik, az egyenletes viszont végig olvasható marad, mert a világossága folyamatosan nő.
Ezt az ábrát a keretrendszer saját rajza nem tudja megcsinálni, mert az vonalat és oszlopot rajzol, nem színsávot. A demó matplotlibbel rajzolja, és a dia ugyanazt a képet mutatja, amit a jegyzetfüzetben is látsz.
Két számmal mérhető. Az első: a színváltozás sebességének ingadozása a skála mentén — a szivárványnál kétszer akkora, mint az egyenletes skálánál. A második, és ez a perdöntő: hányszor fordul meg a skála világossága. A szivárványnál ötször, az egyenletesnél egyszer sem. Ezért olvashatatlan a szivárványskála fekete-fehérben, és ezért esik szét színtévesztő látással.
A számok a w05-colour demóból valók, amely a színkülönbséget CIE Lab térben méri, nem RGB-ben — RGB-ben a távolság nem felel meg az érzékelt különbségnek.
A CIELAB világosság a skála mentén. Tanpélda: tizenhárom egyenletes minta mindkét skálából.
Ez a két görbe a két színskála világossága, tizenhárom lépcsőn. A viridisé végig nő: minden nagyobb érték világosabb, tehát a skála fekete-fehérben is olvasható, és a szem sorrendet lát. A jeté felmegy, megáll, majd visszaesik — a kilencvenhármas csúcs után a huszonötig. Ez azt jelenti, hogy két nagyon különböző hozamérték azonos világosságú lehet. A hamis határvonal nem a színből jön, hanem ebből a fordulatból.
A számok a `w05-colour` demóból valók, nem becslésből: a demó ugyanezt a tizenhárom mintát váltja sRGB-ből CIELAB-ba. A jet görbéje két irányváltást tartalmaz, a viridisé egyet sem.
A cella betöltése…
Az előző dia a világosságot mutatta. Ez a cella a teljes mérést: a lépésenkénti színkülönbség szórása, a világosság irányváltásainak száma, és ugyanez színtévesztő látással is. Futtasd le magadnak — a jetről nem véleményem van, hanem mérésem.
Ez az a dia, ahol a hallgató először látja, hogy a kurzus állításai mögött futtatható kód van. A 6. héttől ez lesz az alapeset.
Az ábra betöltése…
nincs sorrend
legfeljebb hét-nyolc
van sorrend
sötéttől világosig
van kitüntetett közép
a nulla legyen a közepe
A választás az adat fajtájától függ, nem az ízléstől. Kategorikus adatnál elkülönülő árnyalatok kellenek, sorrendinél egyenletes világosságmenet, divergálónál pedig egy kitüntetett középérték két irányban.
A hasábban mind a három család, a `w05-colour` demó rajzáról. A különbség a sorrendi és a divergáló között egyetlen mérhető dologban áll: hol van a világosság szélsőértéke. A divergálón a közepén — a legvilágosabb pont a 127. a 255-ből, és ott a világosság 97,1, ami egyben a maximum is —, tehát a nulla kitüntetett lehet. A sorrendin a végén: a közepén 54,4, a maximum 90,9. Ezért nem lehet divergáló adatot sorrendi skálára tenni.
A `w05-colour` demó mérése: a leggyorsabb szakasz a medián színváltozási sebességhez képest. 1,0 a tökéletes.
Ez nem ízlés kérdése, hanem mérhető. A szám azt mondja meg, hogy a skála leggyorsabb szakasza hányszorosa a középértéknek: ha egy, akkor a skála végig ugyanolyan sebességgel változik, és minden egyforma adatkülönbség egyforma színkülönbségnek látszik. A szivárványskálán ez két egész négyszeres — vagyis a skála egyes helyein az adatban nem létező határvonal rajzolódik ki. Az egyenletes skálán egy egész három.
A második sorozat meglepő, és nem szabad félreolvasni: a szivárványskála hányadosa színtévesztéssel JAVUL. Nem azért, mert jobb lett, hanem mert a színtévesztés éppen azokat a színkülönbségeket mossa össze, amelyek az egyenetlenséget okozták. Ami eltűnik, az információ, nem hiba.
Ha a világosság is viszi a különbséget, az ábra színtévesztéssel és fekete-fehérben is olvasható.
Egy dolgot érdemes külön kimondani. A férfiak nagyjából nyolc százaléka színtévesztő. Ha az ábrád a piros és a zöld megkülönböztetésére épül, akkor minden tizenkettedik olvasód számára információt veszít — nem szépséget. A megoldás egyszerű: a világosság vigye a fő különbséget, a szín csak erősítse.
Az oldalsó rajz a `w05-colour` demóé. A szivárványskála hányadosa színtévesztéssel JAVUL — nem azért, mert jobb lett, hanem mert a színtévesztés éppen azokat a különbségeket mossa össze, amelyek az egyenetlenséget okozták. Ami eltűnik, az információ.
A `w05-colour` demó mérése: ahányszor a skála világossága irányt vált.
És itt az a mérőszám, amelyik a színtévesztést és a fekete-fehér nyomtatást is túléli. Azt számolja meg, hányszor fordul irányt a skála világossága: hányszor kezd sötétedni, miután világosodott. A szivárványskálán ötször. Ez azt jelenti, hogy szürkeárnyalatosan öt helyen ugyanaz a szürke két különböző adatértéket jelöl — és ez nem javítható színválasztással, mert nem a színről szól. Az egyenletes skálán nulla.
Innen jön a gyakorlati próba, amihez nem kell eszköz: nyomtasd ki szürkeárnyalatosan. Ha az ábra olvashatatlan lesz, akkor a színed hordozta az egész információt — és a nézőid egy része eleve nem látta.
Egy táblatérképen a hozam eltérését ábrázolod az üzemi átlagtól. Melyik színskála való hozzá?
Egy táblatérképen a hozam eltérését ábrázolod az üzemi átlagtól. Melyik színskála való hozzá?
Ez a négy torzítás. Mind a négy ugyanúgy működik: az adat igaz marad, csak a leolvasás romlik el.
Szórás, szélsőérték, és a tábla rossz sarka
Eddig arról volt szó, mitől romlik el egy ábra. Most arról lesz, mi marad ki a hibátlan ábrából is. A középérték a legkényelmesebb szám, és a legkevesebbet mondja arról, hogy mit kell csinálni.
6,2 t/ha önmagában nem elég. A kérdés az, mekkora tartományban.
Ha egy jelentésben az áll, hogy a várható hozam 6,2 tonna hektáronként, az nem állítás, hanem félállítás. Hiányzik belőle, hogy mennyire biztos. A 6,2 plusz-mínusz 0,2 és a 6,2 plusz-mínusz 1,8 két különböző világ: az elsőben lehet szerződni, a másodikban tartalékot kell képezni. Ugyanaz a szám, ellentétes döntés.
A méréstechnikában ez alapszabály: érték mértékegység és bizonytalanság nélkül nem eredmény. Az adatelemzésben ugyanez érvényes, csak ritkábban tartják be. Az oldalsó rajz a `stat-coverage` demóé. A pontbecslés azért hiányos állítás, mert a köré rajzolt intervallum sem az, aminek mondja magát: ferde adaton, kis mintán a 95 % valójában 82,7.
Tanpélda: NDVI-medián és a tizedes kvantilisek egy üzem tábláin, tizenkét hétre.
Itt egy vegetációs időszak NDVI-görbéje látszik, tizenkét hétre, egy üzem összes tábláján. A vastag vonal a medián, a kitöltött sáv az alsó és a felső tized közötti tartomány. Nézd meg, hol tág a sáv és hol szűk: a kelés körül és a lezáráskor szétnyílik, a csúcson összezár. A medián önmagában ezt a szerkezetet teljesen elrejtené.
A sáv szélessége maga az információ. A kelés körüli szétnyílás a vetés egyenetlenségét mutatja, a záráskori a betakarítás ütemezésének a kockázatát.
Az ábra betöltése…
Van egy módszer, amivel akkor is kaphatsz sávot, ha az eloszlásra nincs szép képlet: újramintavételezés. Ezerszer visszateszedd a saját mintádat, mindegyikből kiszámolod a mutatót, és megnézed, hol szóródik. A demó ábrája ezt mutatja. Ez nem trükk — azt méri, mennyire ingadozna az eredményed, ha újra elvégeznéd a mintavételt.
A módszer ára az, hogy csak azt a bizonytalanságot látja, ami a mintavételben van. Ha a mérés rendszeresen torzít, azt az újramintavételezés nem fogja megmutatni — ugyanúgy torzít mind az ezer újramintában.
de a széle nem szélsőérték, és ezt ki kell írni
alsó és felső tized, nem elvont szórás
húszból három esik kívülre, ezt a döntéshozó is olvassa
A bizonytalanságot háromféleképpen szokás megmutatni, és nem mindegy, kinek. A hibasáv tömör, de a legtöbben félreolvassák: azt hiszik, a sáv széle a lehetséges szélsőérték, pedig jellemzően egy szórás. A kvantilis-sáv ennél őszintébb, mert megnevezhető: alsó tized, felső tized. A kvantilis pontdiagram pedig darabszámmá alakítja — húsz pontból három a sávon kívül —, és ezt az emberek nagyságrenddel jobban értik.
A `stat-coverage` demó mérése, 20 000 ismétlés mintanagyságonként. A névleges szint 95 %.
Egy sáv annyit ér, amennyit tényleg fed. Ez a mérés húszezer ismétléssel nézte meg, hogy a kilencvenöt százalékosnak szánt intervallum hányszor tartalmazza a valódi átlagot. Normális adaton tartja: végig kilencvenöt körül. Ferde adaton — és az agrárhozam ferde — nyolc elemű mintán nyolcvanhárom egész négy. Minden hatodik jelentés téved, pedig a sáv kilencvenöt százalékot ígért. Nyolcvan elemű mintán kilencvenegy egész egy: közelít, de még nyolcvannál sem éri el.
A hiba nem szimmetrikus: a mérés szerint a kimaradás 17,2 %-a alulról jön, 0,1 %-a felülről. A ferde eloszlás miatt az intervallum rendszeresen a valódi átlag ALATT marad — tehát nem véletlenszerűen téved, hanem egy irányba.
Az ábra betöltése…
Az előző dia azt állította, hogy a kilencvenöt százalék ígéret, nem garancia. Itt a mérés. Normális adaton, nyolcas mintán a lefedés kilencvenöt egész nulla százalék — az eljárás azt adja, amit ígér, tehát a mérőeszközünk rendben van. Ugyanez az eljárás erősen ferde adaton, ugyanakkora mintán nyolcvankettő egész hét. És ami ennél fontosabb: a kimaradás nem oszlik el egyenletesen. Tizenhét egész két százalék esetben az intervallum a valódi átlag ALATT maradt, és mindössze nulla egész egy százalékban fölötte. Az intervallum tehát nem csak szűk, hanem rossz helyen van. Nyolcvanas mintán ez kilencvenegy egész egyre javul.
Agráradaton a ferdeség nem kivétel: a hozam, a csapadék és a kártétel mind ferde eloszlású. A védekezés nem a szint emelése — a 99 %-os intervallum ugyanígy alulfed —, hanem nagyobb minta vagy olyan eljárás, amely a ferdeséget is figyelembe veszi.
Egy üzemi jelentésbe kell a következő szezon hozambecslése. A vezető nem statisztikus, és gyorsan dönt. Melyik ábrázolás a legkevésbé félrevezető?
Egy üzemi jelentésbe kell a következő szezon hozambecslése. A vezető nem statisztikus, és gyorsan dönt. Melyik ábrázolás a legkevésbé félrevezető?
Tanpélda: öt tábla átlaghozama és alsó tizede, ugyanabban a mértékegységben.
Öt tábla átlaghozama, és mellette ugyanazon a tengelyen az alsó tized — vagyis az, ami a tábla leggyengébb részein terem. A második táblát nézd. Az átlaga a mezőny közepén van, a rossz sarka viszont másfél tonnával rosszabb bárki másénál. Ha csak az átlagot látod, ez a tábla rendben van. Pedig itt kell beavatkozni, és nem a negyediken, aminek az átlaga a legkisebb, de egyenletes.
A két sorozat szándékosan azonos mértékegységű. Ha a szórást raknánk a második sorozatba, az másfél nagyságrenddel kisebb szám lenne, és visszajutnánk a kettős tengelyhez — abba a hibába, amit az előző blokk tárgyalt.
Az ábra betöltése…
Ez a demó egy olyan esetet mutat, ahol az összevont átlag és a csoportonkénti átlag ELLENTÉTES irányba mutat. Nem hiba, nem zaj: mindkettő helyesen van kiszámolva. A magyarázat az, hogy a csoportok mérete eltér, és ez a súlyozás fordítja meg az eredményt. Ezért nem lehet összevont átlagból csoportokra következtetni.
Agrárban ez tipikusan a táblaméretnél jelenik meg: ha a nagy táblák más kezelést kapnak, mint a kicsik, akkor az üzemi átlag a kezelés hatásáról mást mond, mint a táblánkénti összevetés. Mindkettő igaz — más kérdésre.
Helyfüggő döntéshez helyfüggő szám kell. Az átlag nem az.
Ez a precíziós gazdálkodás alapgondolata. Az átlag a tábla egészére vonatkozik, a szakaszos kijuttatás viszont a részeire. Ha a döntés helyfüggő, akkor a hozzá tartozó szám sem lehet egyetlen átlag: a változékonyságot kell megmutatni, mert az beavatkozási térkép, nem díszítés.
Az oldalsó rajz a `stoch-mc` demóé. A bemenetek átlagát behelyettesíteni tizenegyezer forinttal téved hektáronként — de nem ez a lényeg. A behelyettesítésből az sem derül ki, hogy az évek 37 százaléka veszteséges: a beavatkozás ott dől el, az eloszlás szélén.
Az ábra betöltése…
Egy mérés arra, hogy a döntés tényleg a szélén dől el. Ugyanaz a hektáronkénti eredmény kétféleképpen kiszámolva. Aki a bemenetek átlagát helyettesíti be a képletbe — és a gyakorlatban szinte mindenki ezt teszi —, negyvenegyezer-kétszáz forintot kap. A teljes eloszlásból számolva a várható érték harmincezer-hatszázhuszonnégy: tizenegyezer forinttal kevesebb, pusztán attól, hogy a kifizetés nem lineáris. De nem is ez a lényeg. Nézd meg az ötödik százalékost: mínusz kilencvenötezer forint hektáronként. És azt, hogy az évek harminchét százaléka veszteséges. Ez a két szám hoz döntést, és a behelyettesítésből egyik sem derül ki.
Ez a Jensen-egyenlőtlenség gyakorlati alakja: nemlineáris kifizetésnél az átlag képe nem a kép átlaga. Agrárban a kifizetés majdnem mindig nemlineáris — küszöbök, támogatási sávok, minőségi felárak és levonások miatt.
Tanpélda: négy tábla NDVI-je, tíz hétre. Melyik lóg ki?
Négy tábla NDVI-görbéje, egymásra rajzolva. Keresd meg, melyik tér el a többitől. Megvan? A harmadik: laposabb és később tetőzik. Nekem is három másodperc kellett hozzá, pedig én raktam oda. Négy görbénél ez még megy. Nyolcnál nem, tizenhatnál pedig már a legenda olvasása lesz a feladat, nem az ábráé.
sok kategória, egy pillantás
csak akkor, ha maga a változás a kérdés
Ugyanez az adat kis sokszorosokban: négy apró ábra egymás mellett, közös tengellyel. A kilógó tábla azonnal látszik, mert a szem alakot hasonlít, nem vonalat követ. Az animáció ugyanezt időben teszi — az viszont csak akkor működik, ha az összehasonlítás iránya is az idő. Ha nem az, az animáció memóriafeladattá alakítja azt, amit a kis sokszoros egy pillantássá.
A közös tengely nem részletkérdés: ha a kis ábrák külön skálázódnak, az alakhasonlítás megszűnik, és az egész elrendezés értelmét veszti.
Tanpélda: nyolc tábla havi NDVI-je egyetlen ábrán, egy vegetációs időszakra.
Itt van, miért nem megoldás mindent egymásra rajzolni. Ez nyolc tábla fenológiai görbéje, egyetlen ábrán, tisztességes színekkel. Keresd meg rajta a Homokit. Most keresd meg, melyik táblán kezdődött legkorábban a záródás. Nem megy — pedig az adat itt van, és a rajz nem rossz. Négy sorozatnál még megy, nyolcnál már nem: a görbék keresztezik egymást, és a szem nem tudja követni, melyik melyik.
A kis sokszorosok ezt oldják meg: nyolc apró ábra, közös tengellyel, egymás mellett. Mindegyikben egyetlen görbe van, tehát követhető, és a közös tengely miatt összevethetők. Amit elveszítesz, az a pontos összemérés — amit nyersz, az az, hogy egyáltalán látod, melyik melyik. Az animáció ugyanezt NEM oldja meg: ott a szemnek emlékeznie kellene az előző képkockára.
Tizenkét tábla talajnedvesség-görbéjét kell egy oldalon megmutatni, és az a kérdés, melyik viselkedik másképp. Mit rajzolsz?
Tizenkét tábla talajnedvesség-görbéjét kell egy oldalon megmutatni, és az a kérdés, melyik viselkedik másképp. Mit rajzolsz?
a becslés köré rajzolt sáv, amelyet nem a szórásból, hanem a megfigyelt eloszlás százalékos pontjaiból veszünk; ferde adaton ez a becsületes
a táblán belüli szóródás; nem hiba, hanem a gazdálkodás tárgya
a dózis foltonként eltérő, a táblán belüli változékonyság szerint; ehhez kell tudni, hol és mennyire bizonytalan a becslés
Két fogalom, egy közös gondolattal: az ábra akkor jó, ha a szem azt a munkát végzi, amiben jó — alakot hasonlít és pozíciót olvas —, és nem azt, amiben rossz.
Mutató, viszonyítási alap, cselekvési küszöb
Az utolsó blokk. Eddig arról volt szó, hogyan olvasható egy ábra. Most arról, mikor ér valamit. A válasz rövid: akkor, ha megváltoztat egy döntést. Ami ezen kívül van, az jelentés — és a jelentés nem ugyanaz.
Nem az a kérdés, mit tudunk mérni. Az, hogy milyen döntést hozunk — és mi kell hozzá.
A rossz műszerfal úgy készül, hogy összeszedjük, mit tudunk mérni, és mindegyikből rakunk egy dobozt. A jó műszerfal fordítva: összeszedjük, milyen döntéseket hozunk hetente, és mindegyikhez rendelünk egy ábrát. A különbség a végén látszik: az elsőt megnézik és bezárják, a másodikat használják.
Gyakorlati próba: mutass rá egy dobozra, és kérdezd meg, mi történik, ha a szám megduplázódik. Ha nincs válasz, a doboz fölösleges. Az oldalsó rajz a `stoch-markov` demóé. Ez a három szám nem „érdekesség”: ebből következik, hány gép kell a betakarítási ablakhoz. Ha egy ábrához nem tartozik ilyen mondat, akkor nem hiányzik a műszerfalról.
Az ábra betöltése…
Példa arra, milyen a döntésből visszafelé épített műszerfal. A kérdés nem az, hogy „mennyi a talajnedvesség” — hanem az, hogy hány gép kell a betakarítási ablakhoz. Ehhez három szám kell, és mind a három ezen az ábrán van. Az idény ötvennégy százalékában járható a tábla. Egy ázott időszak átlagosan két egész két napig tart. És egy ázott állapotba való visszatérés öt egész hét naponként jön. Ebből a háromból már tervezhető a géppark. Egyik szám sem a szimulációból jön, hanem az átmeneti mátrixból — a szimuláció csak megerősíti, legfeljebb nulla egész huszonhat százalékpontos eltéréssel.
Ez a dia szándékosan nem „szép”. Egy műszerfal akkor jó, ha a rajta lévő számokból egyenesen következik egy cselekvés. Ha valamelyik ábrához nem tartozik döntés, akkor az az ábra nem hiányzik onnan — csak helyet foglal.
és a mértékegysége
tavalyi, terv, üzemi átlag
és aki felel érte
Minden használható ábrán ott van mindhárom. A mutató az, amit mérünk. A viszonyítási alap az, amihez képest olvassuk — tavalyi év, üzemi átlag, terv, szomszéd tábla. A cselekvési küszöb pedig az a vonal, aminek az átlépése tennivalót jelent. A harmadik szokott hiányozni, és éppen az a döntés.
Tanpélda: talajnedvesség tizennégy napra, a tavalyi azonos időszakkal és az öntözési küszöbbel.
Egy tábla talajnedvessége tizennégy napra. A középső vonal a mérés. A szaggatott a tavalyi év ugyanezen időszaka — ez a viszonyítási alap. Az alsó vízszintes a huszonkét százalék, az öntözési küszöb. Nézd meg a kilencedik napot: ott metszi a mérés a küszöböt, és a tavalyi görbe ekkor még két nappal fölötte jár. A döntés tehát nem az, hogy öntözni kell, hanem az, hogy a szokásosnál két nappal korábban.
Ugyanez az ábra a küszöbvonal nélkül szép, és semmit nem kér. A vonal teszi döntéssé.
A küszöböt a gyakoriság és a két hiba ára szabja meg, nem a szokás.
Honnan jön a huszonkét százalék? A legtöbb műszerfalon onnan, hogy valaki egyszer beírta. Pedig levezethető. Két dolog kell hozzá: milyen gyakori az a helyzet, amire figyelünk, és mennyivel drágább elszalasztani, mint fölöslegesen riasztani. Ebből a küszöb már következik, és a következő két ábra ezt mutatja meg.
Az oldalsó rajz a `w08-threshold` demóé — a 8. hét mérése, ide előrehozva, mert a műszerfal küszöbei ugyanígy viselkednek. A két hibafajta ára dönti el a küszöböt, nem a szokás.
Tanpélda: gócjelző költsége ezer tőre, a jelzési küszöb függvényében. A gyakoriság 8 százalék, az elmaradt jelzés negyvenszer drágább.
Egy betegséggóc-jelző költsége, ezer tőre vetítve, a küszöb függvényében. A lefelé haladó görbe a téves riasztások ára: minél magasabbra tesszük a küszöböt, annál kevesebbszer megyünk ki fölöslegesen. A felfelé haladó az elmaradt jelzéseké, és ez a meredekebb, mert egy észrevétlen góc drágább. Az összegük U alakú, és a minimuma nem a felezőpontnál van, hanem nulla egész negyvenkettőnél.
A minimum ott van, ahol a két tag határköltsége egyenlő — nem ott, ahol a két görbe metszi egymást. A metszés véletlen, a határköltség-egyenlőség a feltétel.
Itt vannak a számok. A zárt alakból adódó optimum nulla egész négyszáztizennyolc, és a rácson végigszámolt minimum ugyanott van, négy tizedesjegyig. Ha a megszokott fél-fél küszöbnél maradunk, ezer tövön száztizenhat egységgel többet fizetünk: tizennyolc százalékkal. Ez nem modellhiba, hanem beállítási hiba — és nem látszik semmilyen pontossági mutatón.
A következő szezonban ugyanezt a modellt egy olyan üzemben használjuk, ahol a betegség sokkal gyakoribb. A költségarány nem változik. Merre mozdul az optimális küszöb?
A következő szezonban ugyanezt a modellt egy olyan üzemben használjuk, ahol a betegség sokkal gyakoribb. A költségarány nem változik. Merre mozdul az optimális küszöb?
Az optimális küszöb a költségarány függvényében, két fertőzöttségi szintnél.
Ugyanaz a modell, ugyanazok a pontszámok, és mégis nyolc különböző helyes küszöb. A vízszintes tengelyen az áll, hányszor drágább egy elmaradt jelzés egy téves riasztásnál. A két görbe két üzem: az egyikben öt, a másikban húsz százalék a fertőzöttség. Ha valaki a fél-félnél marad, akkor a felső görbén tízszeres, az alsón ötszörös költségaránynál éppen eltalálja — máshol nem.
A görbék alakja a logaritmus: a költségarány megkétszerezése mindig ugyanakkorát mozdít a küszöbön. Ezért van az, hogy az arány durva becslése is sokat ér — nagyságrendet kell eltalálni, nem századot.
Küszöb felelős nélkül: színes jelentés. A cselekvési küszöbhöz név és határidő tartozik.
Egy dolgot a legjobb műszerfal sem old meg: nem tudja megmondani, ki lép. Ha a küszöb átlépéséhez nem tartozik név és határidő, akkor a piros szín önmagában nem intézkedés. A műszerfal utolsó oszlopa ezért nem szám, hanem felelős.
Ez az a pont, ahol az adatelemzés átmegy üzemeltetésbe. A 8. héten ugyanez a kérdés tér vissza, csak modell körül: ki bírálja felül a gép javaslatát, és mi alapján. Az oldalsó rajz a `stoch-queue` demóé. A műszerfalon a kihasználtság zöld — a sor viszont tizenhatszorosára nőtt. A küszöbhöz név és határidő tartozik, különben a szám csak színes.
A `stoch-queue` demó mérése: egy kiszolgáló, véletlen érkezés — a sorban várakozók átlagos száma.
Egy utolsó példa arra, amit a műszerfal nem tud. Tegyük fel, hogy a szárító kihasználtságát mutatja, és a szám kilencven százalék. Ez a legtöbb műszerfalon zöld: majdnem tele van a kapacitás, jól gazdálkodunk. Nézd meg, mi történik közben a sorral. Ötven százalékos kihasználtságnál fél kocsi vár átlagosan. Kilencvennél nyolc egész négy. A terhelés egy egész nyolcszorosára nőtt, a sor tizenhatszorosára. Az utolsó tíz százaléknyi kihasználtság kerül a legtöbbe, és éppen ez az, amit a zöld szám elrejt.
A két sorozat együtt fut, és ez a mérés önellenőrzése: ha a szimuláció és a zárt alak ilyen közel van, akkor mindkettőt jól csináltuk. Ugyanez a görbe érvényes a laborsorra, a mérlegelőre és a szerviz műhelyére is — mindenhol, ahol egy kiszolgáló elé véletlenszerűen érkezik munka.
a téves riasztás és a kimaradt eset ára nem egyenlő; ebből jön a küszöb, nem a modellből
az ábra akkor ér valamit, ha megmondható, MELYIK döntés változik meg tőle
Ez volt az ötödik hét. Egyetlen mondatban: az ábra akkor jó, ha a szem azt a munkát végzi, amiben jó, és ha a végén valaki másképp dönt tőle.
| Rövidítés | Feloldás | Mit jelent |
|---|---|---|
| EDA | Exploratory Data Analysis — feltáró adatelemzés | az a szakasz, amelyben még a KÉRDÉST keressük, nem a választ |
| NDVI | Normalized Difference Vegetation Index | normalizált vegetációs index: (NIR − vörös) ÷ (NIR + vörös), a növényborítottság szokásos mérőszáma |
| RGB | Red, Green, Blue | a képernyő három alapszíne; a köztük mért távolság NEM felel meg az érzékelt különbségnek |
| CIE | Commission Internationale de l’Éclairage | a Nemzetközi Világítástechnikai Bizottság, amely a színmérés szabványait adja |
| CIELAB | CIE L*a*b* színtér | olyan színtér, amelyben a távolság közelítőleg az ÉRZÉKELT különbséggel arányos — a ΔE ebben mérhető |
| ΔE | Delta E — színkülönbség | két szín érzékelt távolsága CIELAB-ban; nem érintkező foltoknál tízes érték alatt bizonytalan |
| WSL | Windows Subsystem for Linux | a Windows alatti Linux-környezet, a telepítési útmutató egyik útja |
A hét rövidítései. Az EDA-t érdemes külön megjegyezni, mert ezt a szakaszt a gyakorlatban a legtöbbször kihagyják — és a rövidítés ismerete nélkül a szakirodalomban sem találja meg az ember.
Az NDVI-ben a NIR a közeli infravörös (Near InfraRed) tartományt jelöli — a növény ebben erősen visszaver, a talaj nem. Ez a különbség az index egész alapja, és ezért van szükség hozzá olyan kamerára, ami az infravöröset is látja.
Az ábra betöltése…
Mielőtt a táblázat jön, nézd meg őket egymás mellett. Mind a hat panel ugyanazt az öt tábla-hozamot rajzolja, egyetlen szám sem különbözik köztük — a különbség tisztán a kódolásé. Az oszlopon a hosszt olvasod, a vonalon a meredekséget, a pontfelhőn két mennyiség együttállását, a tortán a rész-egész arányt, a sávon a becslés körüli bizonytalanságot. A tortán figyeld meg, hogy a közeli szeletek sorrendje szemre nem dönthető el — ezt a hét elején meg is mértük. A hatodik panel viszont nem rajztípus: az a demó saját ábrája, amit a dia rajzolója nem tud megcsinálni.
Az ábra a `w05-encoding` demóé (`chartindex 2`). A paneleket a demó `TIPUSKESZLETEK` táblája sorolja fel, és pontosan annyi panel van rajta, ahány típust a következő dia táblázata felsorol — ezt a `check_diagramok.py` ellenőrzi is.
| diagramtípus | mit olvasol le róla | mire NEM jó |
|---|---|---|
| oszlop | kategóriák nagyságrendje és sorrendje — a hossz maga az érték | időbeli alakulás: a sorrend nem látszik rajta |
| vonal | időbeli alakulás: a meredekség és a fordulópontok | kategóriák összevetése: a vonal sorrendet állít oda is, ahol nincs |
| pontfelhő | két mennyiség együttmozgása, egy pont egy megfigyelés | időbeli sorrend: a pontokból nem derül ki, melyik volt előbb |
| torta | nagyságrendi rész-egész arány — „nagyjából mennyi az egész” | rangsorolás: közeli szeletek sorrendje szemre nem jön ki |
| sáv | a bizonytalanság nagysága a becslés körül | a pontbecslés pontossága: a sáv szélessége nem a modell jósága |
| demóábra | amit a keretrendszer rajza nem tud: log tengely, hőtérkép, kis sokszorosok | saját adatod: ez a demó kimenete, nem szerkeszthető a dián |
Záró összefoglaló, és egyben a hét gyakorlati lenyomata. Ezek a diagramtípusok fordultak elő a diasorban — és a középső oszlop a fontos: mit olvasol le róla. A jobb oldali még fontosabb: mire NEM jó. A hét tétele ez volt, hogy az ábra érv; a választás pedig a kérdésből következik, nem az ízlésből. Ha a saját anyagodban végigmész ezen a táblázaton, és minden ábrádhoz oda tudod írni a középső oszlopot, akkor az ábráid érvek.
A felsorolás nem kézi lista: a `check_diagramok.py` ellenőrzi, hogy pontosan ezek a típusok szerepelnek-e a diasorban — ha egy új dia más típust hoz be, vagy egy típus kikopik, az építés szól.