Statistical toolkit
Explanation
Magyarázat
Hajdu Csaba, 2026
Statistical toolkit
Hipotézis és erő, intervallum és bootstrap, legkisebb négyzetek és maximum likelihood, Markov-lánc, sorbanállás és Monte Carlo — mind a négy hét közös eszközei, futtatható méréssel.
Hajdu Csaba, 2026
The semester
Amit a kísérlet előtt kell eldönteni
Ez a lecke eszköztár, nem hét. Azokat az eljárásokat gyűjti össze, amelyeket a négy hét mindegyike használ, és amelyekre külön-külön sosem jut idő. Az első blokk a legfontosabbal kezd: mekkora kísérlet kell ahhoz, hogy egyáltalán észrevegyünk valamit. Ez a kérdés a kísérlet ELŐTT dől el, és aki utólag teszi fel, az általában már elköltötte a pénzt.
A p a nullhipotézis MELLETT számolt valószínűség. Nem a hipotézis valószínűsége, és nem a hatás nagysága.
Nézd meg a t képletének nevezőjét: benne van az elemszám. Elég nagy mintán BÁRMEKKORA valódi különbség szignifikánssá tehető — tehát a kis p önmagában nem azt jelenti, hogy a különbség számít.
Amit a p-érték nem mond meg: hogy mekkora a hatás, hogy fontos-e, és hogy megismételhető-e. Mind a három külön kérdés, és mind a hármat külön kell megválaszolni — a hatásmérettel, a szakmai küszöbbel és az ismétléssel.
| a valóságban NINCS hatás | a valóságban VAN hatás | |
|---|---|---|
| a próba riaszt | elsőfajú hiba — valószínűsége α, ezt mi választjuk (szokásosan 0,05) | helyes döntés — valószínűsége 1 − β, ez a statisztikai ERŐ |
| a próba nem riaszt | helyes döntés — valószínűsége 1 − α | másodfajú hiba — valószínűsége β, ezt a mintaméret dönti el |
Négy eset van, és kettő közülük hiba. Ha nincs hatás, de riasztunk: elsőfajú hiba, a valószínűsége alfa — ezt mi választjuk meg, jellemzően öt százalékra. Ha van hatás, de nem vesszük észre: másodfajú hiba, a valószínűsége béta. Ezt NEM választjuk meg: ez a mintaméretből és a hatás nagyságából jön ki. És itt a lényeg: a kettő egymás rovására megy. Ha szigorítod az alfát, a béta nő — hacsak nem növeled a mintát.
A táblázat második oszlopa az, amit a gyakorlatban elhanyagolnak. A „nem szignifikáns” eredményt csak akkor szabad úgy olvasni, hogy nincs hatás, ha az erő elég nagy volt ahhoz, hogy meglássuk — különben a mérés egyszerűen nem tudott válaszolni.
Mértékegység nélküli hatásméret, és belőle egyetlen osztással a mintaméret.
A 16-os szám α = 0,05 és 80 %-os erő mellett jön ki: 2·(1,96 + 0,84)² = 15,7. Innen a szabály: a FELEAKKORA hatás NÉGYSZER annyi parcellát kíván, mert a d a nevezőben négyzeten van.
Az oldalsó rajz a `stat-power` demóé, és a bal szélső oszlop a legbeszédesebb: négy parcellával a valódi különbséget az esetek 11,1 százalékában vesszük észre. Egy ilyen kísérlet nem „nem talált hatást” — egyszerűen nem volt alkalmas arra, hogy találjon.
A `stat-power` demó beállítása: 0,30 t/ha keresett különbség, 0,50 t/ha szórás.
n=16 * 0,5^2 / 0,3^2=44,44parcella / kezelés
Húzd a csúszkát, és nézd, mi mozdul.
Húzd a csúszkákat. Két szám kell: mekkora különbséget akarsz észrevenni, és mekkora a parcellák szórása. A kettő hányadosa a hatásméret, és abból jön a mintaszám. Az alapbeállítás a demónké: három tized tonna különbség, fél tonna szórás — negyvennégy parcella kezelésenként. Most told a keresett különbséget a felére. Nem duplázódik a szükséges parcellaszám, hanem NÉGYSZEREZŐDIK, mert a d a nevezőben négyzeten áll. Ez az a dia, amit érdemes a kísérlettervezés előtt elővenni.
A 16-os szám α = 0,05 és 80 %-os erő mellett jön ki: 2·(1,96 + 0,84)² = 15,7. Az ökölszabály erre a két rögzített szintre érvényes — más erőhöz más szorzó tartozik, és a demó szimulációja ezért ad 44 helyett 46-ot: a közelítés nem pontos érték, hanem tervezési nagyságrend.
Az ábra betöltése…
Itt a teljes görbe. A vízszintes tengelyen a kezelésenkénti parcellaszám, a függőlegesen az esély, hogy a valódi különbséget meglátjuk. Nézd meg az alakját: lassan indul, aztán meredeken emelkedik, aztán ellaposodik. A nyolcvan százalékos vonal negyvenhat parcellánál metszi. És vedd észre a görbe jobb végét: száz parcella fölött már alig nyerünk — ott a pénzt nem több parcellára, hanem pontosabb mérésre érdemes költeni, mert az a szórást csökkenti, és a szórás a hatásméret nevezőjében van.
A demó csavarja a keresett hatás nagysága. Állítsd 0,15-re — feleakkora hatás —, és nézd meg, hova kerül a 80 százalékos pont. A képlet négyszereződést jósol; a mérés ezt ellenőrzi.
Egy kísérlet nem talált szignifikáns különbséget két kezelés között. Nyolc parcella volt kezelésenként. Mit írsz a jelentésbe?
Egy kísérlet nem talált szignifikáns különbséget két kezelés között. Nyolc parcella volt kezelésenként. Mit írsz a jelentésbe?
A cella betöltése…
A cella itt fut, a böngészőben. Az érdekes csavar a keresett hatás: állítsd nulla egész tizenötre, és nézd meg, hányszorosára nő a szükséges parcellaszám. A képlet négyszereződést mond; a szimuláció ezt vagy megerősíti, vagy nem — és ha nem, azt is meg kell tudni magyarázni.
A demó az ökölszabályból számolja ki, meddig söpörje a mintaméretet. Ez nem kényelmi megoldás: enélkül a söprés felső határa kézi szám lenne, és egy kis hatásméretnél egyszerűen nem érné el a 80 százalékot — a demó pedig azt írná ki, hogy „−1 parcella kell”.
Az első blokk fogalmai. Ezek közül a statisztikai erő az, amelyik a gyakorlatban a legtöbbször hiányzik egy jelentésből.
Amit a névleges szint ígér, és amit betart
A második blokk arról szól, mit ígér egy intervallum, és mennyit tart be belőle. A rövid válasz az, hogy kevesebbet, mint hinnénk — és hogy ez megmérhető. A blokk végén pedig arról lesz szó, mi történik, ha nem egy próbát futtatunk, hanem húszat.
A végpontok a véletlenek, nem a μ. Az ígéret ezért az eljárásra szól, nem erre az egy intervallumra.
Nyolcas mintán t = 2,36 az 1,96 helyett — húsz százalékkal szélesebb intervallum, pusztán azért, mert a szórást is becsülni kell. Százas mintán a különbség már két százalék alatt van.
Ezért helytelen az a mondat, hogy „a valódi érték 95 % eséllyel ebben az intervallumban van”. A valódi érték rögzített: vagy benne van, vagy nincs. Ami véletlen, az az intervallum — és az eljárás az, ami az esetek 95 százalékában eltalálja.
Ugyanaz az eljárás, ugyanaz a névleges 95 % — ferde adaton 82,7 %-ot fed le.
A képlet mögött ott áll egy feltevés: hogy a mintaátlag eloszlása normális. A központi határeloszlás-tétel szerint ez nagy mintán igaz — de az agrárgazdasági mennyiségek erősen ferdék, és kis mintán a közelítés még nem áll. A demó ezt meg is méri. Normális adaton a lefedés pontosan a névleges szint: ez a mérés önellenőrzése. Ferde adaton, nyolcas mintán viszont nyolcvankettő egész hét százalék — tizenkét ponttal kevesebb. És ami még rosszabb: a kimaradás szinte teljesen az EGYIK oldalra esik.
Az oldalsó rajz a `stat-coverage` demóé. A második oszlop alatti részletet érdemes külön kimondani: a 17,2 százalékos kimaradásból 17,2 esett alulra és 0,1 felülre. Az intervallum tehát nem csak szűk, hanem rossz helyen van — és ez sokkal rosszabb hiba, mert rendszeres.
Az ábra betöltése…
A teljes mérés. A vízszintes tengelyen a mintaméret, a függőlegesen a valódi lefedés, és a szaggatott vonal a megígért kilencvenöt százalék. A normális adat görbéje végig a vonalon ül — ez mondja meg, hogy a mérés jó. A ferde adaté alulról közelít, és nyolcvanas mintánál is csak kilencvenegy százalékon áll. A tanulság nem az, hogy a konfidenciaintervallum rossz. Az, hogy a névleges szint feltevés — és a feltevés ellenőrizhető.
Miért éppen lognormális a ferde sokaság: mert a valódi agrárgazdasági mennyiségek nagy része ilyen. A hozam, a kártétel, az állásidő és a javítási költség nem lehet negatív, fölfelé viszont nincs határa — ez a két tulajdonság együtt adja a jobbra nyúló farkat.
A cella betöltése…
A cella itt fut. A csavar a sokaság ferdesége: állítsd nulla egész négyre, ami már majdnem szimmetrikus, és nézd meg, mennyivel közelebb kerül a lefedés a névleges kilencvenöt százalékhoz. Ebből megtudod azt, amit egy táblázatból nem lehet: hogy MEKKORA ferdeségtől kezd számítani a dolog.
A normális ág nem díszlet: az a mérés önellenőrzése. Ha az nem adja vissza a névleges szintet, akkor a mérés hibás, nem a tanulság — és ezt minden szimulációba érdemes beépíteni.
Újramintavétel a saját mintából. A becslés eloszlásából közvetlenül olvassuk ki a végpontokat.
Amit a bootstrap NEM javít meg: ha a minta maga torzít, az újramintavétel ugyanazt a torzítást másolja. A bootstrap a képletet helyettesíti, nem a mintavételt.
Az oldalsó rajz a `stat-bootstrap` demóé, és van benne egy fontos, kiábrándító részlet: az ÁTLAGRA a bootstrap nem jobb a képletnél — 87,3 a 88,0 ellen. A nyeresége nem a pontosság, hanem a HATÓKÖR: a mediánra, ahol nincs kényelmes képlet, 93,8 százalékot ad.
A cella betöltése…
Itt a cella. Érdemes végignézni a kódon, mert a bootstrap egész gondolata öt sor: sorsolj indexeket visszatevéssel, számold ki a becslést, ismételd meg kétezerszer, vedd a százalékos pontokat. Nincs benne eloszlásfeltevés, nincs benne képlet — és pontosan ezért használható ott, ahol egyik sincs.
A bootstrap ára a futásidő: kétezer újramintavétel kétezerszer annyi számolás. Kis mintán ez másodperc; egy nagy modell újratanításával viszont napokba kerülne — ezért nem bootstrappel mérünk modellbizonytalanságot, hanem keresztvalidációval.
Valódi hatás nélkül is: a futások 48,2 %-ában akad „szignifikáns” eredmény.
És most a harmadik dolog, ami a gyakorlatban a legtöbb kárt okozza. Futtass húsz próbát olyan adaton, ahol EGYETLEN valódi hatás sincs. A demó ezt teszi: húsz kezelés, tizenkét ismétlés, és a generátorban nulla különbség. Az eredmény: a futások negyvennyolc egész két százalékában lesz legalább egy szignifikáns találat. Futásonként átlagosan egy egész huszonkilenc darab. Holm-korrekcióval ez nyolc egész két százalékra esik — ott már a névleges öt százalék közelében vagyunk.
Az oldalsó rajz a `stat-multiple` demóé. A harmadik oszlop a képlet, 1 − (1−α)^k = 64,2 %, és a mért 48,2 ennél kisebb. Az eltérés oka, hogy a húsz próba UGYANAZT a kontrollcsoportot használja, tehát nem függetlenek — a függetlenségi feltevés itt konzervatív irányba téved, vagyis a valóság enyhébb a képletnél.
Az ábra betöltése…
A teljes kép. Látszik rajta, hogy a korrekció nem varázslat: a Holm-eljárás egyszerűen szigorúbb küszöböt ad a legkisebb p-értéknek, és lépcsősen enyhít a többinél. Ennek ára van, és ezt ki kell mondani: a korrekció csökkenti az ERŐT. Ha tényleg van hatás, a korrigált próba nehezebben veszi észre. Ezért nem az a jó válasz, hogy mindig korrigálunk, hanem az, hogy előre eldöntjük, hány próbát futtatunk, és melyik kérdés az elsődleges.
A bioinformatikai modul ugyanezt a képletet húszezer markerre alkalmazza, ahol a Bonferroni-szint 2,5e-6 lesz — ez az a vízszintes vonal, ami a Manhattan-ábrán látszik. A képlet ugyanaz; csak a k változik öt nagyságrendet.
A cella betöltése…
Itt a cella. A csavar a próbák száma: állítsd ötvenre, és nézd meg, hova megy a téves riasztás esélye. A képlet egy mínusz nulla egész kilencvenöt az ötvenediken, ami kilencvenkét százalék — a mérés ennél kevesebbet fog adni, és tudod is, miért: a próbák nem függetlenek.
A demóban a valódi hatás NULLA: a generátorban minden csoport ugyanonnan jön. Ez fontos, mert így minden találat bizonyítottan téves — egy valódi adaton ezt sosem lehetne tudni.
Egy kísérletben tizenkét mutatót mértél, és egy lett szignifikáns, p = 0,03-mal. Mit írsz a jelentésbe?
Egy kísérletben tizenkét mutatót mértél, és egy lett szignifikáns, p = 0,03-mal. Mit írsz a jelentésbe?
A második blokk fogalmai. Ezek közül a konfidenciaintervallum az, amelyiknek a jelentését a leggyakrabban mondják rosszul — beleértve a tankönyveket is.
Két becslési elv, és egy csapda, ami mindkettőt megtréfálja
A harmadik blokk arról szól, hogyan illesztünk modellt, és mikor hazudik az illesztés. Két eszközt nézünk meg — a legkisebb négyzeteket és a maximum likelihoodot —, aztán egy csapdát, amelyik mindkettőt átveri, és amelyik agráradaton majdnem mindig ott van.
Kvadratikus veszteség, tehát zárt alak. Nem iteráció — egyetlen egyenletrendszer.
A képlet akkor bukik meg, ha XᵀX nem invertálható: ez pontosan az az eset, amikor több jellemző van, mint megfigyelés, vagy két jellemző lineárisan összefügg. A bioinformatikai modul húszezer markere ilyen — ott a regularizáció nem finomhangolás, hanem az invertálhatóság feltétele.
Az oldalsó rajz a `stat-simpson` demóé, és előre megmutatja, hová tartunk. UGYANAZ a legkisebb négyzetes illesztés, ugyanazon az adaton: összevonva −0,0439, táblán belül +0,0114. A képlet mindkétszer helyesen számolt — a kérdés volt rosszul feltéve.
Normális hiba mellett a maximum likelihood ÉS a legkisebb négyzetek ugyanaz az eljárás.
Ebből az is következik, mikor NEM a négyzetes hiba a helyes: ha a hiba nem normális. Laplace-eloszlású hibára a log-likelihood az ABSZOLÚT eltérések összegét adja — vagyis a robusztus illesztés sem ad hoc trükk, hanem egy másik hibafeltevés következménye.
A logaritmus nem kényelmi lépés: kétszáz megfigyelés sűrűségértékeinek szorzata a lebegőpontos ábrázolás alsó határa alá megy, és nullát ad. Az összeg nem. Ezért számol minden könyvtár log-likelihooddal, akkor is, ha a tankönyv szorzatot ír.
Az ábra betöltése…
És itt a csapda, képben. Kilenc tábla, mindegyik más színnel. Nézd meg először a színes felhőket külön-külön: mindegyikben FELFELÉ megy a kapcsolat — több nitrogén, nagyobb hozam, és ez mind a kilencben így van. Most nézd az egészet együtt: a szürke vonal LEFELÉ megy. Az ok egyszerű, és nem statisztikai: a jobb táblák eleve kevesebb nitrogént kapnak, mert nincs rá szükségük. Az összevonás ezt a TÁBLAKÖZI különbséget méri, nem a nitrogén hatását.
A valódi hatás, amit a generátorba tettünk, +0,0120. A táblán belüli becslés +0,0114 — jó. Az összevont −0,0439, tehát nemcsak rossz nagyságú, hanem ELLENTÉTES ELŐJELŰ. Egy döntés, ami erre épül, pontosan az ellenkezőjét teszi annak, ami helyes lenne.
Az összevont meredekség súlyozott keverék. Ha a táblaközi szórás nagy, az viszi a döntést.
A gyógymód ebből olvasható ki: ha a modellbe beletesszük a tábla azonosítóját, a táblaközi tag kikerül a becslésből, és a maradék pontosan a β̂_belül. Ezt hívják rögzített hatásnak — nem bonyolítás, hanem a kérdés pontosítása.
Az oldalsó rajz ugyanennek a `stat-simpson` mérésnek az abszolút értékeit mutatja, hogy a NAGYSÁGRENDEK is összevethetők legyenek: az összevont becslés majdnem négyszer akkora, mint a valódi hatás — és az ellenkező irányba mutat.
A cella betöltése…
A cella itt fut. Érdemes átírni a generátorban a táblaközi különbség nagyságát: ha a táblák közel egyforma szinten állnak, a paradoxon eltűnik, és az összevont becslés is jó lesz. Ebből megtudod azt, amit a képlet mond: nem az összevonás a hiba, hanem az, hogy a csoportok szintje együtt mozog a magyarázó változóval.
Ugyanez a jelenség tér vissza a bioinformatikai modulban populációszerkezet néven: ott nem táblák vannak, hanem genetikai alcsoportok, és a hamis asszociáció pontosan így keletkezik. A szerkezet neve más, a képlet ugyanaz.
Két üzemegység adatát összevonva azt kapod, hogy a több öntözés kisebb hozammal jár. Mit teszel elsőként?
Két üzemegység adatát összevonva azt kapod, hogy a több öntözés kisebb hozammal jár. Mit teszel elsőként?
A harmadik blokk fogalmai. A Simpson-paradoxon az, amelyik agráradaton a leggyakrabban jön elő — és a legkönnyebben észrevehető, ha az ember egyszer megnézi csoportonként.
Amikor nem a mintából következtetünk, hanem modellt építünk
Az utolsó blokk. Eddig mintából következtettünk a sokaságra. Most fordítva megyünk: modellt építünk a véletlenre, és a modellből számolunk. Három eszköz, három agrár feladat — és mindhárom ugyanazt a tanulságot adja: ahol a válasz nemlineáris, ott az átlagból nem lehet kiolvasni a viselkedést.
A holnap csak a mától függ. Ebből egyetlen sajátvektor megadja a hosszú távú arányokat.
Két hasznos következmény is zárt alakú: egy állapotban töltött átlagos idő 1/(1−p_ii), a visszatérési idő pedig 1/π_i. Az ázott állapotra ez 2,22 nap, illetve 5,7 nap — és a szimuláció 2,24-et mér.
Az oldalsó rajz a `stoch-markov` demóé, és a két sorozat egymásra esik: a legnagyobb eltérés 0,26 százalékpont. Ez a mérés önellenőrzése — ha a szimuláció és a sajátvektor eltérne, valamelyik hibás lenne. Az egyezés az, ami feljogosít arra, hogy a gyorsabb, zárt alakú számolást használjuk.
A cella betöltése…
A cella itt fut. A csavar a napok száma: állítsd kétezerre a kétszázezer helyett, és nézd meg, mennyire tér el a szimulált arány a sajátvektorból számolt stacionárius eloszlástól. Ebből a saját szemeddel látod, hogy a hosszú táv nem metafora, hanem mennyiség — és hogy körülbelül hány nap kell hozzá.
A stacionárius eloszlást a demó sajátvektorként számolja ki, nem hosszú szimulációval. A kettő összevetése az ellenőrzés: ha egyeznek, mindkét út jó — és onnantól a gyorsabbat érdemes használni.
Az (1 − ρ) a nevezőben van. Ezért robban a várakozás a telítettség közelében.
Ez a képlet mondja meg, miért nem szabad egy erőforrást 100 %-os kihasználtságra tervezni. A tartalék nem pazarlás: az az ára annak, hogy a várakozás véges maradjon, amikor az érkezés véletlen.
Az oldalsó rajz a `stoch-queue` demóé. A két görbe együtt fut, de a jobb szélen szétválik: 95 százalékon a szimuláció 17,05-öt mér a 18,05-ös elméleti helyett. Ez nem hiba — a telítettség közelében a szimuláció maga is óriási szórású, és véges hosszú futásból nem áll be. Ez is a képlet tanulsága.
A `stoch-queue` demó elméleti görbéje: M/M/1, egyetlen kiszolgáló.
Lq=0,5^2 / (1 - 0,5)=0,5várakozó
Húzd a csúszkát, és nézd, mi mozdul.
Egy csúszka, és ez a dia legfontosabb tulajdonsága. Told a kihasználtságot ötven százalékról lassan fölfelé, és figyeld a számot. Nyolcvanig még kezelhető. Kilencvennél nyolc a sorban állók száma. Kilencvenötnél tizennyolc. Az utolsó néhány százalék viszi az egészet — mert az egy mínusz rhó a NEVEZŐBEN van. Ezért nem szabad egy erőforrást száz százalékra tervezni: a tartalék nem pazarlás, hanem az ára annak, hogy a várakozás véges maradjon.
A demó szimulációval ugyanezt kapja: 0,50-nél 0,53, 0,80-nál 3,41, 0,90-nél 8,43 — az elméleti 0,50, 3,20 és 8,10 mellett. A telítettség közelében a szimuláció maga is óriási szórású, ezért tér el a 0,95-ös pont a legjobban.
Az ábra betöltése…
Itt a teljes kép. Ötven százalékról kilencvenre a terhelés egy egész nyolcszorosára nő — a várakozás tizenhat egész egyszeresére. Ez az arány a legfontosabb szám ezen a dián. Ha egy üzemben azt halljuk, hogy „a gépek nyolcvan százalékon mennek, tegyünk rá még tíz százalék munkát”, akkor ez a görbe az, amit oda kell tenni a döntés mellé.
A képlet exponenciális érkezésközöket és exponenciális kiszolgálási időt tételez fel (M/M/1). Ha a kiszolgálás kevésbé szórna — például fix ideig tartana —, a sor rövidebb lenne, de a robbanás alakja ugyanez maradna: az (1 − ρ) a nevezőben marad.
A cella betöltése…
A cella itt fut. A csavar az eseményszám: állítsd ötezerre, és nézd meg, mennyire csúszik el a szimuláció az elméleti értéktől — különösen a magas kihasználtságnál. Ebből a saját szemeddel látod azt, amit az előző blokkban a standard hibáról tanultunk: a becslés bizonytalansága nem egyenletes, hanem ott a legnagyobb, ahol a rendszer a legérzékenyebb.
Ez a demó egyben a kurzus egyik legjobb példája arra, mire jó egy szimuláció: nem az elméleti érték kiszámolására — arra ott a képlet —, hanem annak MEGMUTATÁSÁRA, hogy a valóságban mekkora szórással érkezik meg ugyanaz a szám.
Nemlineáris képletbe nem az átlagot helyettesítjük. A bemenetet sorsoljuk, és a kimenetet nézzük meg.
Az eltérés iránya a görbület előjeléből következik, és NEM csökken a minta növelésével: ez rendszeres torzítás, nem véletlen hiba. Több adat ugyanazt a rossz számot adja pontosabban.
Az oldalsó rajz a `stoch-mc` demóé. A behelyettesítés 41 200 Ft/ha-t ad, a Monte Carlo várható értéke 30 624-et: 34,5 százalékos eltérés, ugyanazokból a bemenetekből. És amit a behelyettesítés meg sem mutat: az évek 37,1 százaléka veszteséges, az ötödik százalékos pont pedig −95 000 Ft/ha.
Az ábra betöltése…
Itt a kimenet teljes eloszlása. Ez az, amit egy behelyettesítéses számítás egyetlen számra présel össze. Nézd meg a bal farkat: az ötödik százalékos pont mínusz kilencvenötezer forint hektáronként. Ez az a szám, ami egy hitelkérelemben vagy egy biztosítási döntésben számít — és a négy egész tizenkettes átlagból nem lehet kiolvasni. A Monte Carlo nem pontosabb átlagot ad. MÁST ad: eloszlást, ahol eddig egy szám volt.
Vedd észre, hogy a medián (34 847) és a várható érték (30 624) is eltér egymástól: az eloszlás ferde. Ahol ez a kettő szétválik, ott a „várható” szó a köznyelvi és a matematikai értelemben mást jelent — és a döntéshozó jellemzően a mediánra gondol.
A cella betöltése…
Az utolsó cella. A csavar az ár bizonytalansága: duplázd meg, és nézd meg, mi történik. Két dolgot figyelj. Az egyik: a behelyettesítéses szám NEM változik, mert az csak az átlagot használja. A másik: a veszteséges évek aránya nő. Ez a kettő együtt mutatja meg, mit hallgat el a behelyettesítés.
Vedd észre, hogy a behelyettesített érték a szórástól függetlenül ugyanaz marad. Ez nem a demó hibája, hanem a módszer tulajdonsága: a behelyettesítés a bizonytalanságot definíció szerint nem veszi figyelembe — és ezért nem tud kockázatról beszélni.
Egy beruházási számításban minden bemenet átlagát behelyettesítetted, és pozitív fedezet jött ki. Mit NEM tudsz ebből?
Egy beruházási számításban minden bemenet átlagát behelyettesítetted, és pozitív fedezet jött ki. Mit NEM tudsz ebből?
| eszköz | melyik kérdésre válaszol | mire támaszkodik |
|---|---|---|
| hipotézisvizsgálat | akkora-e az eltérés, amekkora véletlenül ritkán jönne ki | a nullhipotézis melletti eloszlás ismeretére |
| erőszámítás | hány megfigyelés kell, hogy egy létező hatást meglássunk | a hatásméret előzetes becslésére |
| konfidenciaintervallum | milyen tágan ismerjük a becsült értéket | a mintaátlag közelítő normalitására |
| bootstrap | ugyanez, ha nincs kényelmes képlet | arra, hogy a minta jól képviseli a sokaságot |
| legkisebb négyzetek | mekkora a hatás, ha a kapcsolat lineáris | normális hibára — különben más veszteség kell |
| maximum likelihood | mekkora a paraméter tetszőleges eloszlásnál | a HELYES eloszláscsalád megválasztására |
| Markov-lánc | hosszú távon az idő hány százaléka melyik állapot | arra, hogy a jövő csak a jelentől függ |
| sorbanállási modell | mennyit kell várni adott kihasználtság mellett | az érkezés és a kiszolgálás eloszlására |
| Monte Carlo | milyen a KIMENET eloszlása, nem csak az átlaga | a bemenetek eloszlásának ismeretére |
Az egész lecke egy táblázatban, és a harmadik oszlop itt is a fontos. Minden eszköznek van egy feltevése, és az eszköz pontosan addig érvényes, ameddig a feltevés áll. Ha ezt a táblázatot a saját feladatodra ki tudod tölteni, akkor tudod, melyik eszközt mikor NEM szabad elővenni.
A táblázat utolsó oszlopa egyben a hibakeresés sorrendje is: ha egy eredmény furcsa, nem a számolást kell először átnézni, hanem azt, hogy a feltevés áll-e. A `stat-coverage` demó pontosan ezt mutatta meg: a képlet jó volt, a feltevés nem.
Ennyi az eszköztár. Ezek a fogalmak a négy hét mindegyikében előkerülnek — a fogalomtárban mindegyik mellett ott a meghatározás, és mindegyikhez tartozik futtatható mérés.
| Rövidítés | Feloldás | Mit jelent |
|---|---|---|
| M/M/1, M/M | Markov-érkezés, Markov-kiszolgálás, 1 kiszolgáló | a sorbanállási modellek Kendall-jelölése: mindkét idő exponenciális, és egy erőforrás van |
| FDR | False Discovery Rate — hamis találati arány | a TALÁLATOK között a tévesek várható aránya; más kérdés, mint hogy legyen-e egyáltalán téves riasztás |
| CHT | központi határeloszlás-tétel | a mintaátlag eloszlása ferde sokaságból is a normálishoz tart, és a ferdesége 1/√n szerint tűnik el |
| SE | Standard Error — standard hiba | a BECSLÉS szórása, σ/√n; nem azonos az adat szórásával |
| OLS | Ordinary Least Squares — legkisebb négyzetek | a négyzetes maradékot minimalizáló illesztés, zárt alakkal |
| MLE | Maximum Likelihood Estimation | azt a paramétert választjuk, amely mellett a megfigyelt adat a legvalószínűbb |
Minden diasor végén áll egy ilyen tábla. Nem formaság: egy feloldatlan rövidítés a hallgatót kizárja a mondatból, és a következő húsz percben már nem tud visszakapcsolódni. Ez a lecke ebből keveset használ, de ami van, az sűrű.
A Kendall-jelölésben az első betű az érkezési folyamat, a második a kiszolgálásé, a szám a kiszolgálók száma. Az M a „Markov” rövidítése, és emlékezet nélküli, exponenciális időközt jelent — ez az a feltevés, ami a képletet zárt alakúvá teszi.
Az ábra betöltése…
Ahogy minden diasor végén: itt vannak a használt típusok egymás mellett, ugyanazon az öt értéken. Ebben a leckében három szerepel. Az oszlop a beállítások összevetésére — mintaméret, eljárás, állapot. A vonal ott, ahol egy folytonos paraméter mentén nézünk végig valamit: a kihasználtság vagy a mintaméret. A harmadik panel a demóábra: az eloszlások és a szimulációs görbék olyan rajzot kívánnak, amit a dia saját rajzolója nem tud.
Az ábra a `w05-encoding` demóé (`chartindex 4`). A paneleket a demó `TIPUSKESZLETEK` táblája sorolja fel, és pontosan annyi panel van rajta, ahány típust a következő dia táblázata felsorol — ezt a `check_diagramok.py` ellenőrzi is.
| diagramtípus | mit olvasol le róla | mire NEM jó |
|---|---|---|
| oszlop | kategóriák nagyságrendje és sorrendje — a hossz maga az érték | időbeli alakulás: a sorrend nem látszik rajta |
| vonal | folytonos paraméter menti alakulás: a meredekség és a fordulópontok | kategóriák összevetése: a vonal sorrendet állít oda is, ahol nincs |
| demóábra | amit a keretrendszer rajza nem tud: eloszlás, log tengely, hőtérkép | saját adatod: ez a demó kimenete, nem szerkeszthető a dián |
És a táblázat. Ebben a leckében szándékosan kevés típus van, és ennek oka van: az eszköztár állításai majdnem mind összevetések — ez az eljárás kontra az az eljárás, ez a mintaméret kontra az a mintaméret. Oda az oszlop való. A vonal ott jelenik meg, ahol a köztes értékekről is állítunk valamit: a sorhossz görbéjén. A középső oszlop itt is a fontos — és a jobb oldali még inkább.
A felsorolás nem kézi lista: a `check_diagramok.py` ellenőrzi, hogy pontosan ezek a típusok szerepelnek-e a diasorban — ha egy új dia más típust hoz be, vagy egy típus kikopik, az építés szól.