Time series analysis in agricultural production
Explanation
Magyarázat
Hajdu Csaba, 2026
Time series analysis in agricultural production
Miből áll egy idősor, mihez mérjük az előrejelzést, és miért nem szabad véletlenül szétvágni.
Hajdu Csaba, 2026
The semester
Trend, szezon, maradék — és amit a maradék elárul
Üdv újra. A múlt héten arról volt szó, hogyan mutatunk meg egy adatot. Ezen a héten az adat maga lesz bonyolultabb: időben áll, tehát a sorrendje jelent valamit. Ez egyszerre könnyítés és csapda — könnyítés, mert a múlt beszél a jövőről, és csapda, mert a szokásos statisztikai eszközök nagy része feltételezi, hogy a megfigyelések függetlenek. Itt nem azok.
A sorrend maga az adat. Ha felcserélhető, nem idősor.
Egy szokásos adathalmazban a sorok felcserélhetők: mindegy, melyik tábla áll elöl. Az idősorban nem. Ha megkevered a hónapokat, elveszik minden információ, ami a héten érdekel minket. Ebből két dolog következik. Egy: a véletlen szétvágás értelmetlen, mert a jövőből tanulnál a múltra. Kettő: a megfigyelések nem függetlenek, tehát a szokásos hibaformulák túl szűk intervallumot adnak.
Ez a két következmény tér vissza a hét végén: az első a gördülő eredetű visszatesztelésben, a második az előrejelzési sáv szélességében. Az oldalsó rajz a `ts-acf` demóé. Ha a sorrend felcserélhető, az autokorreláció nulla körül van — az a fehér zaj, és az valóban minta, nem pálya. Az AR(1) 0,72-je az emlékezet.
Tanpélda: havi NDVI négy vegetációs időszakra, ugyanazon a táblán.
Ez egy fenológiai görbe: negyvennyolc hónap NDVI-je ugyanarról a tábláról. Nézd meg, mit lát a szemed rajta három másodperc alatt. Ismétlődést lát — minden évben ugyanaz a hullám. És lát egy lassú emelkedést: a negyedik év csúcsa magasabb, mint az elsőé. Ez a kettő a szezon és a trend. A harmadik összetevőt, a maradékot, a szem nem látja — ahhoz ki kell vonni a másik kettőt.
A szezon nem koszinusz: a növény gyorsan zöldül és lassan sárgul. Az aszimmetria miatt nem elég egyetlen szinuszt illeszteni — és ezért nem triviális a naiv előrejelzés megverése sem.
beruházási döntés
ütemezés
piaci, több éves
ha szerkezete van, a modell hiányos
A felbontás nem öncél. Mindegyik összetevőhöz más döntés tartozik. A trend a beruházásé: érdemes-e talajjavításba kezdeni. A szezon az ütemezésé: mikor kell gépet és embert kiállítani. A ciklus a több évet átfogó ingadozás, jellemzően piaci. A maradék pedig a modellé: ha szerkezete van, akkor még kimaradt valami.
Additív vagy multiplikatív — és a logaritmus a kettő között vált.
A szezonális összetevőre megkötés is van: egy periódusnyi szezon ÖSSZEGE nulla (additívnál), illetve szorzata egy (multiplikatívnál). Enélkül a felbontás nem egyértelmű, mert a szezon átlagát a trendbe is be lehetne tenni.
Az oldalsó rajz a `w06-decompose` demóé: ugyanaz a sor, kétféle szezonhosszal felbontva. Rossz szezonhossz mellett a maradék szórása 5,15-szörösére nő — mert a szezon egy része bennmarad a maradékban. A felbontás tehát nem automatikus: a szezonhossz a MI bemenetünk.
A vastag vonal a mozgóátlag. Az ablak hossza pontosan egy szezon.
A legegyszerűbb felbontás egy szezonhossznyi mozgóátlag. Tizenkét hónapra átlagolva a szezon kiesik — mert egy teljes szezon átlaga nem függ attól, hol vagyunk benne —, és ami marad, az a trend. Itt jól látszik: nulla egész negyvenegyről nulla egész ötvenhétre nő a négy év alatt. A görbe két végén hiányzik: az átlaghoz mindkét irányban fél szezon kell, és a sor szélén nincs.
A széleken hiányzó trend nem hiba, hanem következmény. Éppen ezért nehéz az utolsó pontban előrejelezni: ott a trendbecslés a leggyengébb.
Középre igazított mozgóátlag. Páros ablakhoz a 2×m alak kell, különben fél lépéssel elcsúszik.
A késleltetés az ablak végére igazított változatnál (m−1)/2 lépés: tizenkét hónapos ablaknál öt és fél hónap. Ez az a pont, ahol a simítás és az időszerűség egymás rovására megy — ugyanaz az átváltás, mint a mérési láncban.
Miért éppen tizenkettes ablak havi adaton: mert egy teljes szezont átlagol ki. Bármilyen m, ami nem a szezonhossz többszöröse, a szezon egy részét bennhagyja a trendben — és onnantól a maradék is hamis.
A cella betöltése…
Ez a cella azt méri meg, mennyibe kerül egy rosszul megválasztott szezonhossz. A helyes hosszal a maradék szórása a legkisebb, és a maradékban nem marad szezonális jel. Rossz hosszal a szezon egy része a trendbe kenődik, egy másik része a maradékban marad — és a maradék autokorrelációja azonnal elárulja. Futtasd le a saját gépeden is: ugyanezek a számok jönnek ki.
Agrárban ez nem elméleti kérdés. A naptári szezon tizenkét hónap, a fenológiai szezon viszont a hőösszegtől függ, és évről évre csúszik. A kettő nem ugyanaz a hossz.
Az ábra betöltése…
És itt a mérés képben, mert a szám önmagában nem mondja el. A felső sorban a helyes, tizenkettes szezonhosszal felbontott sor: a trend sima, a szezon tiszta hullám, a maradék pedig szerkezet nélküli zaj — pontosan ez a jó felbontás ismérve. Az alsó sorban ugyanaz tízes szezonhosszal. Nézd meg a maradékot: NEM zaj, hanem hullámzik. Ez az, ami elárulja a hibát — nem a trend és nem a szezon, hanem a maradék szerkezete.
A maradék szórása 0,0297-ről 0,1530-ra nő, és a 12. késleltetés autokorrelációja −0,286-ról 0,806-ra. A második szám a beszédesebb: a maradékban ott maradt a teljes éves ismétlődés.
Egy havi bontású hozamsort tizenkettes szezonhosszal bontasz fel, és a maradék ábráján tizenkét hónaponként visszatérő kiugrásokat látsz. Mit jelent ez?
Egy havi bontású hozamsort tizenkettes szezonhosszal bontasz fel, és a maradék ábráján tizenkét hónaponként visszatérő kiugrásokat látsz. Mit jelent ez?
Stacionárius: az átlag, a szórás és az autokorreláció időben állandó. A legtöbb agrár sor nem az.
Egy sor akkor stacionárius, ha a statisztikai tulajdonságai nem függnek attól, mikor nézzük: az átlag, a szórás és az autokorreláció ugyanaz az első és az utolsó évben. A klasszikus modellek nagy része ezt feltételezi. Az agrár idősor viszont ritkán ilyen: van benne technológiai trend, a fajtaváltás lépcsőt csinál, és a szórás gyakran együtt nő a szinttel. A differenciálás a trendet veszi ki, a logaritmus a növekvő szórást.
A differenciálás nem ingyen van: minden differenciálás egy megfigyelést elvesz, és felnagyítja a zajt. Rövid soron ez érzékeny veszteség. Az oldalsó rajz a `w06-decompose` demóé: rossz szezonhossznál a maradékban ottmarad a szezon, és ettől 5,15-szeres lesz a szórása. A stacionaritás ellenőrzése így nem elmélet, hanem két szám összevetése.
Három feltétel, nem egy. A harmadik a lényeg: a kovariancia csak a TÁVOLSÁGTÓL függ.
Egy d-edfokú polinomiális trendet d darab differenciálás üt ki. A gyakorlatban d = 1 vagy 2; ennél több szinte mindig túldifferenciálás, ami zajt csinál a sorból.
Az oldalsó rajz a `ts-spurious` demóé, és ez a differenciálás legerősebb indoka. Két FÜGGETLEN, trendes sor négyezer párjából 64,2 százalékban jött ki 0,3-nál nagyobb korreláció. Ugyanez differenciálás után 0,1 százalék — vagyis pontosan annyi, amennyi a véletlentől elvárható.
A `w06-decompose` demó mérése: ugyanaz a sor, jó és rossz szezonhosszal felbontva.
A stacionaritás elvont fogalom, de van hozzá egy nagyon egyszerű, mérhető ellenőrzés. Bontsd fel a sort trendre, szezonra és maradékra — és nézd meg a maradékot. Ha jó szezonhosszal bontottad fel, a maradékban nem marad szerkezet: a tizenkettedik késleltetésnél az autokorreláció mínusz nulla egész kettőnyolchat, tehát nincs benne évi ismétlődés. Ha rossz szezonhosszal, tízzel a tizenkettő helyett, akkor nulla egész nyolcnulla-hat: a szezon ottmaradt a maradékban. És a szórása is ötszörös. A maradék tehát nem melléktermék, hanem a felbontás vizsgája.
A maradék szórása ugyanígy árulkodik: 0,0297 a helyes, 0,1530 a rossz szezonhossznál — 5,15-szeres különbség. A szezonhosszt tehát nem a modell tanulja meg: te adod meg neki, és agrár soron fenológiai, nem naptári.
Eltolás k-val, és megnézzük, mennyire hasonlít a sor önmagára.
Az autokorreláció azt méri, mennyire hasonlít a sor önmagára, ha k lépéssel eltoljuk. Ha a k egyenlő eggyel érték nagy, akkor a szomszédos hónapok összefüggnek. Ha a szezonhossznál van csúcs, akkor a sor évről évre emlékszik. Ez az ábra, a korrelogram, a hét legolcsóbb diagnosztikája: egyetlen pillantásból megmondja, van-e szezon, és mekkora.
Az oldalsó rajz a `ts-acf` demóé. Az MA(1) a második késleltetésnél már 0,007 — levágódik. Az AR(1) mértani sorban csökken. Az emlékezet HOSSZA a különbség, nem a megléte.
Ugyanaz, mint a korreláció — de a sor önmagával, k lépéssel eltolva.
AR(1) folyamatra a képlet zárt alakot ad: r_k = φ^k. Ezért esik az AR(1) korrelogramja mértani sorban, és ezért lehet a φ-t az egymást követő autokorrelációk hányadosából visszabecsülni.
Az oldalsó rajz a `ts-acf` demóé: a beállított φ 0,72, a mért első autokorreláció 0,72, és a korrelogramból visszabecsült φ 0,71. A zárt alak tehát áll. Ugyanennek a demónak a fehér zaj sorában a legnagyobb autokorreláció 0,036, a zajsáv határa 0,032 — vagyis a zaj is „megszólal” néha, és ez normális.
Tanpélda: ugyanaz a negyvennyolc hónapos sor. A zajsáv ennél a hossznál ±0,28.
Ez ugyanannak a sornak az autokorrelációja. Nulla eltolásnál egy, definíció szerint. Aztán lecsökken, hat hónapnál mínusz nulla egész ötvennyolcra megy — fél szezon eltolással a csúcs a völgyre esik, tehát ellentétes. Tizenkettőnél viszont nulla egész hatvanhat: egy teljes szezon eltolás után a sor újra önmagára hasonlít. Huszonnégynél még mindig nulla egész harminckilenc. Ez a lépcsős lecsengés a szezon aláírása.
A ±0,28-as sáv a fehér zaj tartománya negyvennyolc megfigyelésnél: ami ezen belül van, az nem különböztethető meg a véletlentől. A tizenkettes csúcs jóval kívül esik.
Az ábra betöltése…
Az előző dia egyetlen korrelogramot mutatott. Itt négy van egymás alatt, és mind a négy más szerkezetet takar. Az első az AR-egy: mértani sorban csökken, és a szomszédos oszlopok hányadosából visszajön a beállított nulla egész hetvenkettő. A második az MA-egy: az első késleltetés után levágódik, a második már nulla egész nulla-nulla-hét. A harmadik szezonális: a tizenkettedik késleltetésnél ugrik ki. A negyedik fehér zaj: a legnagyobb autokorreláció nulla egész nulla-három-hat, épp a zajsáv határán. Az ábra alakja mondja meg, milyen modellcsalád jöhet szóba — ezért kell ránézni, mielőtt bármit illesztünk.
A fehér zaj sora a legfontosabb: ott tanulod meg, hol van a „még véletlen” határa. Ha a te sorodon egyetlen oszlop lóg ki ebből a sávból, az még nem szerkezet — huszonnégy késleltetésből átlagosan egy-kettő kilóg akkor is, ha semmi nincs az adatban.
A cella betöltése…
A korrelogramot nem kell elhinni: fél perc alatt előállítod. Ez a cella ugyanazt a sort veszi, kiszámolja az autokorrelációt, és megmondja, hol a legnagyobb csúcs a nulla eltoláson kívül. Ha a saját adatodon futtatod, és nincs csúcs a feltételezett szezonhossznál, akkor a szezonhossz rossz — vagy nincs szezon.
Két független, trendes sor között a korreláció rendszerint magas — és a teszt szignifikánsnak mondja.
És most jön az, amiért mindez számít. Két idősor között akkor is nagyon magas korrelációt kapsz, ha semmi közük egymáshoz — elég, ha mindkettőben van trend. A szokásos szignifikanciateszt itt nem véd meg, mert azt független megfigyelésekre találták ki. Ez nem elméleti veszély: a következő cella megméri, milyen gyakran fordul elő.
Az oldalsó rajz a `ts-spurious` demóé, négyezer ismétlésből. A két sornak semmi köze egymáshoz — a trend teszi, hogy mégis együtt mozognak.
Az ábra betöltése…
Ez a dia az előző állítás ára, megmérve. Két idősort állítunk elő, amelyeknek az égvilágon semmi közük egymáshoz — mindkettő független véletlen bolyongás. Aztán megnézzük, mit mond rájuk a korreláció. Az esetek hatvannégy százalékában nulla egész háromnál nagyobb, tizenhét százalékában nulla egész hétnél nagyobb. A korreláció átlaga nulla egész négyszázhuszonhárom. Ez nem hiba, és nem rossz adat: trendes sorokon a szintek korrelációja egyszerűen nem értelmezhető. Differenciálás után ugyanez nulla egész egy tized százalék — visszaáll a véletlen szintjére.
Agrárban ez különösen csúszós, mert szinte minden sorban van trend: a hozam, az árak, a hőösszeg, a talajszerves anyag. Két ilyen sor összekorrelálása látványos számot ad, és semmit nem jelent. A differenciálás nem kozmetika, hanem a kérdés helyes feltevése: nem a szintek járnak együtt, hanem a változások.
A cella betöltése…
Ez a cella két teljesen független bolyongást generál, és megnézi, milyen gyakran kapunk köztük szignifikáns korrelációt. A várt öt százalék helyett sokszorosát. A megoldás nem a szignifikanciaszint szigorítása, hanem az, hogy előbb kivesszük a trendet mindkét sorból, és utána nézzük meg, maradt-e összefüggés.
Ez a hét legfontosabb figyelmeztetése a féléves feladathoz: ha csapadék és hozam között korrelációt találsz, előbb mutasd meg, hogy nem a közös trendről van szó.
Ez volt a szerkezet. A következő blokkban előrejelzünk — de csak azután, hogy tudjuk, mihez mérjük.
A legolcsóbbtól a legdrágábbig, és vissza
A szerkezet megvan. Most jön a kérdés, hogy mit kezdünk vele. Végigmegyünk a módszereken a legegyszerűbbtől a legbonyolultabbig — és a végén kiderül, hogy a sorrend nem a jóság sorrendje.
A simítás a jelenről szól. Az előrejelzéshez a jövőre kell kivetíteni — és akkor a szezon is kell.
Az első és leggyakoribb félreértés. A mozgóátlag és az exponenciális simítás azt mondja meg, hol tart a sor most, a zajt levéve. Ez diagnózis, nem jóslat. Előrejelzéssé attól lesz, hogy a simított szintet kivetítjük előre — és ekkor derül ki, hogy a puszta szint kevés: kell hozzá trend és szezon is.
Az oldalsó rajz a `w06-forecast` demóé. Az exponenciális simítás szép görbét ad, de előrejelzőként alig jobb a naivnál ezen a szezonos soron — mert szezon nincs benne. A simítás a MÚLTAT teszi olvashatóvá.
Tanpélda: a sor utolsó két éve, két különböző alfával simítva.
Az exponenciális simításnak egy paramétere van, az alfa: mennyit számít az új megfigyelés a korábbi becsléshez képest. Nézd meg, mit csinál a két véglet ugyanazon a soron. Alfa nulla egész egy: majdnem teljesen kisimítja a szezont, egy lassú hullám marad. Alfa nulla egész nyolc: követi a szezont, de láthatóan késve — a csúcsot mindig egy hónappal a valódi után éri el. Nincs jó alfa; van a feladathoz illő.
A késés nem beállítási hiba, hanem a módszer természete: minden simítás a múltból dolgozik. Ezért nem lehet szezonális sort pusztán simítással előrejelezni — a szezont külön kell modellezni.
Egy rekurzív sor. Kibontva: mértani sorban csökkenő súlyok, visszafelé a múltba.
A hatásos ablakhossz mutatja meg, hogy α = 0,2 nagyjából kilences mozgóátlagnak felel meg, α = 0,5 pedig hármasnak. A mozgóátlag éles ablakot vág; az exponenciális simítás ugyanazt puhán teszi, és nem kell hozzá eldobni az első néhány pontot.
Vedd észre a második alak utolsó tagját: a kezdőérték súlya (1−α)^t. Kis α mellett ez sokáig nem tűnik el — rövid soron a kezdőérték megválasztása tehát nem semleges döntés, és ezt a jelentésben ki kell mondani.
Az egyenértékűség a két simítás átlagos késleltetésének egyeztetéséből jön.
m=2 / 0,2 - 1=9hónap
Húzd a csúszkát, és nézd, mi mozdul.
Egy csúszka, és ettől lesz az alfa érthető. Az alfa önmagában absztrakt szám nulla és egy között. A hatásos ablakhossz viszont összehasonlítható a mozgóátlaggal, amit az előző blokkban láttunk. Told az alfát nulla egész kettőre: kilenc, tehát nagyjából kilences mozgóátlag. Told egyre: egy, vagyis nincs simítás — a görbe maga a sor. És told nulla egész nullötre: harminckilenc. Ebből látszik, hogy az alfa nem lineárisan hat, és hogy a kis alfa nagyon hosszú emlékezetet jelent.
A kis alfa nemcsak hosszú emlékezetet jelent, hanem azt is, hogy a kezdőérték sokáig benne marad: a súlya (1−α)^t. α = 0,05 mellett száz lépés után is 0,6 % — rövid soron ez már döntést befolyásoló nagyságrend.
egy paraméter
kettő
három, plusz a szezonhossz
több, és illeszteni is nehezebb
csapadék, hőösszeg, ár
Ez a létra úgy épül, hogy minden fok hozzátesz egy összetevőt. Az egyszerű exponenciális simítás csak a szintet viszi. A Holt-módszer hozzáveszi a trendet. A Holt–Winters a szezont is. A SARIMA ehelyett a maradék szerkezetét modellezi, és külső változót is fogad — csapadékot, hőösszeget. Minden fok több paramétert jelent, és rövid soron a több paraméter több bizonytalanság, nem több pontosság.
Négy szezonnyi hozamsoron negyvennyolc megfigyelés van. Egy tíz paraméteres modellnek ez nagyon kevés. Ez nem lustaság, hanem a mintaméret következménye.
Egy megye húsz évnyi éves búzahozamát kaptad meg: húsz szám. Melyik módszer illik ehhez?
Egy megye húsz évnyi éves búzahozamát kaptad meg: húsz szám. Melyik módszer illik ehhez?
Naiv: a következő érték az utolsó megfigyelt. Szezonális naiv: ami egy szezonnal korábban volt.
És most a hét legfontosabb gondolata. Egy előrejelzés hibája önmagában nem mond semmit. Nulla egész nulla hét-es átlagos hiba jó vagy rossz? Nem tudod, amíg nincs mihez viszonyítani. Két viszonyítás van, mindkettő ingyen. A naiv: a következő érték legyen az utolsó megfigyelt. A szezonális naiv: legyen az, ami egy szezonnal korábban volt. Ha a modelled ezeket nem veri meg, akkor nem modell, hanem díszítés.
Az oldalsó rajz a `w06-forecast` demóé. A MASE definíció szerint 1,0 a szezonális naivnál — ezért alapvonal. A sima naiv ennek négy és félszeresét adja: szezonos soron nem mérce.
Tanpélda: az utolsó szezon elrejtve, a két alapvonal előrejelzése rá.
Az utolsó tizenkét hónapot elrejtettük, és a két alapvonallal jeleztük előre. A naiv egy vízszintes vonal nulla egész harmincöten: az utolsó megfigyelt érték, végig. Ez a teljes szezont elveszti. A szezonális naiv viszont a tavalyi év alakját ismétli meg, és látszik, milyen közel van — a csúcs magassága téved, az alakja nem.
A szezonális naiv rendszeresen alábecsül: a sorban trend is van, és a tavalyi szezon alacsonyabb szintről indult. Ez a maradék hiba az, amit egy modellnek meg kellene fognia.
Nulla paraméter, nulla illesztés. Ettől mérce, és nem modell.
A felső egészrész azt intézi el, hogy h > m esetén is a LEGUTOLSÓ ismert szezonbeli értéket vegyük: tizennyolc hónapra előre nem a másfél évvel korábbit, hanem a hat hónappal korábbi szezonbeli párját.
Az oldalsó rajz a `w06-forecast` demóé. Nézd meg, mit mond: a szezonális naiv MAE-je 0,0607, az exponenciális simításé 0,1862 — vagyis a paraméteres módszer HÁROMSZOR rosszabb annál, aminek egy paramétere sincs. Szezonális soron a szezont nem ismerő módszer nem versenyképes, akármennyit hangoljuk.
A naiv átlagos abszolút hibája nulla egész huszonhárom, a szezonális naivé nulla egész nulla hét. Három egész kettő-szeres különbség, és egyetlen paraméter nélkül. A MASE oszlopot nézd meg külön: ez a hibát a szezonális naiv saját, tanítómintán mért hibájához viszonyítja. A szezonális naiv MASE-je egy egész negyvenöt — vagyis a teszt szezonon rosszabbul teljesít, mint korábban. Ez nem baj, hanem információ: a sor elmozdult, és ezt egy jó modellnek követnie kell.
MAPE: a nevezőben a valódi érték — nulla közelében felrobban. MASE: a nevezőben a naiv hibája — és egy a vízválasztó.
A MAPE, a százalékos hiba, kényelmesnek látszik, mert dimenziótlan. Csakhogy a nevezőben a valódi érték áll, és ha az nulla közelébe kerül, a MAPE felrobban. Agrárban ez nem elméleti: a téli NDVI, a nulla hozamú tábla, az üres raktár mind nulla közeli. A MASE nevezője ehelyett a naiv előrejelzés hibája — az soha nem nulla egy valódi soron, és a szám jelentése is világos: egynél kisebb jobb a naivnál, egynél nagyobb rosszabb.
Az oldalsó rajz a `w06-forecast` demóé. A MASE mértékegység nélküli, tehát átvihető másik táblára és másik terményre is — a MAE nem.
A MAPE a megfigyeléssel oszt, a MASE a naiv hibájával. Az egyik elszáll nulla közelében, a másik nem.
MASE = 1 azt jelenti: pontosan olyan jó, mint a szezonális naiv. MASE = 0,58 azt: 42 százalékkal kisebb hiba. A mérőszám tehát önmagában értelmezhető — nem kell hozzá tudni, mekkorák a számok az adott soron.
Az oldalsó rajz a `w06-forecast` demóé. A szezonális naiv MASE-je 1,02 — nem pontosan 1, mert a nevező az ILLESZTÉSI szakaszon készül, az értékelés pedig a teszten. Egyedül a Holt–Winters megy egy alá: 0,58. A másik kettő négyes és hármas szorzóval ROSSZABB annál, amit ingyen megkapnánk.
A `w06-forecast` demó mérése: ugyanaz a visszatesztelés, MAE-ben és MASE-ben.
Itt látszik, miért nem mindegy, melyik számot írod le. A MAE tonna per hektárban van: ez a naivnál nulla egész huszonhét, Holt–Wintersnél nulla egész nulla-három-öt. Csakhogy ez a szám a sor nagyságrendjétől függ — egy másik táblán, másik terményen ugyanez a modell más MAE-t ad, és a kettőt nem lehet összehasonlítani. A MASE ugyanezt a szezonális naiv alapvonalhoz méri, és ezért mértékegység nélküli: egy alatt jobb az alapvonalnál, egy fölött rosszabb. A naiv négy egész ötvennégy, a Holt–Winters nulla egész ötvennyolc. Ez a szám átvihető másik sorra is.
A MAPE azért hiányzik innen, mert nullához közeli értékeknél elszáll, és agráradatban van nulla: a téli csapadékhiány, a kiesett hozam, a le nem szüretelt tábla. A MASE-nek ilyen baja nincs, mert nem oszt a megfigyeléssel, hanem az alapvonal hibájával.
A cella betöltése…
Ez a cella végigfuttatja az összehasonlítást, és mellé teszi azt, amiről a következő blokk szól: ugyanazt a becslőt kétféle értékeléssel. A különbség nem árnyalatnyi. Amíg ezt nem láttad a saját gépeden, addig könnyű elhinni, hogy a szétvágás módja részletkérdés.
Egy jelentésben az áll, hogy a modell átlagos abszolút hibája nulla egész nulla nyolc tonna hektáronként. Mit kérdezel vissza elsőként?
Egy jelentésben az áll, hogy a modell átlagos abszolút hibája nulla egész nulla nyolc tonna hektáronként. Mit kérdezel vissza elsőként?
autoregresszív és mozgóátlag-tagok differenciált soron; a három rend az ACF és a PACF olvasásából indul
ARIMA szezonális tagokkal; a szezonhossz a modell BEMENETE, nem tanulja
a becslés az egy szezonnal korábbi érték; nulla paraméter, és szezonális soron ez az igazi mérce
A módszerek megvannak, az alapvonal megvan. Ami hátra van: hogyan mérjük meg becsületesen.
A mérce a protokoll, nem a modell
Most jön a hét legfontosabb része. Eddig módszerekről volt szó, most a mércéről. Előre megmondom a tanulságot, hogy tudd, mire figyelj: a mérce a protokoll, nem a modell.
A véletlenül kihagyott pont két szomszédja a tanítóban marad. Élesben nincs jövőbeli szomszéd.
A gépi tanulásban megszokott eljárás, hogy az adat egynegyedét véletlenszerűen félretesszük tesztnek. Idősoron ez hibás, és nem elvi okból. Ha egy áprilisi pontot kihagysz, a márciusi és a májusi ott marad a tanítóban — a modell tehát a kihagyott pont mindkét szomszédját ismeri, és elég interpolálnia. Élesben viszont nincs jövőbeli szomszéd. A teszt olyan feladatot mér, ami a valóságban nem fordul elő.
Az oldalsó rajz a `ts-interval` demóé, és ugyanazt mondja más oldalról: a tanítómintán mért hiba mindig kisebb, mint az éles. A véletlen szétvágás ugyanezt csinálja, csak nagyobban.
A `w06-forecast` demó mérése: szomszédból becslés, két értékelési protokollal.
Hogy ez ne elvi kifogás maradjon, itt van megmérve, mennyibe kerül. Ugyanaz az egyszerű becslő: a hiányzó pontot a két szomszédjából becsüli meg. Véletlen szétvágásnál nulla egész nulla-három-kilenc-kettő a hibája — ez remek szám. Gördülő eredettel, vagyis úgy, hogy csak a múltat ismerheti, nulla egész huszonhét. Hatszor kilencszeres különbség, és semmi nem változott a modellben. Csak annyi történt, hogy elvettük tőle a jövőt. Véletlen szétvágásnál ugyanis a kihagyott pont MINDKÉT szomszédja ismert — és ez élesben soha nem fordul elő.
A mérce tehát nem a modell, hanem a protokoll. Ugyanez a csapda minden olyan eljárásban ott van, amely „simít” vagy „interpolál”: a mozgóátlag, a Kalman-simítás, a hiánypótlás mind a jövőbe is belenéz, ha hagyjuk.
idősoron érvénytelen
A helyes eljárás a gördülő eredet. Veszünk egy vágópontot, az addigi adattal tanítunk, és előrejelzünk a következő néhány lépésre. Aztán a vágópontot előrébb toljuk, és megismételjük. A hibák átlaga a mérőszám. Ez lassabb, mert sokszor kell tanítani — de ez az egyetlen, ami azt méri, amit élesben csinálni fogsz.
Ugyanez a gondolat tér vissza a 8. héten térben: ott a szomszédos táblák jelentik a szivárgást, és blokkos szétvágás kell.
Minden eredetnél csak a múltból tanulunk. A hibát az eredeteken átlagoljuk.
A képletből látszik, hogy K a horizonttal CSÖKKEN: hosszabb horizonthoz kevesebb eredet marad, tehát a hosszú horizontú becslés maga is bizonytalanabb. A `ts-horizon` demó ezért kezd a 120. hónapnál egy 240 hosszú soron: így horizontonként 108 eredet marad.
Az oldalsó rajz a `w06-forecast` demóé, és ez a hét legkeményebb száma: ugyanaz a becslő véletlen szétvágással 0,0392 hibát mutat, gördülő eredettel 0,2694-et. Hatszor kilencszeres különbség — és a kisebbik szám a HAMIS, mert ott a kihagyott pont két szomszédja is ismert volt.
A cella betöltése…
Ez a cella két dolgot mér meg egyszerre. Az első a négy módszer rangsora gördülő eredettel. A második az, ami miatt ez a dia itt van: ugyanazt a szomszédból becslő eljárást lefuttatja véletlen szétvágással és gördülő eredettel. Nulla egész nulla három kilenc kettő, illetve nulla egész huszonhat kilenc négy. Hétszeres különbség — ugyanaz a becslő, ugyanaz a sor, más protokoll.
Nézd meg a harmadik sort. Az exponenciális simítás MASE-je három egész tizennégy — háromszor rosszabb, mint az ingyenes szezonális naiv. Nem azért, mert rossz módszer, hanem mert nincs benne szezon, és ez a sor szezonális. A Holt–Winters viszont nulla egész ötvennyolc: majdnem feleannyi hiba, mint az alapvonalé. Ez az a pillanat, amikor egy modell megérdemli, hogy modellnek hívjuk.
A szezonális naiv MASE-je nem pontosan 1,00, hanem 1,02. A nevező a tanítómintán mért egylépéses szezonális naiv hiba, nem a teszten mért — így a szám nem definíció szerint egy, hanem információt hordoz: a sor kicsit elmozdult.
Nem a paraméterszám dönt, hanem az, hogy a modellben benne van-e az adat szerkezete.
Ez a rangsor a hét egyik fő tanulsága. Az exponenciális simítás bonyolultabb a naivnál, mégis rosszabb. A Holt–Winters bonyolultabb a simításnál, és jobb. Nem a paraméterek száma dönt, hanem az, hogy a modell tartalmazza-e azt a szerkezetet, ami az adatban van. Szezonális soron a szezon nélküli modell nem tud nyerni, akárhány paramétere van.
Az oldalsó rajz az `ml-biasvariance` demóé. A helyes fokszám 0,0116-tal jobb az elsőfokúnál — ennyit hoz a bonyolultság. A tizedfokú teszthibája 9,10; az nem fér a rajzra, és nem is kell: rossz irányba bonyolítani korlátlanul lehet.
A `w06-forecast` demó mérése: MASE a tanult paraméterek száma szerint rendezve.
Rakjuk sorba a módszereket aszerint, hány paramétert tanulnak, és nézzük meg a MASE-t. A szezonális naiv nulla paramétert tanul, és egy egész nulla-kettőt ad — tehát gyakorlatilag az alapvonal maga. Az exponenciális simítás egy paramétert tanul, és három egész tizennégyet ad: lényegesen ROSSZABB, mint a nulla paraméteres. Miért? Mert nincs benne szezon, ez a sor pedig szezonos. A Holt–Winters három paramétert tanul, és nulla egész ötvennyolcat ad. A létra tehát nem emelkedik egyenletesen: a bonyolultság önmagában nem érték, csak akkor, ha azt a szerkezetet ragadja meg, ami az adatban tényleg ott van.
Ebből jön a sorrend a gyakorlatban: először az alapvonal, aztán a legegyszerűbb módszer, amely a sor ismert szerkezetét tartalmazza. A gépi tanulás akkor jön, ha ez a kettő elfogyott — és akkor is ehhez a MASE-hez kell mérni.
Egy kollégád azt mondja, hogy a modellje nyolcvanöt százalékos pontosságot ér el a teszthalmazon, amit véletlenszerűen választott ki a havi hozamsorból. Mi a legfontosabb kifogás?
Egy kollégád azt mondja, hogy a modellje nyolcvanöt százalékos pontosságot ér el a teszthalmazon, amit véletlenszerűen választott ki a havi hozamsorból. Mi a legfontosabb kifogás?
Három dolgot, és mind a három egy sor. Az első: melyik alapvonalhoz mérted. A második: hogyan vágtad szét — gördülő eredettel, hány ablakkal, milyen horizonttal. A harmadik: a hiba az alapvonalhoz viszonyítva. Ha ez a három nincs ott, akkor a jelentésben szereplő szám nem ellenőrizhető, tehát nem is állítás.
Az ábra betöltése…
És itt van, hogyan néz ki mindez együtt. Ez a demó saját ábrája: a négy módszer hibája egymás mellett, a naiv alapvonalhoz mérve. Nézd meg, mi az, ami ebből azonnal leolvasható. Melyik módszer veri meg a szezonális naivat, és mennyivel. Hogy a véletlen szétvágás mennyivel ad optimistább számot, mint a gördülő eredetű. Ez a két dolog az, ami a jelentésbe kell — nem a modell neve, és nem az, hogy hány paramétere van.
A jelentésbe három szám kell: a naivhoz mért hiba, a visszatesztelés módja, és a horizont, amire az érték vonatkozik. Ha ez a három nincs ott, az eredmény nem összevethető semmivel — sem a következő félév modelljével, sem a szomszéd üzem számával.
a becslés az egy szezonnal korábbi érték; ez az az alapvonal, amit a MASE nevezője használ
Ha a félév során csak egyetlen dolgot viszel magaddal ebből a hétből, ez legyen az.
Meddig előre, és milyen széles sávval
Utolsó blokk. Két kérdés van hátra: meddig előre érdemes jelezni, és mit közlünk a bizonytalanságról. A másodikra a múlt héten már megvolt a válasz elve — most idősorra alkalmazzuk.
Hogy mennyivel romlik a hiba a horizonttal, az attól függ, mi uralja a sort.
Ez a szokásos megfogalmazás, és többnyire igaz: minél messzebbre jelzel előre, annál bizonytalanabb. De hogy mennyivel bizonytalanabb, az nem a horizonttól függ, hanem attól, mi uralja a sort. Ezt a következő ábrán megmérjük, és az eredmény meg fog lepni.
Az oldalsó rajz a `ts-horizon` demóé. A tölcsér tágulása nem a horizonttól függ, hanem attól, mi uralja a sort — és ez három mérésből látszik.
A hiba az egylépéseshez viszonyítva, gördülő eredetű visszateszteléssel mérve.
Három görbe, mind az egylépéses hibához viszonyítva. A bolyongás naiv előrejelzésénél a hiba tizenkét lépésre három egész négyszeresére nő — és pontosan illeszkedik a gyök h görbére, ami zárt alakban is levezethető. A szezonális NDVI-soron viszont Holt–Winters mellett a tizenkettedik lépés hibája mindössze egy egész kettőszerese az elsőnek. Miért? Mert ott a szezon uralja a sort, azt pedig a modell tudja — egy évvel előre ugyanúgy, mint egy hónappal.
A bolyongás mért görbéje és a gyök h két tizedesjegyig egyezik — ez a mérés önellenőrzése. Ha eltérne, a mérés volna hibás, nem a tanulság.
Bolyongáson √h szerint nő, korlát nélkül. Stacionárius soron plafonhoz tart.
A horizontprofil tehát nem az előrejelző tulajdonsága, hanem a SORÉ. Ezért nincs olyan, hogy „jó előrejelző”: van sor, amin a tizenkét lépés ugyanolyan könnyű, mint az egy, és van, amin reménytelen.
Az oldalsó rajz a `ts-horizon` demóé. A bolyongásnál mért 3,42-szeres arány a √12 = 3,46 elméleti értéktől 1,1 százalékkal tér el — ez az egyezés az, ami igazolja, hogy jól mérünk. A szezon uralta soron ugyanez 1,03, illetve 1,24: a két szezonos módszer horizontprofilja is más.
A `ts-horizon` demó bolyongás-sorának egylépéses MAE-je: 0,0164.
sh=0,02 * sqrt(12)=0,06NDVI
Húzd a csúszkát, és nézd, mi mozdul.
Egy csúszka a horizonton. A bolyongás esetében a hiba szórása gyök h szerint nő — told a horizontot egyről tizenkettőre, és a szám a három egész negyvenhatszorosára megy. Huszonnégyre tolva nem duplázódik ehhez képest, hanem gyök kettővel szorzódik. Ez az a viselkedés, amit érdemes fejben tartani, amikor valaki hosszabb előrejelzést kér: a pontosság nem lineárisan romlik, de romlik — és a romlás a SORÉ, nem az előrejelzőé.
A demó tizenkét lépésre 0,0562-t mér, a képlet 0,0568-at ad — 1,1 % eltérés. Ez az egyezés az, ami igazolja a mérést. A szezon uralta soron ugyanez a képlet NEM érvényes: ott a tizenkét lépéses hiba csak 1,03-szorosa az egylépésesnek, mert a sor stacionárius.
Az ábra betöltése…
Az előző dia görbéi innen jönnek, és szeretném, ha látnád a forrásukat. Bal oldalt a hiba szintje, jobb oldalt ugyanaz az egylépéses hibához viszonyítva, a gyök h görbével együtt. A bolyongás mért aránya három egész negyvenkettő, a gyök tizenkettő három egész negyvenhat — egy egész egy százalék eltérés. Ez a mérés önellenőrzése: ha eltérnének, a mérés volna hibás, nem a tanulság.
Ugyanaz a szezonos sor kétféle előrejelzővel is szerepel a mérésben: szezonális naivval az arány 1,03, Holt–Wintersszel 1,24. A horizontprofil tehát nemcsak a sortól függ, hanem a módszertől is — az előző dia a Holt–Winters görbéjét mutatja.
A cella betöltése…
A cella itt fut. A csavar a horizont: állítsd huszonnégyre, vagyis két szezonra előre. A kérdés az, hogy a bolyongáson tartja-e a gyök h szabályt — gyök huszonnégy, majdnem öt. Ha igen, akkor a képlet nem csak tizenkettőre igaz. Ha nem, akkor azt kell megmagyarázni, mi romlott el.
A demó 240 hosszú soron a 120. hónaptól indítja a gördülő eredetet, hogy horizontonként 108 eredet maradjon. Hosszabb horizontnál kevesebb eredet marad — ez a képletből is látszik, és ezért lesz a hosszú horizontú becslés maga is bizonytalanabb.
Szezon uralta sor: a hosszú horizont olcsó. Bolyongás uralta sor: rövid horizont, gyakori frissítés.
Két következmény. Az egyik: ha a sorodat a szezon uralja, akkor a hosszabb horizont nem kerül sokkal többe — érdemes egész szezonra tervezni. A másik: ha a sorodat a bolyongás uralja, mint a felvásárlási árat, akkor a hosszú horizontú előrejelzés lényegében értéktelen, és jobban jársz, ha rövid horizontra jelzel és gyakran frissítesz. A kérdés nem az, hány hétre akarsz látni, hanem hogy a sorod melyik fajta.
Ezt a `ts-acf` cellával lehet eldönteni: ha a korrelogramon erős szezonális csúcs van, az első eset; ha csak lassú lecsengés nulla eltolástól, a második. Az oldalsó rajz a `ts-horizon` demóé: a mért és az elméleti arány 1,1 százalékon belül egyezik. Ez a mérés önellenőrzése — és egyben az, amiért a bolyongásra tervezni lehet: a hiba növekedése előre kiszámítható.
Tanpélda: az utolsó tizenkét hónap előrejelzése Holt–Winters-módszerrel, a sáv a visszatesztelt hibából.
Így néz ki egy közölhető előrejelzés. A vonal a pontbecslés, a sáv a visszatesztelésből mért hiba alapján tágul. És figyeld meg a lényeget: a valóság végig a sávon belül van, de a pontbecsléstől többször elmozdul. Aki csak a vonalat közli, azt állítja, hogy ez fog történni. Aki a sávot is, azt, hogy körülbelül ide várjuk — és ez az igaz állítás.
A sáv nem elméleti eloszlásból jön, hanem a gördülő eredetű visszatesztelés horizontonkénti hibájából. Ez a becsületesebb út: azt mondja, mekkorát szoktunk tévedni, nem azt, mekkorát kellene.
A szorzó a névleges szintből jön, a szélesség a visszatesztelt hibából — horizontonként külön.
A z = 1,96 a központi határeloszlás-tételt használja: azt feltételezi, hogy a hiba közelítőleg normális. Erősen ferde hibaeloszláson ez nem áll, és ott a kvantilist közvetlenül a visszatesztelt hibákból kell venni.
Az oldalsó rajz a `ts-interval` demóé. A 6. lépésnél az illesztési maradékból számolt sáv 92,0 százalékot fed a megígért 95 helyett, a visszatesztelt 95,5-öt. És a másik baj is mérhető: az illesztési sáv félszélessége horizonttól függetlenül ugyanaz, 0,0492 — a visszatesztelt a 6. lépésnél már 0,0549, tehát 1,12-szeres.
Az ábra betöltése…
És itt a sáv mérése. Bal oldalt a tényleges fedés horizontonként: az illesztési maradékból számolt sáv a hatodik lépésnél kilencvenkét százalékot fed a megígért kilencvenöt helyett, és a rés a horizonttal nő. A visszatesztelt hibából számolt végig tartja a szintet. Jobb oldalt az ok: az illesztési sáv MINDEN horizontra ugyanolyan széles, pedig a hiba nő.
A demó egy harmadik esetet is mér, és az meglepett. Rosszul megadott szezonhosszal a fedés nem romlik, hanem 95,1 százalék — mert a rossz modell illesztési maradéka is nagyobb, tehát a sávja 11,4-szer szélesebb. A jól kalibrált sáv NEM azt jelenti, hogy jó a modell; azt jelenti, hogy őszintén megmondja, mennyire rossz.
A cella betöltése…
Itt a cella. A csavar a névleges szint: állítsd nyolcvan százalékra. A kérdés az, hogy ugyanúgy viselkedik-e, mint a kilencvenöt: az illesztési maradékból számolt sáv alulteljesít, a visszatesztelt tartja a szintet. Ha igen, a tanulság nem a szinten múlik, hanem az eljáráson.
A demó a rosszul megadott modellt is megméri: rossz szezonhossz mellett a lefedés 95,1 % — látszólag kifogástalan —, a sáv félszélessége viszont 11,4-szerese a jó modellének. A lefedés önmagában tehát nem elég: a sáv szélességét is ki kell írni.
Egy előrejelzési sávot úgy adsz meg, hogy a tanítómintán mért maradékok szórásából számolod. A visszatesztelésen kiderül, hogy a valóság az esetek harmadában a sávon kívül esik, pedig kilencvenöt százalékot ígértél. Mi a legvalószínűbb ok?
Egy előrejelzési sávot úgy adsz meg, hogy a tanítómintán mért maradékok szórásából számolod. A visszatesztelésen kiderül, hogy a valóság az esetek harmadában a sávon kívül esik, pedig kilencvenöt százalékot ígértél. Mi a legvalószínűbb ok?
a becslés az egy szezonnal korábbi érték; paraméter nélkül, és a hét mérésében a MAE-je 0,0607
Ez volt a hatodik hét. Egy mondatban: az előrejelzés akkor ér valamit, ha megveri a szezonális naivat, és ezt gördülő eredetű visszateszteléssel mutattuk ki.
| Rövidítés | Feloldás | Mit jelent |
|---|---|---|
| MAE | Mean Absolute Error — átlagos abszolút hiba | az eltérések abszolút értékének átlaga, az adat mértékegységében |
| MAPE | Mean Absolute Percentage Error | százalékos hiba; nulla közeli megfigyelésnél elszáll, ezért idősoron kerülendő |
| MASE | Mean Absolute Scaled Error | a hiba a szezonális naiv hibájához mérve: egy alatt megverted az alapvonalat, egy fölött nem |
| ACF | AutoCorrelation Function | az autokorrelációs függvény: a sor és önmaga k lépéssel eltolva |
| PACF | Partial AutoCorrelation Function | a parciális autokorreláció: a köztes késleltetések hatását kiszűrve |
| AR | AutoRegressive — autoregresszív | a következő érték a sajátmagára visszavezetve: AR(1) egyetlen lépésre emlékezik |
| MA | Moving Average — mozgóátlag | a modellcsaládban a hibatagok mozgóátlaga; simításként az ablakon belüli átlag |
| ARIMA | AutoRegressive Integrated Moving Average | AR- és MA-tagok differenciált soron; a három rend az ACF és a PACF olvasásából indul |
| SARIMA | Seasonal ARIMA | ARIMA szezonális tagokkal; a szezonhossz a modell bemenete, nem a modell tanulja |
| SARIMAX | SARIMA eXogenous változóval | külső magyarázó változóval bővítve — annak a jövőbeli értékét is ismerni kell |
| NDVI | Normalized Difference Vegetation Index | normalizált vegetációs index; a hét tanpéldájának mért mennyisége |
Az idősoros hét rövidítései. A három hibamérőszám közül a MASE a fontos: az a mérce, ami önmagában értelmezhető, mert az alapvonalhoz viszonyít.
Az „Integrated” az ARIMA nevében a differenciálásra utal: az I a d rendű differenciálás, ami a trendet üti ki. Ezért nem kell külön trendtagot beletenni — a differenciálás maga az.
Az ábra betöltése…
Négy típus, és mind a négy panel ugyanazt az öt értéket rajzolja. Az oszlop és a vonal különbsége itt a legélesebb: a vonal folytonos átmenetet állít két szomszédos érték közé, az oszlop nem állít semmit köztük. A sáv panelen a középvonal ugyanaz, csak köré került a bizonytalanság — és vedd észre, hogy a sáv szélessége semmit nem mond arról, hogy a középvonal jó helyen van-e.
Az ábra a `w05-encoding` demóé (`chartindex 3`). A paneleket a demó `TIPUSKESZLETEK` táblája sorolja fel, és pontosan annyi panel van rajta, ahány típust a következő dia táblázata felsorol — ezt a `check_diagramok.py` ellenőrzi is.
| diagramtípus | mit olvasol le róla | mire NEM jó |
|---|---|---|
| oszlop | kategóriák nagyságrendje és sorrendje — a hossz maga az érték | időbeli alakulás: a sorrend nem látszik rajta |
| vonal | időbeli alakulás: a meredekség és a fordulópontok | kategóriák összevetése: a vonal sorrendet állít oda is, ahol nincs |
| sáv | a bizonytalanság nagysága a becslés körül | a pontbecslés pontossága: a sáv szélessége nem a modell jósága |
| demóábra | amit a keretrendszer rajza nem tud: log tengely, hőtérkép, kis sokszorosok | saját adatod: ez a demó kimenete, nem szerkeszthető a dián |
Amit ezen a héten használtunk. Idősoron a vonal a természetes választás, mert a meredekség maga az információ; az oszlop viszont akkor jön elő, amikor módszereket hasonlítunk össze, és a sorrendnek nincs jelentése. A sáv a bizonytalanságé — és a 6. hét egyik tanulsága éppen az volt, hogy a sáv szélessége nem a modell jóságát mondja meg.
A felsorolás nem kézi lista: a `check_diagramok.py` ellenőrzi, hogy pontosan ezek a típusok szerepelnek-e a diasorban — ha egy új dia más típust hoz be, vagy egy típus kikopik, az építés szól.