Ugrás a tartalomhoz

Kutatói pályára felkészítő akadémiai ismeretkörön alapuló tananyagfejlesztés – Környezet- és természetvédelem ismeretkörben

Dr. Huzsvai László (2008)

Debreceni Egyetem a TÁMOP 4.1.2 pályázat keretein belül

Modellek és modell eredmények minősítése

Modellek és modell eredmények minősítése

Annak megítélése, hogy a valóságos történéseket közelítően és egyszerűsített módon leíró számítógépes modellek szimulációs eredményei mennyire tekinthetők a modellezett rendszer valóságos válaszának, a modellezés lényeges kérdései közé tartozik. A „szokásos” megoldás a számítógépes szimuláció gyakorlatában az, hogy a szimulációs eredményeket a modellezett rendszerben, a modellezett tulajdonságra mért értékekkel hasonlítják össze. Akkor tekinthető a szimuláció ideálisan megfelelőnek és a modellezés kellően pontosnak, amikor a szabadföldön vagy a laboratóriumban mért jellemző értékek (pl. a talaj nedvességtartalma) valamint az ugyanarra a jellemzőre számított szimulációs eredmények egybeesnek.

Tekintettel azonban arra, hogy a mért értékek minimálisan mérési hibával, esetenként mintavételi és mérési hibával is terheltek, általánosabb érvényű a szimuláció megfelelőségének az a meghatározása, amely a szimulációt akkor ítéli jónak, ha a szimulált és a mért értékek eltéréseinek értéke kisebb, mint a mért értékek mérési hibája.

A mért adatok és a modell eredmények közti különbségek kifejezésének egyik lehetséges módja a mért és szimulált értékek páronként vett korrelációja, a másik pedig azok átlagos eltérése (M).

Amennyiben az (yi– xi) különbségek legalább 90 %-a kisebb, mint egy szakmailag megállapított elfogadható érték, - pl. a talajnedvesség-tartalomra a 2.5 % - teljesülése esetén a szimuláció megfelelőnek értékelhető. További lehetőséget jelent a szimuláció jóságának megállapítására a maradéktagok elemzése, amikor is a maradék hibanégyzet-összegét a teljes mérési hibanégyzet-összeghez hasonlítják.

Amennyiben kellő ismétlésszámú mért adat áll rendelkezésre a Student-féle t-próba segítségével ellenőrizhető, hogy a szimuláció hibája a mérési hibánál kisebb-e:

Megjegyzendő, hogy a t-próba csupán kellő számú ismétléssel mért minta esetében alkalmazható, amikor is a minta szabadságfoka kellően nagy.

Statisztikai módszerek állnak rendelkezésre a mért és a szimulált értékek közötti eltérések véletlen (random) és nem véletlen (szisztematikus) voltának az elemzésére. A szisztematikus hiba az illesztettlenséget fejezi ki. A mért értékek és a szimulált értékek eltérés négyzetösszegét bontják fel a véletlen hibát kifejező hiba négyzetösszegre, és az illesztettlenséget kifejező eltérés négyzetösszegre. A négyzetösszeg értékeket a szabadságfokkal leosztva nyerhető az átlagos négyzetes eltérés, és az illesztettlenségi variancia. A hiba- és az illesztettlenségi variancia viszonya F-statisztikával elemezhető. Amennyiben az illesztettlenségi hiba nagyobb, mint a véletlen hiba a modellen még javítani szükséges. Az eltérés négyzetösszeg minimuma alkalmas a modellparaméterek optimális értékeinek a kikeresésére, amely eljárás egyben a modell eredmények mérési adatokra történő illesztését is jelenti. Ebből következik, hogy ez a statisztika jellemzi a

modellbecslés jóságát, összehasonlítható általa különböző modellek becslési jósága, és kiválasztható segítségével a legalkalmasabb modell is.

A modell jóságának tesztelésére alapvetően három lehetőség áll rendelkezésre:

1./ Nincs, vagy csupán néhány párhuzamos mért adat áll rendelkezésre. Ekkor a legjobb modellparaméter értékek a legkisebb eltérés négyzetösszeghez rendelhetők. A modell jóság elemzésére használjuk ekkor a korrelációs együtthatót (r) és az átlagos különbséget (M). Határozzunk meg elfogadható hibaértéket és nézzük meg, hogy a szimulált értékek hány %-a teljesíti azt. A modelleket minősítsük az elfogadható hibára adott válasz alapján.

2./ Valamennyi, vagy a legtöbb mérés, ismétléses. A mért és a szimulált értékek eltérés négyzetösszegét bontsuk véletlen-, és szisztematikus hibaösszetevőre. A legjobb modellparaméter értékeket a szisztematikus, vagy illesztettlenségi hiba minimalizálásával keressük. Tökéletes illeszkedés esetén az illesztettlenséget kifejező eltérés-négyzetösszeg nullával egyenlő. Amennyiben a szisztematikus hiba nagyobb, mint a véletlen hiba vizsgáljuk meg a kísérleti eredményeket. Amennyiben a szisztematikus hiba lényegesen nagyobb a véletlen hibánál a modell alkalmassága vizsgálandó

(nem a megfelelő paramétereket veszi figyelembe, nem a megfelelő összefüggést használja, stb.). Érdemes a modellt több kísérlet adatait tartalmazó adatbázison ellenőrizni. Ha a szisztematikus hiba csupán néhány kísérlet esetében nagyobb a véletlen hibánál, vagy az adatok ellenőrizendők, vagy a modellhasználat korlátozandó.

Modellek összehasonlítására az illesztettlenségi variancia / illesztési hiba arány kevésbé alkalmas, mint az elfogadható hiba, hiszen szinte nincs olyan modell, amely 10 vagy 20 adatra ne adna statisztikailag szignifikáns eredményt.

3./ A vizsgált paraméter mind kezdeti, mind végső értékére ismétléssel mért értékek állnak rendelkezésre, pl. egy talajtulajdonság időbeli változásának szimulációja esetében.

A modell jóságának értékelése a 2. pont alatti módon történik. A paraméter-optimalizálás úgyszintén, viszont a szimulált eredmények eltérésének elemzésekor az eltérés előjelét is figyelembe kell venni. A modellértékelés szintén a 2. pont elvei szerint történik.

Egy modell működése azonban nem csupán a szimulációs pontosság alapján ítélhető meg. Érdekes az is, hogy a modell hogyan „reagál”, más kifejezéssel mennyire érzékeny paramétereinek az értékeire. A modellek ez irányú vizsgálatára szolgál az érzékenységi elemzés.