Veel

Kuidas arvutada ja võrrelda RMSE kahe DEM vahel?

Kuidas arvutada ja võrrelda RMSE kahe DEM vahel?


Ma teen projekti, mis põhineb Lidari punktpilveandmete kasutamisel ja mul on juurdepääs kogu Rootsi hõlmavale DEM -ile. Kuid minu eesmärk on toota mitu DEM -i, mis hõlmavad väikest ala, kasutades erinevaid interpoleerimismeetodeid. Selleks töötan LAS -i andmekogumi tööriistakastiga. Kui see on tehtud, tahan võrrelda enda toodetud DEM -e kogu Rootsi hõlmava DEM -iga ja kontrollida RMSE -viga.

Ma ei tea, kuidas seda lahendada, kuna ma ei ole matemaatik ja olen Lidariga töötamise uus.

Ma kasutan selleks ArcGIS -i.


Root Mean Square Error (RMSE) on üks neist haruldastest indeksitest, millel on täiuslik nimi, kuna nimi ütleb teile, kuidas seda arvutada. Esimene erinevus kahe DEM -i vahel („viga” või täpsemini antud juhul kõrvalekalle). Seejärel ruudu erinevused. Neid kahte esimest sammu saab arvutada rasterkalkulaatori ühe avaldise abil. Järgmisena arvutage oma pildi ruudu ruuthälvete keskmine. Selleks võiksite kasutada Arvuta statistika tööriist, kuigi tõenäoliselt on ArcGIS -is rastrise keskmise saamiseks vaja mitmeid õigeid viise. Lõpuks võtke ruutjuur oma keskmisest ruuthälbest. See on kõik. See annab teile kahe rastrise RMSD. Edu.


RMSE võrdlus mudeliga

Hindan oma mudeli ennustamise täpsust, kasutades uue andmekogumi RMSE -d. Nüüd ei anna RMSE iseenesest mingit märki selle kohta, kas see on hea mudel, kuna puuduvad künnised, mis ütlevad, et see on hea. Minu küsimus on, kas oleks mõttekas arvutada nullmudeli RMSE ainult keskmisega ennustajana ja võrrelda seda minu mudeli RMSE -ga? Või peaksin võrdlema rongi andmete mudeli RMSE -d katseandmete RMSE -ga?

Mudel, mida ma praegu kasutan, on parim kõigi olemasolevate ennustajatega, mis põhinevad BIC -skooridel, kuid proovin välja mõelda, kui hästi mudel tegelikult toimib. Olen arvutanud ka adj. R-ruut, mis ütleb, et 20,7% dispersioonist selgitab minu mudel, kuid ma kahtlen, kas see on hea täpsuse mõõtmine.


3 vastust 3

Oletame, et meie vastused on $ y_1, dots, y_n $ ja meie ennustatud väärtused on $ hat y_1, dots, hat y_n $.

Valimi dispersioon (lihtsuse huvides kasutatakse $ n $ asemel $ n-1 $) on $ frac <1> summa_^n (y_i - bar y)^2 $, samas kui MSE on $ frac <1> summa_^n (y_i - hat y_i)^2 $. Seega annab valimi dispersioon selle, kui palju vastused varieeruvad keskmiselt, samas kui MSE annab teada, kui palju vastused meie prognooside ümber varieeruvad. Kui arvame, et üldine keskmine $ bar y $ on lihtsaim ennustaja, mida me kunagi kaaluksime, siis kui võrrelda MSE -d vastuste valiku dispersiooniga, näeme, kui palju rohkem variatsioone oleme oma mudeliga selgitanud . Just seda teeb $ R^2 $ väärtus lineaarse regressiooni korral.

Mõelge järgmisele pildile: $ y_i $ proovi dispersioon on horisontaaljoone ümber olev varieeruvus. Kui projitseerime kõik andmed $ Y $ teljele, näeme seda. MSE on keskmine ruudukujuline kaugus regressioonijoonest, see tähendab muutlikkus regressioonijoone ümber (st $ hat y_i $). Seega on valimi dispersiooniga mõõdetud varieeruvus ruudu keskmiseks kauguseks horisontaaljoonest, mida näeme oluliselt rohkem kui keskmine ruutkaugus regressioonijooneni.

Parema teabe puudumisel võib sihtmuutuja keskmist väärtust pidada lihtsaks hinnanguks sihtmuutuja väärtustele, olgu selleks siis olemasolevate andmete modelleerimine või tulevaste väärtuste ennustamine. See sihtmuutuja lihtne hinnang (st prognoositavad väärtused, mis kõik võrduvad sihtmuutuja keskmisega) on teatud vea tõttu välja lülitatud. Tavaline viis keskmise vea mõõtmiseks on standardhälve (SD), $ sqrt < frac <1> summa_^n (y_i - bar y)^2> $, kuna SD -l on kena omadus sobitada kellukujuline (Gaussi) jaotus, kui sihtmuutuja on tavaliselt jaotatud. Seega võib SD -d lugeda sihtmuutuja hinnangutes loomulikult esineva vea suuruseks. See teeb sellest võrdlusaluse, mida iga mudel peab proovima ületada.

Mudeli hindamise vea mõõtmiseks nende hulgas on mitmeid viise Juure keskmine ruutviga (RMSE) mida mainisite, $ sqrt < frac <1> summa_^n (y_i - hat y_i)^2> $, on üks populaarsemaid. See on kontseptuaalselt üsna sarnane SD -ga: selle asemel, et mõõta, kui kaugel on tegelik väärtus keskmisest, kasutab ta sisuliselt sama valemit, et mõõta, kui kaugel tegelik väärtus on mudeli selle väärtuse prognoosist. Hea mudeli prognoosid peaksid olema keskmiselt paremad kui naiivne hinnang kõigi keskmiste prognooside kohta. Seega peaks variatsiooni mõõt (RMSE) vähendama juhuslikkust paremini kui SD.

See argument kehtib muude veamõõdikute kohta, mitte ainult RMSE puhul, vaid RMSE on eriti atraktiivne otseseks võrdlemiseks SD -ga, kuna nende matemaatilised valemid on analoogsed.

Keegi küsis minult võrguühenduseta tsitaati, mis toetab ideed, et SD on RMSE võrdlusalus. Isiklikult õppisin seda põhimõtet esmakordselt Shmueli jt. 2016. Vabandust, aga mul pole raamatut käepärast, seega ei saa ma leheküljenumbrit tsiteerida.


Kuidas arvutada ja võrrelda funktsiooni Matlab

Ma uurin ruutjuure viga (RMSE) ja normaliseeritud algvälja viga (NRMSE).

Miks erineb NRMSE väärtus NRMSE vahel käsitsi Wikipedia ja NRMSE vahel MATLABi võrdluskoodi abil?

Kas saaksite mulle õpetada, kuidas võrdlusfunktsiooni matemaatiliselt arvutada?

Näiteks tegin nagu allpool. Wikipedia meetod:

Võrrelge MATLABi sisemist funktsiooni:


Kuidas toimib RMSE iga samm:

Ühe numbri lahutamine teisest annab teile nende vahelise kauguse.

Kui korrutate mis tahes arvu kordi ise, on tulemus alati positiivne, sest negatiivsed ajad negatiivsed on positiivsed:

Lisage need kõik kokku, kuid oodake, siis oleks paljude elementidega massiivil suurem viga kui väikesel massiivil, seega keskmistage need elementide arvu järgi.

Kuid oodake, me panime need kõik varem ruutu, et neid positiivseks muuta. Vabastage kahjustused ruutjuurega!

See jätab teile ühe numbri, mis tähistab keskmiselt loendi1 iga väärtuse ja selle loendi2 vastava elemendi väärtuse vahelist kaugust.

Kui RMSE väärtus aja jooksul langeb, oleme rahul, sest dispersioon väheneb.


Kasutades erineva suurusega mudelite võrdlust ruutkeskmise veaga (RMSE)

Kasutan erinevate mudelite võrdlemiseks k-kordset ristvalideerimist.

Ma jagasin oma andmestiku kuueks tükiks ja kasutasin treeningkomplektina 4 juhuslikku tükki ja ülejäänud 2 testikomplekti.

Nüüd paigaldasin treeningkomplekti n-erinevaid mudeleid ja arvutasin RMSE nii treening- kui ka testikomplektidele. Minu arusaamist mööda peaks eelistatavam olema mudel, mille katsekomplektis on madalam RMSE.

Selguse huvides pean silmas järgmist: RMSE = sqrt ((paigaldatud-täheldatud)^2/ n. Tähelepanekud)

Mudelid erinevad üksteisest mõnede sõltumatute muutujate puhul, mille NA väärtused on erinevad (eriti kuna mõned muutujad esindavad teiste kumulatiivset mõju, on mul see, et NAde arv suureneb, seda rohkem muutujaid, mida ma kumuleerin).

Nii et ma leian end, et võrdlen esimest mudelit näiteks n NA -dega ja teist mudelit, millel on 10 n NA -d. Sel viisil võrdlen mudeleid, mis on kohandatud erineva arvu vaatlustega.

1) Kas see on testkomplektiga arvutatud RMSE võrdlemisel probleem?

Ma tean näiteks, et kui ma võrdleksin treeningkomplekti mudeleid, ei oleks AIC antud juhul tähenduslik, R-ruudu puhul vähem kindel.

2) kuna ma kasutan iga mudelit 10 korda 10 treeningkomplektiga ja testisin 10 testkomplektiga (selgitusi vt algusest), on mul antud mudeli puhul keskmine RMSE ja selle standardviga nii treening- kui ka testikomplektidel. Kuidas tõlgendada erinevusi koolituse ja testi RMSE vahel?


Kaks odavat reaalajas kinemaatilist ülemaailmset satelliitnavigatsioonisüsteemi (RTK GNSS), mis on Emlid “Reach RTK” ja NavSpark “NS-HP”, hinnati positsioneerimise täpsuse ja täpsuse poolest. Iga GNSS-i roverüksus paigaldati põllurobotile, mis liikus käsitsi kaugjuhtimispuldiga mööda etteantud katserada kuuel korduval katsel. Kahe süsteemi täpsust hinnati F-testi statistika kaudu.

Kahe GNSS -i ühine täpsus määrati, võrreldes positsioneerimisandmeid roboti GNSS -antennide fikseeritud teadaoleva kaugusega (472 mm). Kolmest kuuest uuringust jäid mõlemad GNSS -id fikseeritud lahenduse olekusse ja näitasid ruutkeskmist viga (RMSE) alla 50 mm, mis jäi oodatud vahemikku. Kahes teises katses algas üks GNSS -idest ujuva lahenduse olekus ja läks seejärel üle fikseeritud lahenduse olekule. Nendes katsetes oli RMSE endiselt ühe meetri kaugusel, mida oodati ujuklahuse olekus. Ühes uuringus leiti vale fikseeritud positsiooni olek, kus NavSpark GNSS väitis valesti, et see on fikseeritud lahenduse olekus. Seda probleemi tuleb tulevikus leevendada, parandades signaali konditsioneerimist, müra ja tarkvara ning/või andurite liitmist. Ehkki Emlid GNSS -il oli parem lokaliseerimisvõime, kuna selle protsent andmetest fikseeritud lahenduse olekus oli 94,0%, võrreldes NavSparki GNSS -i 71,5% -ga, peeti mõlemat paljulubavaks kasutamiseks katselistel robotitel.


Setete sadestumiskiiruse ennustamine kontroll-tammides masinõppetehnikate ja kõrge eraldusvõimega DEM-ide abil

Kontrollpaisudesse kogunenud setted on väärtuslik meede mulla erosiooni määra hindamiseks. Siin kasutati esmakordselt setete sadestumiskiiruse ennustamiseks geograafilisi infosüsteeme (GIS) ja kolme masinõppe tehnikat (MARS-mitmemõõtmeline adaptiivne regressioonikiirgus, RF-juhuslik mets ja SVM-toega vektormasin).SR) kontroll-tammides, mis asuvad SW Hispaania kuues valgalas. Seal on 160 kuivkivist kontroll-tammi (

77,8 kontroll-tammi km −2), kogunes setteid ajavahemikul, mis varieerus 11–23 aastat. SR hinnati varasemates uuringutes, kasutades topograafilist meetodit ja kõrge eraldusvõimega digitaalset kõrgusmudelit (DEM) (keskmiselt 0,14 m 3 ha −1 aasta −1). Arvutati üheksa keskkonna-topograafilist parameetrit ja neid kasutati ennustajana SR. MARS-i, RF-i ja SVM-i võimet hinnati viiekordse ristvalideerimise abil, võttes arvesse kogu ala (ALL), mäenõlva (HILL) ja oru põhjade (VALLEY) kontrolltammi, samuti kolm valgala (B, C ja D), kus on kõige rohkem kontrollpaisusid. Mudelite täpsust hinnati suhtelise ruutkeskmise vea järgi (RRMSE) ja keskmine absoluutne viga (MAE). Tulemused näitasid, et RF ja SVM on võimelised ennustama SR suurema ja stabiilsema täpsusega kui MARS. See on ilmne andmekogumite ALL, VALLEY ja D puhul, kus MARSi prognoosivead olid 44–77% (RRMSE) ja 37–62% (MAE) kõrgem kui RF ja SVM, kuid see kehtib ka andmekogumite HILL ja B puhul, kus erinevus RRMSE ja MAE oli vastavalt 7–10% ja 12–17%.

See on tellitud sisu eelvaade, millele pääseb juurde oma asutuse kaudu.


Regressioonimudelite sobivuse hindamine

Hästi sobiva regressioonimudeli tulemuseks on prognoositud väärtused, mis on lähedased täheldatud andmeväärtustele. Keskmist mudelit, mis kasutab iga ennustatud väärtuse keskmist, kasutatakse tavaliselt juhul, kui puuduvad informatiivsed ennustajad. Kavandatud regressioonimudeli sobivus peaks seega olema parem kui keskmise mudeli sobivus.

Tavaliste vähimruutude (OLS) regressioonis kasutatakse mudeli sobivuse hindamiseks kolme statistikat: R-ruut, üldine F-test ja algväärtuse ruutviga (RMSE). Kõik kolm põhinevad kahel ruudusummal: ruutude summa (SST) ja ruutude summa viga (SSE). SST mõõdab, kui kaugel on andmed keskmisest, ja SSE mõõdab, kui kaugel on andmed mudeli prognoositud väärtustest. Nende kahe väärtuse erinevad kombinatsioonid annavad erinevat teavet selle kohta, kuidas regressioonimudel võrrelda keskmise mudeliga.

R-ruut ja kohandatud R-ruut

Erinevus SST ja SSE vahel on prognoosimise paranemine regressioonimudelist võrreldes keskmise mudeliga. Selle erinevuse jagamine SST-ga annab R-ruudu. See on prognoosimise proportsionaalne paranemine regressioonimudelist võrreldes keskmise mudeliga. See näitab mudeli sobivust.

R-ruudul on kasulik omadus, et selle skaala on intuitiivne: see on vahemikus null kuni üks, kusjuures null näitab, et kavandatav mudel ei paranda keskmise mudeli ennustamist, ja üks näitab täiuslikku ennustust. Regressioonimudeli täiustamise tulemusel suureneb R-ruut proportsionaalselt.

R-ruudu üks lõks on see, et see võib ainult suureneda, kui regressioonimudelile lisatakse ennustajad. See tõus on kunstlik, kui ennustajad tegelikult ei paranda mudeli sobivust. Selle parandamiseks sisaldab seotud statistika kohandatud R-ruutu mudeli vabadusastmeid. Korrigeeritud R-ruut väheneb ennustajate lisamisel, kui mudeli sobivuse suurenemine ei korvata vabadusastmete kaotamist. Samuti suureneb see ennustajate lisamisel, kui mudeli sobivuse suurendamine on seda väärt. Korrigeeritud R-ruutu tuleks alati kasutada mudelitel, millel on rohkem kui üks ennustaja. Seda tõlgendatakse kui kogu dispersiooni osakaalu, mida mudel selgitab.

On olukordi, kus kõrge R-ruut pole vajalik ega asjakohane. Kui huvi on muutujate vahel, mitte ennustamisel, on R-ruut vähem oluline. Näitena võib tuua uuringu selle kohta, kuidas religioossus mõjutab tervisetulemusi. Hea tulemus on usaldusväärne suhe religioossuse ja tervise vahel. Keegi ei ootaks, et religioon selgitab suurt osa tervise erinevustest, kuna tervist mõjutavad paljud muud tegurid. Isegi kui mudel võtab arvesse muid muutujaid, mis teadaolevalt mõjutavad tervist, nagu sissetulek ja vanus, on R-ruut vahemikus 0,10 kuni 0,15 mõistlik.

F-testis hinnatakse nullhüpoteesi, et kõik regressioonikoefitsiendid on võrdsed nulliga võrreldes alternatiiviga, et vähemalt üks pole. Samaväärne nullhüpotees on, et R-ruut võrdub nulliga. Märkimisväärne F-test näitab, et täheldatud R-ruut on usaldusväärne ega ole andmekogumi veidruste vale tulemus. Seega määrab F-test kindlaks, kas kavandatav seos vastuse muutuja ja ennustajate kogumi vahel on statistiliselt usaldusväärne ja kas see võib olla kasulik, kui uurimise eesmärk on kas ennustus või selgitus.

RMSE on jääkide dispersiooni ruutjuur. See näitab mudeli absoluutset sobivust andmetega ja kui lähedal on täheldatud andmepunktid mudeli prognoositud väärtustele. Kui R-ruut on sobivuse suhteline näitaja, siis RMSE on sobivuse absoluutne näitaja. Dispersiooni ruutjuurena saab RMSE -d tõlgendada kui seletamatu dispersiooni standardhälvet ja sellel on kasulik omadus olla vastuse muutujaga samades ühikutes. Madalamad RMSE väärtused näitavad paremat sobivust. RMSE on hea näitaja selle kohta, kui täpselt mudel vastust ennustab, ja see on sobivuse kõige olulisem kriteerium, kui mudeli peamine eesmärk on ennustamine.

Mudeli sobivuse parim näitaja sõltub teadlase eesmärkidest ja sageli on kasu rohkem kui ühest. Eespool käsitletud statistika on rakendatav regressioonimudelite puhul, mis kasutavad OLS -i hinnangut. Paljud regressioonimudelite tüübid, näiteks segamudelid, üldistatud lineaarsed mudelid ja sündmuste ajaloo mudelid, kasutavad maksimaalse tõenäosuse hindamist. Selliste mudelite kohta pole seda statistikat saadaval.


4 vastust 4

Ma ei ole näinud Pearsoni $ r $ kasutamist statistikana, mida kasutati a kvaliteedi määramisel ennustav mudel. Võib -olla peate silmas seda, et kasutate selleks $ R^2 $. Kui see nii on, siis erinevused tõlgendamine RMSE ja $ R^2 $ vahel arutatakse siin. See on ka minu arusaam, et kasutamine kohandatud $ R^2 $ on eelistatav tavalisele $ R^2 $ (http://www.theanalysisfactor.com/assessing-the-fit-of-regression-models):

R-ruudu üks lõks on see, et see võib ainult suureneda, kui regressioonimudelile lisatakse ennustajad. See tõus on kunstlik, kui ennustajad tegelikult mudeli sobivust ei paranda. Selle parandamiseks sisaldab seotud statistika kohandatud R-ruutu mudeli vabadusastmeid. Korrigeeritud R-ruut väheneb ennustajate lisamisel, kui mudeli sobivuse suurenemine ei korva vabadusastmete kaotust. Samuti suureneb see ennustajate lisamisel, kui mudeli sobivuse suurendamine on seda väärt. Korrigeeritud R-ruutu tuleks alati kasutada mudelitel, millel on rohkem kui üks ennustaja. Seda tõlgendatakse kui kogu dispersiooni osakaalu, mida mudel selgitab.

Hiljuti olen näinud ka soovitust kasutada ennustatut ruutude jääksumma $ R^2 $ asemel statistika ennustav kvaliteet (võimsus) regressioonimudelist: http://www.analyticbridge.com/profiles/blogs/use-press-not-r-squared-to-judge-predictive-power-of-regression.

Lisaks pole ma kindel, kas on mõtet võrrelda RMSE -d ja $ R^2 $ üldiselt, kuna esimene on absoluutne sobivuse mõõt, samas kui viimane on a sugulane üks (statistika) kaalud on erinevad).


Vaata videot: How to calculate the Root Mean Square Error RMSE of an interpolated pH raster