Chybějící součet čtverců - Lack-of-fit sum of squares

v statistika, a součet čtverců z důvodu nedostatečného přizpůsobenínebo více stručně a nevyhovující součet čtverců, je jednou ze součástí oddílu systému Windows součet čtverců zbytků v an analýza rozptylu, použitý v čitatel v F-test z nulová hypotéza to říká, že navrhovaný model se hodí dobře. Druhou složkou je součet čistých chyb čtverců.

Součet čistých chyb čtverců je součtem čtvercových odchylek každé hodnoty závislá proměnná z průměrné hodnoty za všechna sdílená pozorování nezávislé proměnné hodnota (hodnoty). Jedná se o chyby, kterým by se nikdy nemohlo vyhnout žádná prediktivní rovnice, která přiřadila předpokládanou hodnotu závislé proměnné jako funkci hodnoty (hodnot) nezávislé proměnné (proměnných). Zbytek zbytkového součtu čtverců je přičítán nedostatečnému přizpůsobení modelu, protože by bylo matematicky možné tyto chyby zcela eliminovat.

Náčrt myšlenky

Aby se neshodný součet čtverců lišil od součet čtverců zbytků, tam musí být víc než jeden hodnota proměnná odezvy pro alespoň jednu z hodnot sady predikčních proměnných. Zvažte například umístění čáry

${ displaystyle y = alpha x + beta ,}$

metodou nejmenší čtverce. Jeden bere jako odhady α a β hodnoty, které minimalizují součet čtverců zbytků, tj. součet čtverců rozdílů mezi pozorovanými y-hodnota a vybavené y-hodnota. Chcete-li mít neshodný součet čtverců, který se liší od zbytkového součtu čtverců, musíte pozorovat více než jeden y-hodnota pro každý z jednoho nebo více z X-hodnoty. Jeden pak rozdělí „součet čtverců kvůli chybě“, tj. Součet čtverců zbytků, na dvě složky:

součet čtverců v důsledku chyby = (součet čtverců v důsledku "čisté" chyby) + (součet čtverců v důsledku nedostatečné shody).

Součet čtverců způsobených „čistou“ chybou je součtem čtverců rozdílů mezi jednotlivými pozorovanými y-hodnota a průměr všech y-hodnoty odpovídající stejné X-hodnota.

Součet čtverců z důvodu nedostatečného přizpůsobení je vážený součet čtverců rozdílů mezi každým průměrem y-hodnoty odpovídající stejné X-hodnota a odpovídající namontovaný y-hodnota, přičemž váha v každém případě je prostě počet pozorovaných y- hodnoty za to X-hodnota.^[1][2] Protože je vlastností regrese nejmenších čtverců, že vektor, jehož součásti jsou „čisté chyby“ a vektor prvků, které nejsou vhodné, jsou vzájemně kolmé, platí následující rovnost:

${ displaystyle { begin {zarovnáno} & sum ({ text {sledovaná hodnota}} - { text {přizpůsobená hodnota}}) ^ {2} && { text {(chyba)}} & qquad = sum ({ text {sledovaná hodnota}} - { text {místní průměr}}) ^ {2} && { text {(čistá chyba)}} & qquad qquad {} + sum { text {weight}} times ({ text {místní průměr}} - { text {přizpůsobená hodnota}}) ^ {2} && { text {(nedostatek přizpůsobení)}} end {zarovnáno}}}$

Proto byl zbytkový součet čtverců zcela rozložen na dvě složky.

Matematické detaily

Zvažte přizpůsobení čáry jedné proměnné prediktoru. Definovat i jako index každého z n odlišný X hodnoty, j jako index pozorování proměnné odezvy pro daný X hodnota a n_i jako počet y hodnoty spojené s i ^th X hodnota. Hodnotu každého pozorování proměnné odezvy lze vyjádřit pomocí

${ displaystyle Y_ {ij} = alpha x_ {i} + beta + varepsilon _ {ij}, qquad i = 1, dots, n, quad j = 1, dots, n_ {i}. }$

Nechat

${ displaystyle { widehat { alpha}}, { widehat { beta}} ,}$

být nejmenší čtverce odhady nepozorovatelných parametrů α a β na základě pozorovaných hodnot X _i a Y _{já j}.

Nechat

${ displaystyle { widehat {Y}} _ {i} = { widehat { alpha}} x_ {i} + { widehat { beta}} ,}$

být přizpůsobené hodnoty proměnné odezvy. Pak

${ displaystyle { widehat { varepsilon}} _ {ij} = Y_ {ij} - { widehat {Y}} _ {i} ,}$

jsou zbytky, což jsou pozorovatelné odhady nepozorovatelných hodnot chybového členuε _ij. Vzhledem k povaze metody nejmenších čtverců je celý vektor zbytků s

${ displaystyle N = součet _ {i = 1} ^ {n} n_ {i}}$

skalární komponenty, nutně splňuje dvě omezení

${ displaystyle sum _ {i = 1} ^ {n} sum _ {j = 1} ^ {n_ {i}} { widehat { varepsilon}} _ {ij} = 0 ,}$

${ displaystyle sum _ {i = 1} ^ {n} left (x_ {i} sum _ {j = 1} ^ {n_ {i}} { widehat { varepsilon}} _ {ij} vpravo) = 0. ,}$

Je tedy nuceno ležet v (N - 2) -dimenzionální podprostor R ^N, tj. existují N − 2 "stupně svobody pro chybu ".

Teď nech

${ displaystyle { overline {Y}} _ {i bullet} = { frac {1} {n_ {i}}} součet _ {j = 1} ^ {n_ {i}} Y_ {ij}}$

být průměrem všech Y-hodnoty spojené s i ^th X-hodnota.

Součet čtverců kvůli chybě rozdělíme na dvě složky:

${ displaystyle { begin {aligned} & sum _ {i = 1} ^ {n} sum _ {j = 1} ^ {n_ {i}} { widehat { varepsilon}} _ {ij} ^ {, ​​2} = sum _ {i = 1} ^ {n} sum _ {j = 1} ^ {n_ {i}} left (Y_ {ij} - { widehat {Y}} _ { i} right) ^ {2} & = underbrace { sum _ {i = 1} ^ {n} sum _ {j = 1} ^ {n_ {i}} left (Y_ {ij} - { overline {Y}} _ {i bullet} right) ^ {2}} _ { text {(součet čtverců kvůli čisté chybě)}} + underbrace { sum _ {i = 1} ^ {n} n_ {i} left ({ overline {Y}} _ {i bullet} - { widehat {Y}} _ {i} right) ^ {2}.} _ { text { (součet čtverců kvůli nedostatečnému uložení)}} end {zarovnáno}}}$

Pravděpodobnostní rozdělení

Součty čtverců

Předpokládejme chybové podmínky ε _{já j} jsou nezávislý a normálně distribuováno s očekávaná hodnota 0 a rozptyl  σ². Léčíme X _i spíše konstantní než náhodné. Pak proměnné odezvy Y _{já j} jsou náhodné pouze proto, že chyby ε _{já j} jsou náhodné.

Lze ukázat, že pokud je přímkový model správný, pak součet čtverců kvůli chybě děleno odchylkou chyby,

${ displaystyle { frac {1} { sigma ^ {2}}} sum _ {i = 1} ^ {n} sum _ {j = 1} ^ {n_ {i}} { widehat { varepsilon}} _ {ij} ^ {, 2}}$

má distribuce chí-kvadrát s N - 2 stupně volnosti.

Navíc vzhledem k celkovému počtu pozorování N, počet úrovní nezávislé proměnné n, a počet parametrů v modelu p:

• Součet čtverců v důsledku čisté chyby vydělený odchylkou chyby σ², má distribuci chí-kvadrát s N − n stupně svobody;
• Součet čtverců kvůli nedostatku shody vydělený odchylkou chyby σ², má distribuci chí-kvadrát s n − p stupně volnosti (zde p = 2, protože v lineárním modelu existují dva parametry);
• Dva součty čtverců jsou pravděpodobnostně nezávislé.

Statistika testu

Z toho pak vyplývá, že statistika

${ displaystyle { begin {aligned} F & = { frac {{ text {nedostatek součtu čtverců}} / { text {stupně volnosti}}} {{ text {čistá chyba součet squares}} / { text {stupně volnosti}}}} [8pt] & = { frac { left. sum _ {i = 1} ^ {n} n_ {i} left ({ overline {Y}} _ {i bullet} - { widehat {Y}} _ {i} right) ^ {2} right / (np)} { left. sum _ {i = 1} ^ {n} sum _ {j = 1} ^ {n_ {i}} left (Y_ {ij} - { overline {Y}} _ {i bullet} right) ^ {2} right / ( Nn)}} end {zarovnáno}}}$

má F-distribuce s odpovídajícím počtem stupňů volnosti v čitateli a jmenovateli, za předpokladu, že je model správný. Pokud je model špatný, pak je rozdělení pravděpodobnosti jmenovatele stále, jak je uvedeno výše, a čitatel a jmenovatel jsou stále nezávislé. Ale čitatel pak má a necentrální distribuce chí-kvadrát a následně kvocient jako celek má a necentrální F-distribuce.

Jeden používá tuto F-statistiku k testování nulová hypotéza že lineární model je správný. Protože necentrální distribuce F je stochasticky větší než (centrální) distribuce F, odmítne nulovou hypotézu, pokud je statistika F větší než kritická hodnota F. Kritická hodnota odpovídá kumulativní distribuční funkce z F distribuce s X se rovná požadovanému úroveň spolehlivosti a stupně volnosti d₁ = (n − p) a d₂ = (N − n).

Předpoklady normální distribuce chyb a nezávislost lze prokázat, že to znamená test nezpůsobilosti je test poměru pravděpodobnosti této nulové hypotézy.

Viz také

• Frakce rozptylu nevysvětlitelná
• Lineární regrese

Poznámky