Usor:Toadino2/Harenarium/9

In statistica, regressio ratio est ad implicationem mentiendam inter duas variabiles. Singillatim adest variabilis dependens Y, cuius valor dependit a valore variabilis independentis X.

Mundi inter res quasdam implicationes rarenter totales sunt; saepe variabilis dependens, cum a variabili independenti dependat, aliarum multarum rerum vi quoque inflectitur. Exempli gratia, quamquam temperatura aëris a tempore anni dependit, etiam aliae res tamquam pluvia ac nubes hanc inflectunt. Utcumque haec implicatio describi potest.

Itaque sic definimus ratio regressionis:

$y=f(x)+\epsilon$

Verbis dictu, variabilis dependens functio est variabilis independentis, addito residuo, quod in unun numerum omnes res complectitur, quae variabilem dependentem commutavisse putatae sint.

Regressio linearis

Cum ratione regressionis functio f(x) est lineae aequatio, regressio linearis dicitur.

Itaque coniecturamus posse implicationem functione istius generis scribere:

$y=\beta _{0}+\beta _{1}x+\epsilon$

Omne enim quod est faciendum, est ut computentur numeri $\beta _{0},\beta _{1}$. Id fieri potest per methodum quadratorum minimorum cum e populatione elementa extracta sint: numeri enim quaeruntur qui minimum errorem existimandi faciant, immo si ${\hat {y}}$ est valor variabilis independentis qui a ratione regressionis computatur ($\beta _{0}+\beta _{1}x_{i}$), et $y$ valor elementi inspectus, hunc numerum minimum faciat:

$({\hat {y}}-y)^{2}$

Demonstrari potest hos esse eos numeros:

$b_{1}={\frac {\sum _{i=1}^{N}(x_{i}-\mu _{X})(y_{i}-\mu _{Y})}{\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2}}}$

$b_{0}=\mu _{Y}-b_{1}\mu _{X}$

Patet esse summam numeratoris primi eorum duorum coefficientis inter charactera codeviantiam alteramque denominatoris deviantia characteris X; quo potest rescribi:

$b_{1}={\frac {C_{XY}}{D_{X}}}={\frac {\sigma _{XY}}{\sigma _{X}^{2}}}$

itaque est covariantia variantia characteris X divisa.

Quibus computatis ascribitur linea regressionis:

${\hat {y}}=b_{0}+b_{1}x$

Singillatim coefficiens $b_{0}$ valorem praedictum variabilis dependentis significat variabili independenti nulla, et $b_{1}$ quanto numero augeatur variabilis dependens uno variabili independenti addito. Itaque semper punctum $(\mu _{X},\mu _{Y})$ linea regressionis contingit.

Differentia inter valores variabilis dependentis eosque praedictos ${\hat {y}}_{i}$ residuum appellatur: $e_{i}={\hat {y}}_{i}-y_{i}$. Residuorum summa semper nulla est: $\sum _{i=1}^{N}e_{i}=0$. Valet enim: $\sum _{i=1}^{N}(y_{i}-{\hat {y}}_{i})=\sum _{i=1}^{N}(y_{i}-(\mu _{Y}-b_{1}\mu _{X}+b_{1}x_{i}))=\sum _{i=1}^{N}y_{i}-N\mu _{Y}+Nb_{1}\mu _{X}-b_{1}\sum _{i=1}^{N}x_{i}=0$

Demonstratio methodi minimorum quadratorum

Haec functio minima facienda est:

$S_{q}=\sum _{i=1}^{N}(y_{i}-b_{0}-b_{1}x_{i})^{2}=\sum _{i=1}^{N}(y-{\hat {y}})^{2}$

Primum numero $b_{0}$ inveniendo, sit $w_{i}=y_{i}-b_{1}x_{i}$, cuius membra a $b_{0}$ non dependunt. Ob proprietates medietatis arithmeticae, summa $\sum _{i=1}^{N}(w_{i}-b_{0})^{2}$ minima fit cum $b_{0}$ sit medietas arithmetica numerorum $w_{i}$. Ergo habetur: $b_{0}={\frac {1}{N}}\sum _{i=1}^{N}w_{i}=\mu _{Y}-b_{1}\mu _{X}$.

Tum nunc cuncta functio minima possumus facere numero $b_{0}$ in ipsam functionem supposito:

$S_{q}=\sum _{i=1}^{N}(y_{i}-\mu _{Y}+b_{1}\mu _{X}-b_{1}x_{i})^{2}=\sum _{i=1}^{N}((y_{i}-\mu _{Y})-b_{1}(x_{i}-\mu _{X}))^{2}$

Quod sic potest evolvi:

$S_{q}=b_{1}^{2}\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2}-2b_{1}\sum _{i=1}^{N}(x_{i}-\mu _{X})(y_{i}-\mu _{Y})+\sum _{i=1}^{N}(y_{i}-\mu _{Y})^{2}$

Patet hanc esse aequationem parabolae ab imo adsurgentis, quod coefficiens membri quadrati est positivus; minima igitur fit in parabolae vertice:

$b_{1}={\frac {{\text{coefficiens membri }}b_{1}}{2\times {\text{coefficiens membri }}b_{1}^{2}}}={\frac {2\sum _{i=1}^{N}(x_{i}-\mu _{X})(y_{i}-\mu _{Y})}{2\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2}}}$

quae erant demonstranda.

Idoneitas lineae regressionis

Pluraeque lineae regressionis non perfecte data contingunt. Index enim exstruendus est eius idoneitatem mensurus.

Sit haec decompositio deviantiae:

$D_{Y}=\sum _{i=1}^{N}(y_{i}-\mu _{Y})^{2}=\sum _{i=1}^{N}({\hat {y}}_{i}-\mu _{Y})^{2}+\sum _{i=1}^{N}(y_{i}-{\hat {y}}_{i})^{2}=D_{EL}+D_{RL}$

ubi $D_{EL}$ dicitur deviantia explicita ac $D_{RL}$ deviantia residua.

Ex his duabus nunc definitur index determinationis:

$r^{2}={\frac {\sum _{i=1}^{N}({\hat {y}}_{i}-\mu _{Y})^{2}}{\sum _{i=1}^{N}(y_{i}-\mu _{Y})^{2}}}={\frac {D_{EL}}{D_{Y}}}=1-{\frac {\sum _{i=1}^{N}(y_{i}-{\hat {y}}_{i})^{2}}{\sum _{i=1}^{N}(y_{i}-\mu _{Y})^{2}}}=1-{\frac {D_{RL}}{D_{Y}}}$

Quae postrema aequatio educitur differentiam $D_{Y}-D_{RL}$ in locum deviantiae explicitae supponendo.

Aliter demonstrari potest hunc indicem ita quoque posse scribi:

$r^{2}={\frac {(\sum _{i=1}^{N}(x_{i}-\mu _{X})(y_{i}-\mu _{Y}))^{2}}{\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2}\sum _{i=1}^{N}(y_{i}-\mu _{Y})^{2}}}$

Nam quod, ut subtus demonstrabitur, $\sum _{i=1}^{N}({\hat {y}}_{i}-\mu _{Y})^{2}=b_{1}^{2}\sum _{i=1}^{N}(x_{i}-\mu _{X})$, scribimus:

$r^{2}={\frac {b_{1}^{2}\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2}}{\sum _{i=1}^{N}(y_{i}-\mu _{Y})^{2}}}={\frac {{\frac {(\sum _{i=1}^{N}(x_{i}-\mu _{X})(y_{i}-\mu _{Y}))^{2}}{(\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2})^{2}}}\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2}}{\sum _{i=1}^{N}(y_{i}-\mu _{Y})^{2}}}$

e quo computationibus simplicibus educitur quod erat demonstrandum.

Sic scripta magis praestat formula indicem computare.

Demonstratio supradictae decompositionis deviantiae

Sic summa quadratorum deviantiae residuae potest evolvi:

$\sum _{i=1}^{N}(y_{i}-{\hat {y}}_{i})^{2}=\sum _{i=1}^{N}(y_{i}-b_{0}-b_{1}x_{i})^{2}=\sum _{i=1}^{N}(y_{i}-\mu _{Y}+b_{1}\mu _{X}-b_{1}x_{i})^{2}=$

$\sum _{i=1}^{N}(y_{i}-\mu _{Y})^{2}+b_{1}^{2}\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2}-2b_{1}\sum _{i=1}^{N}(x_{i}-\mu _{X})(y_{i}-\mu _{Y})=$

$\sum _{i=1}^{N}(y_{i}-\mu _{Y})^{2}+b_{1}^{2}\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2}-2b_{1}^{2}\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2}=\sum _{i=1}^{N}(y_{i}-\mu _{Y})^{2}-b_{1}^{2}\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2}$

Ac cum postremum membrum ita commutetur:

$b_{1}^{2}\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2}=\sum _{i=1}^{N}(b_{1}x_{i}-b_{1}\mu _{X})^{2}=\sum _{i=1}^{N}(\mu _{Y}-b_{1}\mu _{X}+b_{1}x_{i}-\mu _{Y})^{2}=\sum _{i=1}^{N}({\hat {y}}_{i}-\mu _{Y})^{2}$

Sic summa fit:

$\sum _{i=1}^{N}(y_{i}-{\hat {y}}_{i})^{2}=\sum _{i=1}^{N}(y_{i}-\mu _{Y})^{2}-\sum _{i=1}^{N}({\hat {y}}_{i}-\mu _{Y})^{2}$

quod erat demonstrandum.

Proprietates indicis determinationis

1. Inter $[0,1]$ comprehenditur.
2. Nullus est nulla deviantia explicita, linea igitur regressionis parallela assi horizontali plani Cartesiani.
3. Unus est nulla deviantia residua, cum igitur omnia puncta in linea regressionis perfecte iaceant.

His tribus intellegitur indicem augeri, cum propiora sint puncta lineae regressionis.

Demonstratio tertiae proprietatis indicis

Cum omnia puncta in linea perfecte iaceant, aequatione certe hac inveniuntur:

$y_{i}=c+dx_{i}$

Quod si verum est, ita regressionis coefficientes fiunt:

$\mu _{Y}=c+d\mu _{X}$

$b_{1}={\frac {\sum _{i=1}^{N}(x_{i}-\mu _{X})(c+dx_{i}-c-d\mu _{X})}{\sum _{i=1}^{N}(x_{i}-\mu _{X})^{2}}}=d$

$b_{0}=\mu _{Y}-b_{1}\mu _{X}=c+d\mu _{X}-d\mu _{X}=c$

In qua igitur iacent puncta linea est linea regressionis, obque id quaeque distantia inter puncta valoresque a linea regressionis praedictos nulla fit: $\sum _{i=1}^{N}(y_{i}-{\hat {y}}_{i})^{2}=0$, quod est deviantia residua; habetur igitur $r^{2}=1$. Contra facile demonstratur proprietas inversa: cum enim index unus sit, nulla est deviantia residua, patetque:

$\sum _{i=1}^{N}(y_{i}-{\hat {y}}_{i})^{2}=0\rightarrow y_{i}-{\hat {y}}_{i}=0\forall i\rightarrow {\hat {y}}_{i}=b_{0}+b_{1}x_{i}=y_{i}$

quod erat tertia proprietas demonstranda.

Error medius praedictionis

Hic index mentitur quantus error fiat, cum in loco valorum spectatorum variabilis dependentis subdantur valores praedicti. E deviantia residua definitur:

$\sigma _{RL}=\sigma _{Y}{\sqrt {1-r^{2}}}$

Curvamen regressionis

Curvamen regressionis e medietatibus conditionatis unius characteris exstruitur. Singillatim si $\{x_{1},x_{2}...x_{N}\}$ valores sunt characteris X, $\{\mu (x_{1}),\mu (x_{2})...\mu (x_{N})\}$ medietates conditionatae, curvamen regressionis est curvamen coniungens puncta $(x_{i},\mu (x_{i}))$.

Quod linea non est, id propius versatur datis observatis. Eius enim index determinationis est:

$\eta _{Y}^{2}={\frac {\sum _{i=1}^{s}(\mu _{Y}(x_{i})-\mu _{Y})^{2}n_{i0}}{\sum _{j=1}^{t}(y_{j}-\mu _{Y})^{2}n_{0j}}}$

Semper id viget: $r^{2}\leq \eta _{Y}^{2}$

Bibliographia

• Cicchitelli, D'Urso, Minozzo, 2018. Statistica: principi e metodi. Pearson. ISBN 9788891902788.