Metóda najmenších štvorcov

Pod aproximáciou funkcie rozumieme nahradenie funkcie inou funkciou, ktorej vzdialenosť od pôvodnej funkcie je minimálna.  Pojem minimálnej vzdialenosti dvoch funkcií môžeme nahradiť podmienkou, aby odchýlky od pôvodnej  funkcie boli celkovo minimálne. V niektorých odborných literatúrach sa môžeme stretnúť aj s pojmom priblíženia sa. Metódu najmenších štvorcov používame najmä v situáciách keď hodnoty pôvodnej funkcie \(f(x)\) nie sú určené s vysokou presnosťou napr. z dôvodu chýb zo zaokrúhľovania alebo chybou merania. Kým v interpolačnej metóde sa aproximačná funkcia \(g(x)\) hľadá na základe splnenia podmienky \(g(x_i)=f(x_i)\) pre \(i=0,1,\dots,n\),  v metóde najmenších štvorcov ju hľadáme tak, aby súčet  štvorcov odchýliek bol minimálny t.j. \[\sum_{i=0}^n \left [g(x_i)-f(x_i)\right]^2\to \min.\]

Aproximácia metódou najmenších štvorcov

Predpokladajme, že máme \(n+1\) hodnôt  \(f(x_0),f(x_1),\dots,f(x_n)\) funkcie  \(f(x)\) v rôznych bodoch \(x_0,x_1,\dots,x_n\) na intervale \(\left<a,b\right>\). Hľadáme aproximačnú funkciu \(g(x)\) v tvare polynómu \(m\) - tého stupňa \[P_m(x)=a_0+a_1x+\dots+a_mx^m=\sum_{i=0}^m a_ix^i,\]kde stupeň polynómu \(m\) je podstatne menší ako \(n\). Požiadavkou je, aby suma odchýlok hodnôt nášho polynómu \(P_m(x)\) (aproximačnej funkcie \(g(x)\))  od pôvodnej funkcie \(f(x)\) bola minimálna t.j. \[\sum_{i=0}^n \left |P_m(x_i)-f(x_i)\right|\to \min.\]Zo základného kurzu matematickej analýzy vieme, že "slušná" funkcia (napr. diferencovateľná na danom intervale) nadobúda extrémne hodnoty (maximum a minimum) v stacionárnych bodoch. Nakoľko absolútnu hodnotu nevieme derivovať, tak ju nahradíme druhou mocninou rozdielu, ktorá má veľmi podobné vlastnosti, t.j. je kladná a definuje mieru rozdielu hodnôt. Takouto zámenou dostávame \[d(a_0,a_1,\dots,a_m)=\sum_{i=0}^n \left [P_m(x_i)-f(x_i)\right]^2\to \min.\]Cieľom metódy najmenších štvorcov je určiť neznáme reálne koeficienty \(a_j\), pre \(j=0,1,\dots,m\), ktoré minimalizujú funkciu \(d\).  Minimum funkcie \(d\) nájdeme metódou, ktorá sa používa pri hľadaní extrémov funkcie viac premenných. Parciálne derivácie funkcie \(d\) podľa jednotlivých premenných \(a_j\), pre \(j=0,1,\dots,m\) položíme rovné \(0\), a tak \[\frac{\partial d}{\partial a_j}=2\sum_{i=0}^n\left[a_0+a_1x_i+\dots+a_mx_i^m-f_i(x)\right]x_i^j=0,\]pre \(j=0,1,\dots,m\). Z toho dostávame lineárny systém \(m+1\) rovníc s \(m+1\) neznámymi:\[a_0\sum_{i=0}^n1.1+\dots+a_m\sum_{i=0}^n1.x_i^m=\sum_{i=0}^n1.f(x_i)\]\[a_0\sum_{i=0}^nx_i.1+\dots+a_m\sum_{i=0}^nx_i.x_i^m=\sum_{i=0}^nx_i.f(x_i)\]\[\vdots\]\[a_0\sum_{i=0}^nx_i^m.1+\dots+a_m\sum_{i=0}^nx_i^m.x_i^m=\sum_{i=0}^nx_i^m.f(x_i).\]

Zovšeobecnenie metódy najmenších štvorcov

Myšlienku hľadania aproximačnej funkcie \(g(x)\) v tvare polynómu \(P_m(x)\)  môžeme zovšeobecniť pre \(m+1\) lineárne nezávislých funkcií \(\varphi_0(x),\varphi_1(x),\dots,\varphi_m(x)\) t.j. \[g(x)=a_0\varphi_0(x)+a_1\varphi_1(x)+\dots+a_m\varphi_m(x),\] kde koeficienty \(a_j\), pre \(j=0,1,\dots,m\) určíme rovnakým spôsobom ako bolo zmienené vyššie. Lineárny systém \(m+1\) rovníc s \(m+1\) neznámymi  je tvare:\[a_0\sum_{i=0}^n\varphi_0(x_i).\varphi_0(x_i)+\dots+a_m\sum_{i=0}^n\varphi_0(x_i).\varphi_m(x_i)=\sum_{i=0}^n\varphi_0(x_i).f(x_i)\]\[a_0\sum_{i=0}^n\varphi_1(x_i)\varphi_0(x_i)+\dots+a_m\sum_{i=0}^n\varphi_1(x_i).\varphi_m(x_i)=\sum_{i=0}^n\varphi_1(x_i).f(x_i)\]\[\vdots\]\[a_0\sum_{i=0}^n\varphi_m(x_i).\varphi_0(x_i)+\dots+a_m\sum_{i=0}^n\varphi_m(x_i).\varphi_m(x_i)=\sum_{i=0}^n\varphi_m(x_i).f(x_i).\]Nakoľko \(1,x,\dots,x^m\) sú lineárne nezávislé funkcie, tak špeciálne pre \( \varphi_i(x)=x^i\),  \(i=0,1,\dots,m\) dostávame  vyššie zmienenú aproximačnú funkciu \(g(x)\) v tvare polynómu \(P_m(x)=a_0+a_1x+\dots+a_mx^m\).