全点通る滑らかな関数近似をしたい

ここでは、複数のデータ点が与えられその全ての点を通る近似関数を推定する方法についてまとめます。近似とは行っていますが、補間に近いイメージでしょうか? 基本的な作戦は、複数の関数の足し合わせで滑らかな関数を作り出します。足し合わせるときにその係数をどのように求めるかなどが関数作成の際の主な作業になります。 主な方法は以下の通りです。 ・多項式補間 (ラグランジュ補間、ニュートン補間) ・スプライン補間 ・ベジェ補間 ・カーネル法

今回の方法では各データ点において傾きは連続になります。右のような折れ線関数等においては傾きは不連続になり、また関数を一つの式では表すことができません.

多項式補間に関しては、「ルンゲ現象」の問題点が分かっており、それらを解消するのが、スプラインになります. 多項式補間の補間は結果的には一つの式に定まりますが、複数の算出方法があります. 実際の数値計算においては数値に誤差が乗ることで適切な値が出ないことがあるため、ラグランジュ補間またはニュートン補間を使用します。 そしてこれらはともにルンゲ現象になりうる補間となっています。 「ルンゲ現象」とは通常は補間点が多いほど精度がよくなるのに、特定の関数のときにおいて補間点が多いほど関数が暴れて誤差が大きくなるような現象のことを差します.

ラグランジュ補間を用いれば、指定した点を通る関数を得ることができます. ラグランジュ補間では以下の式で表されるラグランジュ基底多項式の線形結合で表現されます. このときの条件はどの点のxも同一ではないことです. 下の式でx = xpのときには、上の前提よりj=pのとき以外は全て0になるため、他の項は全てなくなるのがポイント

ニュートン補間はラグランジュ補間と同様なものなので省略. 詳細はwikipedia参照

スプライン補間を行うことで、ルンゲ現象を起こさずに全ての点を通る関数を用意することができます.このスプライン補間において関数に影響するものは特定の区間のところのみになり関数全体の影響は受けません。

スプライン関数は、 ・値が連続になること ・次の関数との接続点で値が与えられたyと等しくなること ・次の関数との接続点で傾きが連続すること ・次の関数との接続点で二次微分が連続すること を守るものとされます.

スプライン関数を求めるときには、S(x) = a + b*x+ c*x^2 + d*x^3のような3次スプライン関数を作成し、このパラメータを求めていきます. これらは上記の定義と合わせれば連立方程式から導くことができます.

多項式補間などにおいてはパラメータの数は使用する特徴量の次元数によって決まります.しかし、特徴量を増やしすぎた場合はとんでもなく計算に時間がかかってしまいます。 そこでカーネル法を用いて補間の関数近似を行うと、サンプリングした数がパラメータの次元になり、計算自体も簡単になります. カーネル法は上記の多項式補間と少し異なり、以下の関数ようにカーネル関数を決めてそれを決めた上でαを決めていくことになります.下の式のように全点の値を使用して関数が定義されており、全点を通った関数が出力されます.

$$f(x)=∑_{n=1}^N \alpha_nK(x,x_n)$$ $$K(x,y)=∑_{m=1}^Mϕ_m(x)ϕ_m(y)$$

通常,過学習を防ぐために正則化項を最終的な解の式に加えます.これを加えることで過学習を防ぎ自然な関数にします. しかし、それを加えると今回の「全点を通って」というのが守られないので、ここでは記述していません.