23.5 多項式回帰

多項式回帰 (Polynomial Regression) を使うのは:

独立変数は、予測変数とも呼ばれる既知の変数です。独立変数を変化させると、それに対応する従属変数 (応答変数ともいう) の値が決まります。

独立変数と従属変数の関係が1次 (直線) であることが既知である場合は、多重線形回帰 (Multiple Linear Regression) を使います。この関係が線形多項式 (linear polynomial) でない場合は (例えば、対数や指数関数) 、非線形回帰 (Nonlinear Regression) を使います。

  1. 多項式回帰について
  2. 多項式回帰を実行する
  3. 多項式回帰のデータを配置する
  4. 多項式回帰オプションを設定する
    1. Options for Polynomial Regression: Criterion
    2. Options for Polynomial Regression: Assumption Checking
    3. Options for Polynomial Regression: Residuals
    4. Options for Polynomial Regression: More Statistics
    5. Options for Polynomial Regression: Post Hoc Tests
  5. 多項式回帰を実行する
  6. インクリメント型多項式回帰の結果を解釈する
    1. 回帰方程式
    2. インクリメント型の結果
    3. 仮説検定
    4. 最良モデルを選択する
  7. 次数のみの多項式回帰の結果を解釈する
    1. 回帰方程式
    2. 分散分析 (ANOVA)
    3. 推定量の標準誤差
    4. Durbin-Watson 統計量
    5. 正規性検定
    6. 等分散検定
    7. 回帰診断
    8. 信頼区間
  8. 多項式回帰のレポートグラフ
    1. 多項式回帰のレポートグラフを作成する

 

1. 多項式回帰について

多項式回帰 (Polynomial Regression) では、独立変数と従属変数の間の関係が、次数 k の多項式であらわされる以下の一般方程式に当てはめられることが仮定されます:

y = b0+b1x1+b2x2+b3x3+ ... bkxk

ここで、y は従属変数、x は独立変数、そして、b1, b2, b3 は回帰係数です。x の値が変化すると、それに対応する値も多項式関数に従って変化します。

多項式の次数 k は、独立変数の指数のうち最大のものです。すなわち、多項式が一次なら直線、多項式の次数が2 (二次) なら放物線といった具合です。

多項式回帰は、パラメトリック検定です。すなわち、ある独立変数が与えられると、その従属変数の取り得る値は分散の等しい正規分布に従うものと仮定されます。

Tip:データに多項式を当てはめる場合、独立変数に x、x2 等を使って多重線形回帰を単純に行った場合より、多項式回帰プロシージャーの方が信頼できる結果になります。

 

2. 多項式回帰を実行する

多項式回帰 (Polynomial Regression) を実行するには:

  1. ワークシートに適切なデータを入力または配置します。詳しくは、多項式回帰のデータを配置するをご覧ください。

  2. 多項式回帰オプションを設定します。

  3. Analysis タブをクリックします。

  4. SigmaStat グループにある Tests ドロップダウンリストから以下を選択します:

    RegressionPolynomial

  5. 検定を実行します。

  6. インクリメント型多項式回帰レポートを表示して内容を解釈します。詳しくは、インクリメント型多項式回帰レポートの結果を解釈するをご覧ください。

  7. 次数のみの多項式回帰レポートを表示して内容を解釈します。詳しくは、次数のみの多項式回帰の結果を解釈するをご覧ください。

  8. レポートグラフを作成します。詳しくは、多項式回帰のレポートグラフをご覧ください。

 

3. 多項式回帰のデータを配置する

従属変数のデータを1列に、それに対応する観測した独立変数のデータを別の列に配置します。

欠損値を含む観測データは無視されます。また、全ての列は長さを等しくする必要があります。

 

4. 多項式回帰オプションを設定する

多項式回帰オプションを使用するのは:

 

多項式回帰オプションを変更するには:

  1. 検定オプションの変更後に検定を実行するに際して、検定の実行前にデータを選択しておきたい場合は、対象とするデータ列をポインターでドラッグしておきます。

  2. Analysis タブを選択します。

  3. SigmaStat グループの Select Test ドロップダウンリストから Polynomial Regression を選択します。

  4. Options をクリックします。Options for Polynomial Regression ダイアログボックスが表示されます。回帰タイプに Incremental Order を選択した場合は、Criterion オプションのみが表示されます。Order Only を選択した場合は、以下のタブが表示されます:

    1. Criterion:Criterion タブをクリックすると、Polynomial Order, および Regression Type オプションが表示されます。詳しくは、Options for Polynomial Regression: Criterion をご覧ください。

    2. Assumption Checking:Assumption Checking タブをクリックすると、Normality, Constant Variance, および Durbin-Watson オプションが表示されます。詳しくは、Options for Polynomial Regression: Assumption Checking をご覧ください。

    3. Residuals:Residuals タブをクリックすると、残差オプションが表示されます。詳しくは、Options for Polynomial Regression: Residuals をご覧ください。

    4. More Statistics:More Statistics タブをクリックすると、信頼区間、PRESS 予測誤差、標準化係数オプションが表示されます。

    5. Post Hoc:Post Hoc Tests タブをクリックすると、Power オプションが表示されます。詳しくは、Options for Polynomial Regression: Post Hoc Tests をご覧ください。

      SigmaPlot を次回以降起動するときは、ここで選択したオプションの内容が保持されます。

  5. 検定を続行するには、Run Test をクリックします。

  6. 現在の設定内容を適用して、オプションダイアログを閉じるには、OK をクリックします。

 

4.1 Options for Polynomial Regression: Criterion

オプションダイアログの Criterion タブを選択すると、Polynomial OrderRegression オプションが表示されます。これらのオプションを使って、データの評価に使用する多項式の次数と、多項式のタイプを指定します。

 

4.2 Options for Polynomial Regression: Assumption Checking

オプションダイアログボックスの Assumption Checking タブをクリックすると、Normality, Constant Variance, および Durbin-Watson オプションが表示されます。これらのオプションは、多項式回帰がそのデータについて行う3つの仮説をチェックすることによってお持ちのデータが回帰分析に適合しているかを検定します。多項式回帰で仮定するのは:

デフォルトでは全ての Assumption Checking (前提条件のチェック) オプションが選択されています。これらのオプションは、使用するデータが等分散の正規分布に従っており、その残差が互いに独立であることが確実に分かっているときだけ無効にしてください。

Note:この前提条件の検定では、非正規や等分散性でない母集団のデータ検出においてロバストな処理がなされますが、データ分布が極端な条件では検出できない場合があります。しかし、このような条件の場合は、前提条件の自動検定に頼らずにデータを視覚的に調べることで容易に検出することができます。

 

4.3 Options for Polynomial Regression: Residuals

Options for Polynomial Regression ダイアログボックスの Residuals タブをクリックすると、Predicted Values, Raw, Standardized, Studentized, Studentized Deleted, および Report Flagged Values Only オプションが表示されます。

Note:スチューデント化残差、および、スチューデント化削除残差はいずれも、同じ信頼区間の設定を使って外れ値を判定します。

 

4.4 Options for Polynomial Regression: More Statistics

オプションダイアログの More Statistics タブをクリックすると、信頼区間オプションが表示されます。母集団、回帰、または、両方の信頼区間を設定し、それらをワークシートに保存することができます。

 

4.5 Options for Polynomial Regression: Post Hoc Tests

Options for Polynomial Regression ダイアログボックスの Post Hoc Tests タブをクリックすると Power オプションが表示されます。

回帰の検出力は、観測されたデータの関係性を検出する能力です。アルファ (α) は、誤って関係ありと判断されることを許容する確率です。

 

5. 多項式回帰を実行する

多項式回帰 (Polynomial Regression) を実行するには、検定するデータを選択する必要があります。検定ウィザードの Select Data パネルを使用して、検定したいデータを含むワークシートの列を選択します。

多項式回帰を実行するには:

  1. 検定を実行する前にデータを選択したい場合は、データ範囲をマウスポインタでドラッグしておきます。

  2. Analysis タブをクリックします。

  3. SigmaStat グループの Tests ドロップダウンリストから以下を選択します:

    RegressionPolynomial

    検定ウィザードの Select Data パネルが表示されます。検定を選択する前に列を選択していれば、Selected Columns リストにその列が表示されます。列を選択していなければ、データ選択の指示がダイアログボックスに表示されます。

  4. Selected Columns リストに別のワークシート列を割り当てたい場合には、ワークシートで直接その列を選択するか、Data for Dependent または Data for Independent ドロップダウンリストからその列を選択します。

    Selected Columns リストのDependent Variable 行に割り当てられるのは最初に選択した列で、2列目が Independent Variable 行に割り当てられます。各行には、選択した列の番号またはタイトルが表示されます。選択を指示される従属変数および独立変数の列はそれぞれ1つずつです。

  5. 選択した内容を変更するには、リストの割り当てを選択したあと、ワークシートから列を選択しなおします。Selected Columns リストの内容をダブルクリックすることによって、列の割り当てを消去することもできます。

  6. Finish をクリックすると、回帰が実行されます。正規性と等分散性、残差の独立性を検定するよう指定している場合、SigmaPlot は、正規性 (Shapiro-Wilk または Kolmogorov-Smirnov)、等分散性、残差の独立性を検定します。もしデータに関するこれらの検定のいずれかが棄却されると、SigmaPlot によりその旨が報告されます。検定が完了すると、Polynomial Regression の結果をあらわすレポートが表示されます。

    ある次数のみを使って回帰を実行しており、予測値、残差、およびその他の検定結果をワークシートに保存するよう設定している場合、指定した列にそれらが配置され、それぞれラベルが付けられます。
Remember:ワークシートに結果を得られるのは、次数のみ (Order Only) の多項式回帰を使用した場合のみです。

 

6. インクリメント型多項式回帰の結果を解釈する

インクリメント型多項式回帰の結果には、各次数ごとの多項式回帰方程式がゼロ次から指定した次数まで順番に表示されます。残差平方和 (MSres) と増分平方和 (MSincr)、および、各次数の方程式の Incremental と Overall の R2、F 値、および、P 値が一覧で表示されます。

結果の説明

数値による結果に加えて、拡張された結果の説明が表示されることがあります。この説明テキストは、Options ダイアログボックスで有効または無効にすることができます。表示される小数点以下の桁数についても Options ダイアログボックスで指定できます。

 

6.1 回帰方程式

各次数ごとの回帰方程式がそれぞれの係数と共に表示されます。方程式は以下の形式であらわされます:

y = b0+b1x1+b2x2+b3x3+ ... bkxk

ここで、y は従属変数、x は独立変数、そして、b1, b2, b3 は回帰係数です。

多項式の次数 k は、その独立変数の最大の指数です。

インクリメント型の多項式回帰では、次数ゼロから Options for Polynomial Regressions ダイアログボックスで指定した最大次数までの全ての方程式が一覧で表示されます。

 

6.2 インクリメント型の結果

 

6.3 仮説検定

 

6.4 最良モデルを選択する

残差平方和と平均平方が小さいほど、その曲線は独立変数の値においてデータとより密接に適合します。一般に、使用する最良のモデルは、incremental の F 値が有意に増加している最初のモデルです。次数が上がるほど R2 の値は増加することから、データを適切に説明するという観点から最も単純なモデルを採用する場合もあります。

 

7. 次数のみの多項式回帰の結果を解釈する

次数のみの多項式回帰のレポートには、方程式と算出されたその曲線の係数、その方程式に関する R, および R2、平均平方 (MS)、F、および P 値が表示されます。

レポートに表示されるその他の結果は、Options for Polynomial Regression ダイアログで選択します。

 

結果の説明

数値による結果に加えて、拡張された結果の説明が表示されることがあります。この説明テキストは、Options ダイアログボックスで有効または無効にすることができます。表示される小数点以下の桁数についても Options ダイアログボックスで指定できます。

 

7.1 回帰方程式

方程式とその係数の値が配置されます。方程式は次式であらあわされます:

y=b0+b1x1+b2x2+b3x3+ ... bkxk

ここで、y は従属変数、x は独立変数、そして、b1, b2, b3 は回帰係数です。

多項式の次数は、その独立変数の指数です。観測数 N、および、欠損値があればその数も表示されます。

 

7.2 分散分析 (ANOVA)

 

7.3 推定量の標準誤差

推定量の標準誤差 (Standard Error of the Estimate) は、推定する母集団の回帰直線に関する実際の変動をあらわす尺度です。推定する母集団は、一般に観測した標本の2標準誤差の間に収まります。

 

7.4 Durbin-Watson 統計量

Durbin-Watson 統計量は、残差間の相関の測度です。残差間に相関がない場合、Durbin-Watson 統計量は 2 になります。この値が 2 から離れるほど、残差間の相関の尤度 (likelihood) は高くなります。この結果は、Options for Polynomial Regression ダイアログボックスでこれを選択していれば表示されます。

 

7.5 正規性検定

正規性検定 (Normality Test) の結果には、元になる母集団が回帰直線の周囲に正規分布しているという仮説の検定にそのデータが採択 (Passed) されたたか否か (failed)、および、この検定で算出される P 値が表示されます。いずれの回帰でも、元になる母集団は回帰直線の周囲に正規分布すると仮定されます。

正規性検定が棄却される場合は、レポートに警告が表示されます。正規性検定が棄却されるのは、外れ値となる影響点が存在するか、回帰モデルが間違っている可能性があります。

この結果は、Options for Polynomial Regression ダイアログボックスで正規性検定を無効にしない限り表示されます。

 

7.6 等分散検定

等分散検定 (Constant Variance Test) の結果には、元になる母集団の従属変数のばらつきが独立変数の値にかかわらず一定であるという仮説の検定にそのデータが合格 (Passed) したか否か (failed)、およびこの検定で算出される P 値が表示されます。等分散検定が棄却された場合は、レポートに警告が表示されます。

この警告が表示された場合、別のモデル (例えば、データの形状により近いモデル) の使用を検討するか、または、独立変数を変換してばらつきを安定化することでより精度の高い回帰方程式のパラメータ推定値を得ることを検討してください。

この結果は、Options for Polynomial Regression ダイアログボックスで等分散検定を無効にしない限り表示されます。

 

7.7 回帰診断

回帰診断の結果には Options for Polynomial Regression ダイアログボックスで選択した予測値、残差、および、その他の診断結果のみが表示されます。外れ値として評価された全ての結果には、< 記号でフラッグが付けられます。外れ値としてフラッグを付ける残差の値は、Options for Polynomial Regression ダイアログボックスで設定します。

Report Cases with Outliers Only (※) を選択していれば、単一または複数の残差に外れ値としてフラッグの付いた観測データだけがレポートされます。その観測データのその他の結果は全て表示されます。(※ v14 では Report flagged values only)

 

7.8 信頼区間

これらの結果は、Options for Polynomial Regression ダイアログボックスで選択している場合に表示されます。信頼区間にゼロが含まれていなければ、指定した信頼水準でその係数はゼロではないと結論付けることができます。これは、 P < α (alpha) としても表現できます。ここで、α は、係数はゼロではないと誤って結論付けてもよしとする確率で、信頼区間は 100(1 - α) となります。

信頼水準は、1 から 99 までの任意の値を指定できます。提示される信頼水準はいずれの区間についても 95% です。

 

8. 多項式回帰のレポートグラフ

多項式回帰の結果を使用して、以下に示す最大5つのグラフを作成することができます:

 

8.1 多項式回帰のレポートグラフを作成する

多項式回帰レポートデータのレポートグラフを作成するには:

  1. Polynomial Regression レポートを表示して、Report タブをクリックします。

  2. Result Graphs グループにある Create Result Graph をクリックします。

    Create Result Graph ダイアログボックスに Polynomial Regression の結果で使用できるグラフのタイプが表示されます。

  3. Graph Type リストから作成したいグラフのタイプを選択して、OK をクリックするか、リストから作成したいグラフをダブルクリックします。
    選択したグラフがグラフウィンドウに表示されます。詳しくは、レポートグラフをご覧ください。