在介紹完簡單線性回歸(Easy Linear Regression)，和多元線性回歸(A number of Linear Regression)之後，這次來談談羅吉斯回歸(Logistic Regression)。
Logistische Regression考試oder不會通過考試.而判定的方式,主要就是探討機率的方式來求得.其概念如下圖所示:
上圖為Sigmoid Operate, 可以發現其呈現類似S型的曲線.首先看到Y軸, 其實Y軸就是機率, 因此可以看到Y軸的值界於0到1.而X軸就可以當作是變數。所以假設今天要預測客戶會不會購買某產品,則X軸就可以當作客戶滿意度。因此若X為2.5、5 .0, 7.5, die neue Sigmoid-Funktion und die aktuelle Model von 0.5會購買.反之,如果X值小於0,如-2.5、-5.0…usw.,那麼因為機率小於0.5,因此模型判定不會購買。
Weitere Informationen zur Sigmoid-Funktion:
式子中的X可以帶入任何Function, 所以以Logistic Regression來說, X可以帶入「β0+β1X」可帶入「β0+β1X1+β2X2+ β3X3+…+βiXi」:
所以綜上所述, Logistische Regression, Sigmoid-Funktion, 來去定義出「分類的規則」, 使我們可以藉由這個規則, 來去推斷某事件到底會不會發生.
在了解Sigmoid Function的基本原理後，接著來介紹Logistic Regression，是如何估算事件發生的機率，首先進行以下假設：
上述假設中的P P進行一些推算:
Die Funktion „Sigmoid Operate“ ist nicht verfügbar.
當我們把P與1-P都求出後, 就可以對其求出勝算(Odds)。所謂的Odds，意旨事件「會發生」和「不會發生」的比值, 簡單來說就是求出事件會發生的機率, 因此公式會如下:
所以我們就可以把剛才求出的P與1-P, 帶入至Odds的公式內:
不過在這裡,還可以進行取對數的處理,來簡化式子,所以其結果會如下:
所以可以發現,式子的右半邊,就成了我們最熟悉的簡單線性回歸.當然在這裡,也可以是多元回Antwort:
所以在這裡, 我們就可以把上述的式子, 當作簡單線性回歸, 或多元回歸來看待, 因此現在最重要的, 就是求出Beta的係數.
在此若要求beta值, 不能夠使用先前介紹的最小平方法(OLS), 原因在於上述的式子, 並非為線性關係.因為上述式子的等號左邊, 也就是y, 其實只有0和1而已, 所以假若P為1, 則式子會如下:
反之若P為0, 則也會得到相同的結果:
所以若要求出Beta, 只能使用最大概似法(Most Likeilhood Operate, MLE).伯努利分布(Bernoulli-Verteilung)。所謂的伯努利分布,意旨將事件只分類為會發生,與不會發生
假若某事件發生(x = 1)，則Fx = p。反之若事件不會發生(x = 0)，則Fx = (1-p)(等於上述公式中的q)。所以所謂的MLE, 其實就是透過上述式子進行運算處理而已:
上述式子中的「∏」,代表連乘的意思.其餘部分幾乎與伯努利分布的機率質量函數相同.不過上述的式子, 其實還可以再簡化, 以降低運算的複雜性:
所以原則上,我們就可以透過上述的公式,來求出我們的beta值.而當Beta求出後,就可以將結果帶回Od ds的計算公式中,以求出預測結果的機率.不過在此會有一個問題, 那就是Odds的計算結果, 可能不會介於0到1之間, 這樣的話就不符合機率的定義.因Die Funktion „Sigmoid Operate“ ist nicht verfügbar在0至1之間,所以整體的概念會如下:
以上也就是這次的分享, 如果哪裡概念有誤, 或有不清楚的地方, 也歡迎各位提出和指教, 感謝各位。
