邏輯回歸(Logistic Regression)

在這節(jié)課中，我們會(huì)重溫邏輯回歸學(xué)習(xí)算法，該算法適用于二分類問題，本節(jié)將主要介紹邏輯回歸的Hypothesis Function（假設(shè)函數(shù)）。

對(duì)于二元分類問題來講，給定一個(gè)輸入特征向量X，它可能對(duì)應(yīng)一張圖片，你想識(shí)別這張圖片識(shí)別看它是否是一只貓或者不是一只貓的圖片，你想要一個(gè)算法能夠輸出預(yù)測(cè)，你只能稱之為y^（也就是預(yù)測(cè)值），也就是你對(duì)實(shí)際值 y 的估計(jì)。更正式地來說，你想讓 y^ 表示 y 等于1的一種可能性或者是機(jī)會(huì)，前提條件是給定了輸入特征X。換句話來說，如果X是我們?cè)谏蟼€(gè)視頻看到的圖片，你想讓 y ^來告訴你這是一只貓的圖片的機(jī)率有多大。在之前的視頻中所說的，X是一個(gè)n_x維的向量（相當(dāng)于有n_x個(gè)特征的特征向量）。我們用w來表示邏輯回歸的參數(shù)，這也是一個(gè)n_x維向量（因?yàn)閣實(shí)際上是特征權(quán)重，維度與特征向量相同），參數(shù)里面還有b，這是一個(gè)實(shí)數(shù)（表示偏差）。所以給出輸入x以及參數(shù)w和b之后，我們?cè)鯓赢a(chǎn)生輸出預(yù)測(cè)值y^，一件你可以嘗試卻不知可不可行的事是讓y^=(w^T) x+b。

這時(shí)候我們得到的是一個(gè)關(guān)于輸入x的線性函數(shù)，實(shí)際上這是你在做線性回歸時(shí)所用到的，但是這對(duì)于二元分類問題來講不是一個(gè)非常好的算法，因?yàn)槟阆胱寉^表示實(shí)際值y等于1的機(jī)率的話，y ^應(yīng)該在0到1之間。這是一個(gè)需要解決的問題，因?yàn)?w^T)x+b可能比1要大得多，或者甚至為一個(gè)負(fù)值。對(duì)于你想要的在0和1之間的概率來說它是沒有意義的，因此在邏輯回歸中，我們的輸出應(yīng)該是^y等于由上面得到的線性函數(shù)式子作為自變量的sigmoid函數(shù)中，公式如上圖最下面output所示，將線性函數(shù)轉(zhuǎn)換為非線性函數(shù)（線性變成非線性函數(shù)，這個(gè)手法要記得！也是一個(gè)重點(diǎn)的概念）。

Sigmoid函數(shù)

下圖是sigmoid函數(shù)的圖像，如果我把水平軸作為z軸，那么關(guān)于z的sigmoid函數(shù)是這樣的，它是平滑地從0走向1，讓我在這里標(biāo)記縱軸，這是0，曲線與縱軸相交的截距是0.5，這就是關(guān)于z的sigmoid函數(shù)的圖像。我們通常都使用z來表示(w^T) x+b的值。

關(guān)于sigmoid函數(shù)的公式是這樣的，σ(z)=1/(1+e^(-z) ),在這里z是一個(gè)實(shí)數(shù)，這里要說明一些要注意的事情，重點(diǎn)！仔細(xì)看了！

如果z非常大那么e^(-z)將會(huì)接近于0，關(guān)于z的sigmoid函數(shù)將會(huì)近似等于1除以1加上某個(gè)非常接近于0的項(xiàng)，因?yàn)閑 的指數(shù)如果是個(gè)絕對(duì)值很大的負(fù)數(shù)的話，這項(xiàng)將會(huì)接近于0，所以如果z很大的話那么關(guān)于z的sigmoid函數(shù)會(huì)非常接近1。

相反地，如果z非常小或者說是一個(gè)絕對(duì)值很大的負(fù)數(shù)，那么關(guān)于e^(-z)這項(xiàng)會(huì)變成一個(gè)很大的數(shù)，你可以認(rèn)為這是1除以1加上一個(gè)非常非常大的數(shù)，所以這個(gè)就接近于0。實(shí)際上你看到當(dāng)z變成一個(gè)絕對(duì)值很大的負(fù)數(shù)，關(guān)于z的sigmoid函數(shù)就會(huì)非常接近于0，

因此當(dāng)你實(shí)現(xiàn)邏輯回歸時(shí)，你的工作就是去讓機(jī)器學(xué)習(xí)參數(shù)w以及b這樣才使得y^成為對(duì)y=1這一情況的概率的一個(gè)很好的估計(jì)。

在繼續(xù)進(jìn)行下一步之前，介紹一種符號(hào)慣例，可以讓參數(shù)w和參數(shù)b分開。在符號(hào)上要注意的一點(diǎn)是當(dāng)我們對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行編程時(shí)經(jīng)常會(huì)讓參數(shù)w和參數(shù)b分開，在這里參數(shù)b對(duì)應(yīng)的是一種偏置。在之前的機(jī)器學(xué)習(xí)課程里，你可能已經(jīng)見過處理這個(gè)問題時(shí)的其他符號(hào)表示。比如在某些例子里，你定義一個(gè)額外的特征稱之為x_0，并且使它等于1，那么現(xiàn)在X就是一個(gè)n_x加1維的變量，然后你定義y^=σ(θ^T x)的sigmoid函數(shù)。在這個(gè)備選的符號(hào)慣例里，你有一個(gè)參數(shù)向量θ_0,θ_1,θ_2,...,θ_(n_x )，這樣θ_0就充當(dāng)了b，這是一個(gè)實(shí)數(shù)，而剩下的θ_1 直到θ_(n_x )充當(dāng)了w，結(jié)果就是當(dāng)你實(shí)現(xiàn)你的神經(jīng)網(wǎng)絡(luò)時(shí)，有一個(gè)比較簡單的方法是保持b和w分開。但是在這節(jié)課里我們不會(huì)使用任何這類符號(hào)慣例，所以不用去擔(dān)心。

現(xiàn)在你已經(jīng)知道邏輯回歸模型是什么樣子了，下一步要做的是訓(xùn)練參數(shù)w和參數(shù)b，你需要定義一個(gè)代價(jià)函數(shù)（代價(jià)函數(shù)這個(gè)是一個(gè)重要的概念。），讓我們?cè)诿魈熘形绲奈恼吕飳?duì)其進(jìn)行解釋。