比方說(shuō)，你想從一家在線商店購(gòu)買一臺(tái)新電腦(你最感興趣的是它有多少內(nèi)存)，你在他們的首頁(yè)看到了一些 4GB 的電腦，價(jià)格是 100 美元，然后是一些 16GB 的電腦，價(jià)格是 1000 美元。你的預(yù)算是 500 美元。因此，你在腦海中估計(jì)，根據(jù)目前看到的價(jià)格，8 GB 內(nèi)存的電腦應(yīng)該在 400 美元左右。這符合您的預(yù)算，因此決定購(gòu)買一臺(tái)這樣的 8GB 內(nèi)存 PC。

這種估算幾乎可以在頭腦中自動(dòng)進(jìn)行，而不需要知道這叫做線性回歸，也不需要在頭腦中明確計(jì)算回歸方程(在我們的例子中為：y = 75x - 200)。

一、什么是線性回歸呢?

線性回歸只是根據(jù)一些已知量估算未知量的過(guò)程(這是回歸部分)，條件是只需進(jìn)行標(biāo)量乘法和加法這兩種運(yùn)算即可從已知量中得到未知量(這是線性部分)。我們將每個(gè)已知量乘以某個(gè)數(shù)，然后將所有這些項(xiàng)相加，就可以得到未知量的估計(jì)值。

如果用正式的數(shù)學(xué)方式或代碼來(lái)描述它，可能會(huì)顯得有點(diǎn)復(fù)雜，但事實(shí)上，上述簡(jiǎn)單的估算過(guò)程，你可能在聽(tīng)說(shuō)機(jī)器學(xué)習(xí)之前就已經(jīng)知道了。只是你不知道它叫做線性回歸。

二、什么是最佳擬合線?

簡(jiǎn)單地說(shuō)，最佳擬合線就是以最佳方式擬合給定散點(diǎn)圖的線。在數(shù)學(xué)上，最佳擬合線是通過(guò)最小化殘差平方和(RSS)得到的。

三、線性回歸的代價(jià)函數(shù)

成本函數(shù)有助于計(jì)算出 B0 和 B1 的最佳值，從而為數(shù)據(jù)點(diǎn)提供最佳擬合線。

在線性回歸中，一般使用平均平方誤差(MSE)成本函數(shù)，即 ypredicted 和 yi 之間發(fā)生的平方誤差的平均值。

我們使用簡(jiǎn)單的線性方程 y=mx+b 計(jì)算 MSE，利用 MSE 函數(shù)，我們將更新 B0 和 B1 的值，使 MSE 值達(dá)到最小值。 可以使用梯度下降法確定這些參數(shù)，從而使代價(jià)函數(shù)的值達(dá)到最小。

四、線性回歸的梯度下降算法

梯度下降法是一種優(yōu)化算法，通過(guò)優(yōu)化成本函數(shù)(目標(biāo)函數(shù))來(lái)達(dá)到最優(yōu)最小解。為了找到最優(yōu)解，我們需要降低所有數(shù)據(jù)點(diǎn)的代價(jià)函數(shù)(MSE)。為此，我們需要反復(fù)更新 B0 和 B1 的值，直到獲得最優(yōu)解。

回歸模型采用梯度下降算法進(jìn)行優(yōu)化，通過(guò)隨機(jī)選擇系數(shù)值來(lái)降低成本函數(shù)，然后迭代更新系數(shù)值以達(dá)到最小成本函數(shù)，從而更新直線的系數(shù)。

讓我們舉個(gè)例子來(lái)理解這一點(diǎn)。想象一個(gè) U 型坑。你站在坑的最上層，你的動(dòng)機(jī)是到達(dá)坑底。假設(shè)坑底有寶藏，而你只能走不連續(xù)的幾步才能到達(dá)坑底。如果你選擇一步一步走，你最終會(huì)到達(dá)坑底，但這需要更長(zhǎng)的時(shí)間。如果你決定每次邁出更大的步子，你可能會(huì)更快到達(dá)坑底，但是，你有可能會(huì)越過(guò)坑底，甚至無(wú)法接近坑底。在梯度下降算法中，你所走的步數(shù)可以看作是學(xué)習(xí)率，它決定了算法收斂到最小值的速度。

我們需要使成本函數(shù) J 最小化。實(shí)現(xiàn)這一目標(biāo)的方法之一是采用批量梯度下降算法。在批量梯度下降算法中，每次迭代都會(huì)更新數(shù)值。(最后兩個(gè)等式顯示了數(shù)值的更新情況)

部分導(dǎo)數(shù)就是梯度，用于更新 B0 和 B1 的值。Alpha 是學(xué)習(xí)率。

海馬課堂專業(yè)課程輔導(dǎo)，2100+嚴(yán)選碩博學(xué)霸師資，針對(duì)學(xué)生的薄弱科目和學(xué)校教學(xué)進(jìn)度，匹配背景相符的導(dǎo)師，根據(jù)學(xué)生情況進(jìn)行1V1專屬備課，上課時(shí)間靈活安排，中英雙語(yǔ)詳細(xì)講解課程中的考點(diǎn)、 難點(diǎn)問(wèn)題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識(shí)，補(bǔ)足短板。