Звичайна регресія найменших квадратів (OLS) — це процес, у якому пряма лінія використовується для оцінки зв’язку між двома змінними рівня інтервалу/співвідношення. «Найкраще підходить лінія» — це лінія, яка мінімізує суму квадратів помилок (звідси включення «найменших квадратів» у назву).

Метод найменших квадратів від y часто називають звичайним методом найменших квадратів (OLS). оскільки це була перша в історії статистична процедура, розроблена приблизно в 1800 році, подивіться історію. Це еквівалентно мінімізації норми L2, ||Y−f(X)||2.

Цей метод називається процедурою обчислення за методом найменших квадратів, оскільки він спрямований на мінімізацію квадратів відстані між кожною з точок і лінією.

Якщо дані демонструють слабий зв’язок між двома змінними, це призводить до лінії регресії за методом найменших квадратів. Це мінімізує вертикальну відстань від точок даних до лінії регресії. Використовується термін найменших квадратів оскільки це найменша сума квадратів помилок, яку також називають дисперсією.

Таким чином, лінійна регресія — це загальна концепція або основа для моделювання зв’язків між змінними з лінійним припущенням, тоді як OLS — це окремий метод лінійної регресії, який використовується для оцінки коефіцієнтів моделі лінійної регресії шляхом мінімізації суми квадратів помилок.

Лінійна регресія найменших квадратів є найбільш поширеним методом моделювання. Це те, що більшість людей мають на увазі, коли кажуть, що використовували «регресію», «лінійну регресію» або «найменші квадрати», щоб підібрати модель до своїх даних.