Компромисс смещения и дисперсии

Схема разложения ошибки оценки функции \(\hat f\) на смещение и дисперсию. На изображении показан прямоугольный треугольник: вертикальная составляющая обозначает Bias(\(\hat f\)), горизонтальная — квадратный корень из дисперсии \(\sqrt{\mathrm{Var}(\hat f)}\), а гипотенуза — корень из среднеквадратичной ошибки \(\sqrt{\mathrm{MSE}(\hat f)}\). Ожидаемое значение оценки \(\mathrm{E}(\hat f)\) находится у основания треугольника. Это математическая иллюстрация bias–variance tradeoff — компромисса между смещением и дисперсией в статистике и машинном обучении.

Bias(ƒ̂) E(ƒ̂) ƒ̂ √MSE(ƒ̂) √Var(ƒ̂)