✍️ Разбор задач прошедшей недели

Сегодня вспомним, что такое bias (смещение) и variance (разброс).

✅ Итак, представим, что вы каким-то образом обучили модель и хотите оценить, насколько хорошо она справляется со своей задачей предсказания целевого значения. Вы даёте ей данные и получаете некоторый результат. Теперь его можно использовать, чтобы понять некоторые вещи про модель.

Так, смещением называют матожидание разности между истинным значением и тем, что было выдано моделью. Разброс же — это дисперсия ответов модели, то есть мера того, насколько эти ответы варьируются в зависимости от данных.

Легко догадаться, что чем меньше смещение, тем более близкие к истинным результаты выдаёт модель. А чем меньше разброс, тем стабильнее модель, тем выше её обобщающая способность. Например, глубокие деревья способны безошибочно выучить обучающую выборку и потому будут иметь высокий разброс в зависимости от выборки, однако их предсказания в среднем будут точнее.

Что касается нейросети с большим числом нейронов в каждом скрытом слое, то такая модель, аналогично глубокому дереву, может зазубрить обучающую выборку, а значит иметь низкое смещение и высокий разброс.

#разбор_задач

✍️ Воскресный разбор задач

Сегодня разберём вопрос про зависимость смещения и дисперсии от параметра lambda в линейной регрессии с регуляризацией.

🔹Регуляризация — это способ добавить к модели дополнительное ограничение на вектор весов. Обычно для этого используются L1- и L2-нормы. Их смысл заключается в добавлении к формуле линейной регрессии регуляризационного члена, который состоит из суммы весов, умноженной на lambda — коэффициент регуляризации.

Нетрудно догадаться, что lambda довольно сильно влияет на качество итогового решения. Если этот параметр, например, равен 1, то мы не прибавляем к формуле ничего кроме суммы весов, а если он равен 10, то прибавка, соответственно, становится десятикратной суммой весов.

👀 А теперь, держа это знание в голове, подумаем: что будет со смещением и дисперсией, когда мы увеличиваем lambda?

Напомним, смещение — это матожидание разности между истинным значением и тем, что было выдано моделью. Дисперсия — это разброс ответов модели, то есть мера того, насколько эти ответы варьируются в зависимости от данных.

Если мы прибавляем к ответу модели сумму весов, да ещё и умноженную на 10, то матожидание между этим ответом и истинным значением, конечно, станет больше. То есть смещение увеличится. Но при этом модель будет, вероятно, лучше обобщать данные, и её дисперсия уменьшится. Поэтому стоит помнить, что что слишком большое значение lambda может привести к тому, что модель начнёт недообучаться.

#разбор_задач

✍️ Разбор задач прошедшей недели

1️⃣ KNN — это параметрический метод машинного обучения?
Метод k -ближайших соседей (KNN) считается непараметрическим, потому что он не делает предположений о распределении данных и не имеет фиксированного набора параметров, которые обучаются заранее.

В параметрических методах (например, линейной регрессии или логистической регрессии) модель на этапе обучения оценивает параметры, которые затем используются для получения предсказаний. В KNN модель не «учится» в традиционном смысле: нет фиксированной функции, описывающей взаимосвязь между признаками и целевой переменной.

2️⃣ Какая оценка дисперсии считается смещённой?
Оценка дисперсии считается смещённой, если её математическое ожидание не совпадает с истинным значением дисперсии генеральной совокупности. Когда мы делим на n (размер выборки), а не на n-1, то систематически занижаем дисперсию, так как не учитываем факт того, что среднее вычислено по той же выборке и поэтому менее точно приближает истинное среднее генеральной совокупности.

В случае деления на n-1 мы компенсируем «потерю одной степени свободы» из-за использования выборочного среднего вместо истинного.

#разбор_задач