四、逻辑回归函数的正则化
正则化是一个通用的算法和思想，所有会产生过拟合现象的算法都可以使用正则化来避免过拟合。逻辑回归函数也同样存在这个问题，下面简单介绍逻辑回归函数的正则化方法。
正则化一般会采用 L1 范式或者 L2 范式，其形式分别为和。
（一）L1 正则化
L1 正则化通常称之为 LASSO 回归，相当于为模型添加了这样一个先验知识： 服从零均值拉普拉斯分布。而拉普拉斯分布的表达式为
由于有了这个先验知识，逻辑回归极大似然估计函数可以写为
对等式两边取 ln ，再取负，可得目标函数为
上式等价于原始损失函数的后面加上了 L1 正则，因此 L1 正则的本质其实是为模型增加了“模型参数服从零均值拉普拉斯分布”这一先验知识。
（二）L2 正则化
L2 正则化通常称之为 Ridge 回归，或岭回归，相当于为模型添加了这样一个先验知识： 服从零均值正态分布。
正态分布的表达式为
由于引入了先验知识，所以似然函数可以写为
对等式两边取 ln ，再取负，可得目标函数为
等价于原始的损失函数后面加上了 L2 正则，因此 L2 正则的本质其实是为模型增加了“模型参数服从零均值正态分布”这一先验知识。