逻辑回归（logistic regression）是一种广义的线性回归分析模型，主要用于数据挖掘、疾病自动诊断、经济预测等领域。它根据给定的自变量数据集来估计事件的发生概率。逻辑回归应用于二分类问题，变量范围在 0 和 1 之间。其最终输出的预测是一个非线性的 S 型函数，称为 logistic 函数或 sigmoid 函数。
逻辑回归的主要原理如下：
- 线性回归：线性回归是一种预测连续型变量的方法，通过构建预测函数来映射输入的特征矩阵 X 和标签值 y 的线性关系。线性回归使用输入的特征矩阵 X 来输出一组连续型的标签值 ypred。
- 离散型标签：当标签为离散型变量，尤其是 0-1 分布的离散型变量时，我们可以通过引入联系函数（link function）将线性回归方程 z 变换为 g(z)。联系函数将线性回归的输出映射到 (0,1) 区间，使其适用于二分类问题。
- Sigmoid 函数：逻辑回归中的联系函数通常采用 Sigmoid 函数。Sigmoid 函数是一个 S 型函数，当自变量 z 趋近正无穷时，因变量 g(z) 趋近于 1；当 z 趋近负无穷时，g(z) 趋近于 0。它能够将任何实数映射到 (0,1) 区间，使其可用于将任意值函数转换为更适合二分类的函数。
- 优化方法：逻辑回归的优化方法与线性回归类似，通常采用梯度下降法（gradient descent）或牛顿法（Newton’s method）等优化算法来求解模型参数。
- 评估指标：逻辑回归的评估指标主要包括准确率、精确率、召回率等。这些指标用于评估模型在二分类问题上的性能。
总之，逻辑回归是一种用于解决二分类问题的线性模型，通过引入 Sigmoid 函数将线性关系转换为非线性关系，从而适用于 0-1 分布的离散型标签。它在数据挖掘、疾病自动诊断、经济预测等领域具有广泛应用。