经验啦

  1. 首页 > 生活百科 > >

吴恩达预热新课！万字博客回顾机器学习算法起源( 二 )

生活百科机器学习


本着这种精神，我们决定探讨一些领域内最重要的算法，解释了它们是如何工作的，并介绍它们不为人知的起源 。
如果你是一个初学者，我希望它能帮助你揭开机器学习核心的一些方法的神秘面纱 。
对于那些老手来说，你会在熟悉的领域中发现一些鲜为人知的观点 。
学无止境，保持学习！
吴恩达
线性回归

线性回归（Linear regression）可能是机器学习中的最重要的统计方法，至于谁发明了这个算法 ， 一直争论了200年，仍未解决 。
1805年，法国数学家勒让德（Adrien-Marie Legendre）在预测一颗彗星的位置时，发表了将一条线拟合到一组点上的方法 。天体导航是当时全球商业中最有价值的科学，就像今天的人工智能一样 。
四年后，24岁的德国天才数学家高斯（Carl Friedrich Gauss）坚持认为，他自1795年以来一直在使用这种方法，但他认为这种方法太过琐碎，无法写出来 。高斯的说法促使Legendre发表了一份匿名的附录，指出「一位非常有名的几何学家毫不犹豫地采用了这种方法」 。
这类长期存在发明争议的算法都有两个特点：好用 ， 且简单！
线性回归的本质上就是斜率（slopes）和截距（biases ， 也称偏置） 。
当一个结果和一个影响它的变量之间的关系是一条直线时，线性回归就很有用 。
例如，一辆汽车的油耗与它的重量呈线性关系 。

吴恩达预热新课！万字博客回顾机器学习算法起源

文章插图


一辆汽车的油耗y和它的重量x之间的关系取决于直线的斜率w（油耗随重量上升的陡峭程度）和偏置项b（零重量时的油耗）：y=w*x+b 。
在训练期间，给定汽车的重量，算法预测预期的燃料消耗 。它比较了预期和实际的燃料消耗 。然后通过最小二乘法 ， 使平方差最小化，从而修正w和b的值 。
考虑到汽车的阻力，有可能产生更精确的预测 。额外的变量将直线延伸到一个平面 。通过这种方式，线性回归可以接收任何数量的变量/维度作为输入 。
线性回归算法在当年可以帮助航海家追踪星星，后来帮助生物学家（特别是查尔斯-达尔文的表弟弗朗西斯-高尔顿）识别植物和动物的遗传性状，进一步的发展释放了线性回归的潜力 。
1922年，英国统计学家罗纳德-费舍尔和卡尔-皮尔逊展示了线性回归如何融入相关和分布的一般统计框架，再次扩大了其适用范围 。
近一个世纪后，计算机的出现为其提供了数据和处理能力，使其得到更大的利用 。
当然，数据从来没有被完美地测量过，而且多个变量之间也存在不同的重要程度 ， 这些事实也刺激了线性回归产生了更复杂的变体 。
例如 ， 带正则化的线性回归（也称为岭回归）鼓励线性回归模型不要过多地依赖任何一个变量，或者说要均匀地依赖最重要的变量 。如果你要追求简化，使用L1的正则化就是lasso回归，最终的系数更稀疏 。换句话说，它学会了选择具有高预测能力的变量，而忽略了其他的变量 。
Elastic net结合了两种类型的正则化，当数据稀少或特征出现关联时 ， 它很有用 。
神经网络中最常见的一种神经元就是线性回归模型，往往后面再跟着一个非线性激活函数，所以线性回归是深度学习的基本构件 。
Logistic回归

Logistic函数可以追溯到19世纪30年代 ， 当时比利时统计学家P.F. Verhulst发明了该函数来描述人口动态 。
随着时间的推移，最初的爆炸性指数增长在消耗可用资源时趋于平缓，从而形成了Logistic曲线 。

相关经验推荐


上一篇：附报名入口 佛山疫情防疫志愿者招募信息汇总2022

下一篇：西瓜根叶