逻辑斯蒂回归

初期一.基本算法:枚举.递归和分治法.递推.二.图算法:图的深度优先遍历和广度优先遍历.最短路径算法最小生成树算法二分图的最大匹配 (匈牙利算法)最大流的增广路算法(KM算法).三.数据结构.串排序(快排、归并排(与逆序数有关)、堆排)简单并查集的应用.哈希表和二分查找等高效查找法(数的Hash,串的Hash)哈夫曼树堆trie树(静态建树、动态建树)四.简单搜索深度优先搜索广度优先搜索简单搜索技巧和剪枝五.动态规划背包问题.简单DP (最长公共子序列) (最优二分检索树问题)六.数学组合数学: 1.加法原理和乘法原理. 2.排列组合. 3.递推关系.数论. 1.素数与整除问题 2.进制位. 3.同余模运算.计算方法. 1.二分法求解单调函数相关知识七.计算几何学.几何公式.叉积和点积的运用(如线段相交的判定,点到线段的距离等).多边型的简单算法(求面积)和相关判定(点在多边型内,多边型是否相交)凸包.中级: 一.基本算法:C++的标准模版库的应用.二.图算法:差分约束系统的建立和求解.最小费用最大流双连通分量强连通分支及其缩点.图的割边和割点最小割模型、网络流规约三.数据结构.线段树.静态二叉检索树.树状树组RMQ.并查集的高级应用.KMP算法.四.搜索最优化剪枝和可行性剪枝搜索的技巧和优化记忆化搜索五.动态规划较为复杂的动态规划(如动态规划解特别的旅行商TSP问题等)记录状态的动态规划.树型动态规划(六.数学组合数学: 1.容斥原理. 2.抽屉原理. 3.置换群与Polya定理4.递推关系和母函数.数学. 1.高斯消元法2.概率问题. 3.GCD、扩展的欧几里德(中国剩余定理)随机化算法七.计算几何学.坐标离散化.扫描线算法(例如求矩形的面积和周长并,常和线段树或堆一起使用)几何工具的综合应用.高级: 一.基本算法要求:代码快速写成,精简但不失风格保证正确性和高效性.二.图算法:度限制最小生成树和第K最短路.最短路,最小生成树,二分图,最大流问题的相关理论(主要是模型建立和求解)小生成树.无向图、有向图的最小环三.数据结构.trie图的建立和应用.LCA和RMQ问题(LCA(最近公共祖先问题) 有离线算法(并查集+dfs) 和 在线算法双端队列和它的应用(维护一个单调的队列,常常在动态规划中起到优化状态转移的目的).左偏树(可合并堆).四.搜索广搜的状态优化:利用M进制数存储状态、转化为串用hash表判重、按位压缩存储状态、双向广搜、A*算法.深搜的优化:尽量用位运算、一定要加剪枝、函数参数尽可能少、层数不易过大、可以考虑双向搜索或者是轮换搜索、IDA*算法.五.动态规划需要用数据结构优化的动态规划.四边形不等式理论.较难的状态DP六.数学组合数学. 1.MoBius反演2.偏序关系理论.博奕论. 1.极大极小过程2.Nim问题.七.计算几何学.半平面求交可视图的建立点集最小圆覆盖.更多优质回答，请持续关注镁客网头条号~

作者曾经写过系列文章介绍机器学习和数据挖掘入门常用的算法，在这里给出简介，有需要的读者，可以到作者的主页查看具体的内容。

《常用数据挖掘算法从入门到精通》系列共21篇文章，主要向大家介绍了包括 K-means聚类,决策树分类, 人工神经网络以及支持向量机等10多种常用的数据挖掘算法理论和具体的案例。

CONTENT第一篇：《常用数据挖掘算法从入门到精通 第一章数据预处理（1）数据预处理简介》介绍了数据预处理的目的；常用的数据预处理方法；一般数据预处理流程。

第二篇：《常用数据挖掘算法从入门到精通 第一章数据预处理（2）数据清理》介绍了填充缺失值，光滑噪声数据的数据清理方法。

第三篇：《常用数据挖掘算法从入门到精通 第一章数据预处理（3）数据集成》介绍了数据集成的概念；数据集成的内容；模式集成和对象匹配，冗余数据的处理，数值冲突的检测和解决的数据集成方法。

第四篇：《常用数据挖掘算法从入门到精通 第一章数据预处理（4）数据变换》介绍了平滑/光滑处理，聚集 *** 作，数据泛化，数据规范化，属性构造/特征构造的数据变换方法。

第五篇：《常用数据挖掘算法从入门到精通 第一章数据预处理（5）数据归约》介绍了数据归约的概念；数据立方体聚集，维归约，数据压缩，数值规约，直方图的数据规约方法。

第六篇：《常用数据挖掘算法从入门到精通 第一章数据预处理（6）数据离散化和概念分层》介绍了数据离散化和概念分层的概念；数值数据的离散化和概念分层建立的方法；分箱方法：一种简单的离散化技术，离散化：直方图方法，离散化：聚类分析方法的数据离散化和概念分层方法。

第七篇：《常用数据挖掘算法从入门到精通 第二章 K-means聚类算法》介绍了K-means聚类算法简介；相似度准则与聚类性能评价准则；K-means聚类算法原理和步骤；K-means聚类算法实例。

第八篇：《常用数据挖掘算法从入门到精通 第三章 K-中心点聚类算法》介绍了K-中心点聚类算法简介；K-中心点聚类算法原理；四种情况的代价函数；K-中心点聚类算法步骤；K-中心点聚类算法实例。

第九篇：《常用数据挖掘算法从入门到精通 第四章SOM神经网络聚类（上）》介绍了SOM神经网络简介；SOM神经网络的结构；相似性测量；竞争学习规则WTA（Winner-Take-All）；竞争学习步骤。

第十篇：《常用数据挖掘算法从入门到精通 第四章SOM神经网络聚类（下）》介绍了SOM网络的拓扑结构；SOM网的权值调整域；SOM网络的运行原理；SOM网络的算法流程；SOM网络算法实例；SOM神经网络聚类算法的简单理解。

第十一篇：《常用数据挖掘算法从入门到精通 第五章 贝叶斯分类算法》介绍了分类分析；贝叶斯概率—主观概率；概率基础知识；Bayes 决策理论；贝叶斯分类案例。

第十二篇：《常用数据挖掘算法从入门到精通 第六章 决策树分类算法概述》介绍了决策树分类模型简介；决策树的结构；决策树分类模型学习；分类特征选择；决策树的剪枝。

第十三篇：《常用数据挖掘算法从入门到精通 第七章 ID3决策树分类算法》介绍了ID3算法原理介绍；熵和信息增益；ID3算法的信息增益算法；ID3算法实例分析。

第十四篇：《常用数据挖掘算法从入门到精通 第八章 C4.5决策树分类算法》介绍了C4.5分类算法介绍；信息增益比（Information Gain Ratio）；对连续型属性的处理；对样本缺失值的处理；C4.5算法步骤；C4.5算法实例分析。

第十五篇：《常用数据挖掘算法从入门到精通 第九章 CART决策树分类算法》介绍了CART算法简介（Classification And Regression Tree）；Gini指数；对缺失值和连续属性的处理；CART决策树的算法步骤；CART算法实例分析。

第十六篇：《常用数据挖掘算法从入门到精通 第十章 支持向量机理论基础》介绍了统计学习理论；经验风险和结构风险；函数集的VC维。

第十七篇：《常用数据挖掘算法从入门到精通 第十一章 支持向量机算法》介绍了结构风险最小化(Structural Risk Minimization，SRM）；分类问题的数学表示；分类问题的学习方法；线性可分情形：最大间隔原理；近似线性可分情形；线性不可分情形；核函数K(xi,xj)。

第十八篇：《常用数据挖掘算法从入门到精通 第十二章 人工神经网络算法》介绍了人工神经网络简介；人工神经元模型；神经网络模型的三个要素；前馈(forward)神经网络；BP神经网络模型；BP神经网络训练的两个阶段；BP神经网络参数设定；BP网络的正向传递过程；BP网络的反向传播过程；BP神经网络的算法步骤。

第十九篇：《数据挖掘算法之关联规则挖掘Apriori算法详细过程》介绍了关联规则挖掘的概念；关联规则的种类；支持度与置信度；频繁项集；Apriori定理；Apriori算法关联规则挖掘详细过程。

第二十篇：《数据挖掘技术之回归分析超全总结，常见回归模型介绍及应用场景》介绍了回归分析介绍；简单线性回归；简单多项式回归；多元线性回归；多元多项式回归；多变量回归；Logistic逻辑回归；Poison泊松回归；Cox比例风险回归。

第二十一篇：《数据挖掘关键技术、步骤与算法发展历史，超全总结！》介绍了数据挖掘关键技术；数据挖掘主要步骤；数据挖掘发展历史及各阶段的主要算法简介；未来发展。