人工智能算法简介

人工智能的三大基石—算法、数据和计算能力，算法作为其中之一，是非常重要的，那么人工智能都会涉及哪些算法呢？不同算法适用于哪些场景呢？

一、按照模型训练方式不同可以分为监督学习（Supervised Learning），无监督学习（Unsupervised Learning）、半监督学习（Semi-supervised Learning）和强化学习（Reinforcement Learning）四大类。

常见的监督学习算法包含以下几类：

（1）人工神经网络（Artificial Neural Network）类：反向传播（Backpropagation）、波尔兹曼机（Boltzmann Machine）、卷积神经网络（Convolutional Neural Network）、Hopfield网络（hopfield Network）、多层感知器（Multilyer Perceptron）、径向基函数网络（Radial Basis Function Network，RBFN）、受限波尔兹曼机（Restricted Boltzmann Machine）、回归神经网络（Recurrent Neural Network，RNN）、自组织映射（Self-organizing Map，SOM）、尖峰神经网络（Spiking Neural Network）等。

（2）贝叶斯类（Bayesin）：朴素贝叶斯（Naive Bayes）、高斯贝叶斯（Gaussian Naive Bayes）、多项朴素贝叶斯（Multinomial Naive Bayes）、平均-依赖性评估（Averaged One-Dependence Estimators，AODE）

贝叶斯信念网络（Bayesian Belief Network，BBN）、贝叶斯网络（Bayesian Network，BN）等。

（3）决策树（Decision Tree）类：分类和回归树（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C45算法（C45 Algorithm）、C50算法（C50 Algorithm）、卡方自动交互检测（Chi-squared Automatic Interaction Detection，CHAID）、决策残端（Decision Stump）、ID3算法（ID3 Algorithm）、随机森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。

（4）线性分类器（Linear Classifier）类：Fisher的线性判别（Fisher’s Linear Discriminant）

线性回归（Linear Regression）、逻辑回归（Logistic Regression）、多项逻辑回归（Multionmial Logistic Regression）、朴素贝叶斯分类器（Naive Bayes Classifier）、感知（Perception）、支持向量机（Support Vector Machine）等。

常见的无监督学习类算法包括：

（1） 人工神经网络（Artificial Neural Network）类：生成对抗网络（Generative Adversarial Networks，GAN），前馈神经网络（Feedforward Neural Network）、逻辑学习机（Logic Learning Machine）、自组织映射（Self-organizing Map）等。

（2） 关联规则学习（Association Rule Learning）类：先验算法（Apriori Algorithm）、Eclat算法（Eclat Algorithm）、FP-Growth算法等。

（3）分层聚类算法（Hierarchical Clustering）：单连锁聚类（Single-linkage Clustering），概念聚类（Conceptual Clustering）等。

（4）聚类分析（Cluster analysis）：BIRCH算法、DBSCAN算法，期望最大化（Expectation-maximization，EM）、模糊聚类（Fuzzy Clustering）、K-means算法、K均值聚类（K-means Clustering）、K-medians聚类、均值漂移算法（Mean-shift）、OPTICS算法等。

（5）异常检测（Anomaly detection）类：K最邻近（K-nearest Neighbor，KNN）算法，局部异常因子算法（Local Outlier Factor，LOF）等。

常见的半监督学习类算法包含：生成模型（Generative Models）、低密度分离（Low-density Separation）、基于图形的方法（Graph-based Methods）、联合训练（Co-training）等。

常见的强化学习类算法包含：Q学习（Q-learning）、状态-行动-奖励-状态-行动（State-Action-Reward-State-Action，SARSA）、DQN（Deep Q Network）、策略梯度算法（Policy Gradients）、基于模型强化学习（Model Based RL）、时序差分学习（Temporal Different Learning）等。

常见的深度学习类算法包含：深度信念网络（Deep Belief Machines）、深度卷积神经网络（Deep Convolutional Neural Networks）、深度递归神经网络（Deep Recurrent Neural Network）、分层时间记忆（Hierarchical Temporal Memory，HTM）、深度波尔兹曼机（Deep Boltzmann Machine，DBM）、栈式自动编码器（Stacked Autoencoder）、生成对抗网络（Generative Adversarial Networks）等。

二、按照解决任务的不同来分类，粗略可以分为二分类算法（Two-class Classification）、多分类算法（Multi-class Classification）、回归算法（Regression）、聚类算法（Clustering）和异常检测（Anomaly Detection）五种。

1二分类（Two-class Classification）

（1）二分类支持向量机（Two-class SVM）：适用于数据特征较多、线性模型的场景。

（2）二分类平均感知器（Two-class Average Perceptron）：适用于训练时间短、线性模型的场景。

（3）二分类逻辑回归（Two-class Logistic Regression）：适用于训练时间短、线性模型的场景。

（4）二分类贝叶斯点机（Two-class Bayes Point Machine）：适用于训练时间短、线性模型的场景。（5）二分类决策森林（Two-class Decision Forest）：适用于训练时间短、精准的场景。

（6）二分类提升决策树（Two-class Boosted Decision Tree）：适用于训练时间短、精准度高、内存占用量大的场景

（7）二分类决策丛林（Two-class Decision Jungle）：适用于训练时间短、精确度高、内存占用量小的场景。

（8）二分类局部深度支持向量机（Two-class Locally Deep SVM）：适用于数据特征较多的场景。

（9）二分类神经网络（Two-class Neural Network）：适用于精准度高、训练时间较长的场景。

解决多分类问题通常适用三种解决方案：第一种，从数据集和适用方法入手，利用二分类器解决多分类问题；第二种，直接使用具备多分类能力的多分类器；第三种，将二分类器改进成为多分类器今儿解决多分类问题。

常用的算法：

（1）多分类逻辑回归（Multiclass Logistic Regression）：适用训练时间短、线性模型的场景。

（2）多分类神经网络（Multiclass Neural Network）：适用于精准度高、训练时间较长的场景。

（3）多分类决策森林（Multiclass Decision Forest）：适用于精准度高，训练时间短的场景。

（4）多分类决策丛林（Multiclass Decision Jungle）：适用于精准度高，内存占用较小的场景。

（5）“一对多”多分类（One-vs-all Multiclass）：取决于二分类器效果。

回归

回归问题通常被用来预测具体的数值而非分类。除了返回的结果不同，其他方法与分类问题类似。我们将定量输出，或者连续变量预测称为回归；将定性输出，或者离散变量预测称为分类。长巾的算法有：

（1）排序回归（Ordinal Regression）：适用于对数据进行分类排序的场景。

（2）泊松回归（Poission Regression）：适用于预测事件次数的场景。

（3）快速森林分位数回归（Fast Forest Quantile Regression）：适用于预测分布的场景。

（4）线性回归（Linear Regression）：适用于训练时间短、线性模型的场景。

（5）贝叶斯线性回归（Bayesian Linear Regression）：适用于线性模型，训练数据量较少的场景。

（6）神经网络回归（Neural Network Regression）：适用于精准度高、训练时间较长的场景。

（7）决策森林回归（Decision Forest Regression）：适用于精准度高、训练时间短的场景。

（8）提升决策树回归（Boosted Decision Tree Regression）：适用于精确度高、训练时间短、内存占用较大的场景。

聚类

聚类的目标是发现数据的潜在规律和结构。聚类通常被用做描述和衡量不同数据源间的相似性，并把数据源分类到不同的簇中。

（1）层次聚类（Hierarchical Clustering）：适用于训练时间短、大数据量的场景。

（2）K-means算法：适用于精准度高、训练时间短的场景。

（3）模糊聚类FCM算法（Fuzzy C-means，FCM）：适用于精确度高、训练时间短的场景。

（4）SOM神经网络（Self-organizing Feature Map，SOM）：适用于运行时间较长的场景。

异常检测

异常检测是指对数据中存在的不正常或非典型的分体进行检测和标志，有时也称为偏差检测。

异常检测看起来和监督学习问题非常相似，都是分类问题。都是对样本的标签进行预测和判断，但是实际上两者的区别非常大，因为异常检测中的正样本（异常点）非常小。常用的算法有：

（1）一分类支持向量机（One-class SVM）：适用于数据特征较多的场景。

（2）基于PCA的异常检测（PCA-based Anomaly Detection）：适用于训练时间短的场景。

常见的迁移学习类算法包含：归纳式迁移学习（Inductive Transfer Learning） 、直推式迁移学习（Transductive Transfer Learning）、无监督式迁移学习（Unsupervised Transfer Learning）、传递式迁移学习（Transitive Transfer Learning）等。

算法的适用场景：

需要考虑的因素有：

（1）数据量的大小、数据质量和数据本身的特点

（2）机器学习要解决的具体业务场景中问题的本质是什么？

（3）可以接受的计算时间是什么？

（4）算法精度要求有多高？

————————————————

原文链接： >

transformer 最早使用于NLP模型中，使用了 Self-Attention 机制。相较于RNN结构可以进行并行化训练，能够 拥有全局信息 。

scale dot-product attention

self-attention 过程图

query q 对 key k做attention：

softmax归一化：

权重乘value v 输出转化值：

合并之前的三个图中 *** 作：

Transformer架构

Feed-Forward组件：

架构图：

Transformer:[2017] attention is all you need

Bert[2018]: Elmo, GPT

参数文件大小：

BERT（BASE） (L=12, H=768, A=12, Total Parameters=110M)

BERT（LARGE） (L=24, H=1024,A=16, Total Parameters=340M)

IGPT：

借鉴bert思想，OpenAI尝试对测试数据随机mask 5 个token，最终ImageNet结果果然上升了一些（红色）。由于马赛克 *** 作过于严重（整张都mask了），尽管事实证明还是有效果的，但从输入上看，降低了模型的拟合能力。

VIT：

尝试过三种预训练方法，首先mask掉50%的patch，然后：

第三种方式已经非常接近了，但是由于研究的重点不在于此便浅尝辄止了

DEIT：

在预训练阶段，最多会mask 40%的patch。

另外，作者们其实也试过复原pixel，但效果会有18%的下降。对于这个现象，BEiT给出的猜想是，就像多层CNN一样，编码器最终得到的应该是一个更全局、高维的表示，而复现pixel会让后几层太关注局部细节。

MAE：

轻量级架构的两大核心：

一些值得注意的细节，比如：

1输入侧直接丢掉mask token，效果+07，效率x33

3选取数据增强策略，效果+02

思考：导致视觉和语言的masked autoencoder 不一样的三大原因

规模大的简单算法是深度学习的核心。在NLP中，简单的自我监督学习方法能够从模型的规模中获益。在计算机视觉中，实用的预训练范例主要是监督式的。在这项研究中，自我监督学习已经取得了进展。我们在ImageNet和迁移学习中观察到自动编码器（一种类似于NLP技术的简单的自我监督方法）与NLP中的技术类似，提供了可扩展的好处。视觉中的自我监督学习现在可能会走上一条与NLP类似的轨迹。另一方面，我们注意到，图像和语言是不同性质的信号，这种差异必须仔细处理。图像仅仅是记录的光，没有语义分解为视觉类似物的语义分解。我们不是试图去除物体，而是去除很可能不构成语义段的随机斑块。同样地，我们的MAE重建了像素，而这些像素并不是语义实体。从测试的结果上看，MAE能推断出了复杂的、整体的重建，这表明它已经学会了许多视觉概念（语义）。我们假设，这种行为的发生通过MAE内部丰富的隐藏表征。我们希望这个观点能给未来的工作带来启发。更广泛的影响。建议的方法预测内容基于训练数据集的学习统计，因此将反映这些数据中的偏差，包括具有负面社会影响的偏差。该模型可能产生不存在的内容。这些问题值得在这项工作的基础上进一步研究和考虑，以生成图像。

有可能取代所有组件。

每个领域都可尝试，遍地开花。

是的，AI技术可以用来制作。目前AI技术在图像处理方面有着广泛的应用，其中包括图像生成和编辑。

生成的AI技术主要有两种类型：一种是使用GAN（Generative Adversarial Networks，生成对抗网络）进行图像生成，另一种是使用VAE（Variational Autoencoder，变分自编码器）进行图像生成。这两种技术都可以模拟人类的创造力和想象力，通过学习大量的图像数据来生成新的图像。

除了生成图像外，AI技术也可以用于图像编辑。例如，使用AI技术来自动去除照片中的水印、人物或其他不需要的物体。还有类似FaceApp的人脸变换应用，可以使用AI技术来自动识别和替换照片中的人脸等。

总的来说，AI技术在图像处理方面的应用非常广泛，尤其是在生成和编辑方面，有着相当大的潜力和创造力。

以上就是关于人工智能算法简介全部的内容，包括:人工智能算法简介、论文阅读“ZINB-based Graph Embedding Autoencoder for Single-cell RNA-seq Interpretations”、Transformer原理及其应用等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！