在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：
一、数据量过大，数据中什么情况都可能存在。
如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至 过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时， 前面还能正常处理，突然到了某个地方问题出现了，程序终止了。
二、软硬件要求高，系统资源占用率高。
对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。
三、要求很高的处理方法和技巧。
这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。
下面我们来详细介绍一下处理海量数据的经验和技巧：
一、选用优秀的数据库工具
现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软 公司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要， 例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。
二、编写优良的程序代码
处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。
三、对海量数据进行分区 *** 作
对海量数据进行分区 *** 作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不 过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷， 而且还可以将日志，索引等放于不同的分区下。
四、建立广泛的索引
对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应 索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完 毕，建立索引，并实施聚合 *** 作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。
五、建立缓存机制
当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合 *** 作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。
六、加大虚拟内存
如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理， 内存为1GB，1个P424G的CPU，对这么大的数据量进行聚合 *** 作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区 上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为 40966 + 1024 =25600 M，解决了数据处理中的内存不足问题。
七、分批处理
海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处 理后的数据再进行合并 *** 作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还 需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。
八、使用临时表和中间表
数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合 并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总 *** 作， 可按汇总步骤一步步来，不要一条语句完成，一口气吃掉一个胖子。
九、优化查询SQL语句
在对海量数据进行查询处理过程中，查询的SQL语句的性能对查询效率的影响是非常大的，编写高效优良的SQL脚本和存储 过程是数据库工作人员的职责，也是检验数据库工作人员水平的一个标准，在对SQL语句的编写过程中，例如减少关联，少用或不用游标，设计好高效的数据库表 结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标，运行3个小时没有出结果，这是一定要改用程序处理了。
十、使用文本格式进行处理
对一般的数据处理可以使用数据库，如果对复杂的数据处理，必须借助程序，那么在程序 *** 作数据库和程序 *** 作文本之间选择， 是一定要选择程序 *** 作文本的，原因为：程序 *** 作文本速度快；对文本进行处理不容易出错；文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者 csv格式（文本格式），对它进行处理牵扯到数据清洗，是要利用程序进行处理的，而不建议导入数据库再做清洗。
十一、定制强大的清洗规则和出错处理机制
海量数据中存在着不一致性，极有可能出现某处的瑕疵。例如，同样的数据中的时间字段，有的可能为非标准的时间，出现的原因可能为应用程序的错误，系统的错误等，这是在进行数据处理时，必须制定强大的数据清洗规则和出错处理机制。
十二、建立视图或者物化视图
视图中的数据来源于基表，对海量数据的处理，可以将数据按一定的规则分散到各个基表中，查询或处理过程中可以基于视图进行，这样分散了磁盘I/O，正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。
十三、避免使用32位机子（极端情况）
目前的计算机很多都是32位的，那么编写的程序对内存的需要便受限制，而很多的海量数据处理是必须大量消耗内存的，这便要求更好性能的机子，其中对位数的限制也十分重要。
十四、考虑 *** 作系统问题
海量数据处理过程中，除了对数据库，处理程序等要求比较高以外，对 *** 作系统的要求也放到了重要的位置，一般是必须使用服务器的，而且对系统的安全性和稳定性等要求也比较高。尤其对 *** 作系统自身的缓存机制，临时空间的处理等问题都需要综合考虑。
十五、使用数据仓库和多维数据库存储
数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。
十六、使用采样数据，进行数据挖掘
基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样 的误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出 400万行，经测试软件测试处理的误差为千分之五，客户可以接受。
还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等 *** 作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。
海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。
机器学习入门报告之 解决问题一般工作流程
对于给定的数据集和问题，用机器学习的方法解决问题的工作一般分为4个步骤：
一． 数据预处理
首先，必须确保数据的格式符合要求。使用标准数据格式可以融合算法和数据源，方便匹配 *** 作。此外还需要为机器学习算法准备特定的数据格式。
然后，直接得到的数据集很少可以直接使用，可能有以下原因：
1 样本某些属性缺失
2 某些样本未标记
3 样本属性过多
4 没有分出训练集和测试集
5 不同类别训练样例比例相差太大
对于1，2这样的情况，在该类样本数较少的情况下一般通过删除该类无效样本来清洗数据。
对于3
·过多的特征可能误导学习器
·更多的特征意味着更多的参数需要调整，过拟合的风险加大
·数据的可视化要求维度不高于3
·维度越少训练越快，可尝试的东西越多，能得到更好地效果
·数据的维度可能虚高。
解决方法就是降维，降维分为特征选择法和特征抽取法。
特征选择法：
所谓特征选择，就是选择样本中有用、跟问题相关的特征。事实上并不一定样本的所有属性对具体问题都是有用的，通过一定的方法选择合适的特征可以保证模型更优。常用的方法大致分三类：过滤式、包裹式和嵌入式。
特征抽取法：
特征抽取试图将原始特征空间转换成一个低维特征空间而不丢失主要信息。无法使用选择方法来删除特征，而特征又太多的时候，这种方法很有效。我们可以通过主成分分析PCA和线性判别式分析和多维标度法来验证。
对于4，为了方便训练和验证模型好坏，数据集一般会以9：1或者其他合适比例（比例选择主要基于实际问题）分为测试集和验证集。如果给定的数据集只是已经标记好的样本，那么划分时必须保证数据集和测试集的分布大致均匀。
对于5，即类别不均衡问题，处理的一个基本策略是—再缩放。
二． 选定算法
一种方式是根据有没有标记样本考虑。
如果是有标记样本，可以考虑有监督学习，反之则是无监督学习。
无监督学习方法主要是聚类。随机选定几个样本，通过一定的算法不停迭代直至收敛或者达到停止条件，然后便将所有样本分成了几类。
对有监督学习而言，根据最终所需要的输出结果
如果是分类问题，可以参考的模型有线性回归及其非线性扩展、决策树、神经网络、支持向量机SVM、规则学习等
如果是回归问题，可以认为是分类的连续形式，方法便是以上模型的变种或扩展
如果涉及到概率，可以参考的有神经网络、贝叶斯、最大似然、EM、概率图、隐马尔科夫模型、强化学习等
三． 训练算法
将格式化数据输入到算法，从中抽取知识或信息。这里的得到的知识需要存储为计算机可以处理的格式，方便后续使用。
四． 性能评估和优化
如果要评估训练集和测试集的划分效果，常用的有留出法、交叉验证法、自助法、模型调参等
如果模型计算时间太长，可以考虑剪枝
如果是过拟合，则可通过引入正则化项来抑制（补偿原理）
如果单个模型效果不佳，可以集成多个学习器通过一定策略结合，取长补短（集成学习）
我把K-mediods的matlab代码贴出来，你好好学习一下
function label = kmedoids( data,k,start_data )
% kmedoids k中心点算法函数
% data 待聚类的数据集,每一行是一个样本数据点
% k 聚类个数
% start_data 聚类初始中心值,每一行为一个中心点,有cluster_n行
% class_idx 聚类结果,每个样本点标记的类别
% 初始化变量
n = length(data);
dist_temp1 = zeros(n,k);
dist_temp2 = zeros(n,k);
last = zeros(n,1);
a = 0;
b = 0;
if nargin==3
centroid = start_data;
else
centroid = data(randsample(n,k),:);
end
for a = 1:k
temp1 = ones(n,1)centroid(a,:);
dist_temp1(:,a) = sum((data-temp1)^2,2);
end
[~,label] = min(dist_temp1,[],2);
while any(label~=last)
for a = 1:k
temp2 = ones(numel(data(label==a)),1);
temp3 = data(label==a);
for b = 1:n
temp4 = temp2data(b,:);
temp5 = sum((temp3-temp4)^2,2);
dist_temp2(b,a) = sum(temp5,1);
end
end
[~,centry_indx] = min(dist_temp2,[],1);
last = label;
centroid = data(centry_indx,:);
for a = 1:k
temp1 = ones(n,1)centroid(a,:);
dist_temp1(:,a) = sum((data-temp1)^2,2);
end
[~,label] = min(dist_temp1,[],2);
end
end
要是连软件的安装和打开都要我啰嗦的话，我劝您还是买一套洪恩的《开天辟地》好好热热身先。
SAS 82的界面中间是三个并排（或层叠）的窗口，那个叫做Program Editor的窗口（窗口标签为Editor）就是用来输入SAS语句的，编程 *** 作的所有内容都是在该窗口内完成的，各位还是要跟它先多熟悉一下。
（一）数据集（dataset）和库
统计学的 *** 作都是针对数据的，SAS中容纳数据的文件称为数据集，数据集又包含在不同的库（暂且理解为数据库吧）中。SAS中的库分为永久性和临时性两种。顾名思义，存在于永久库中的数据集是永久存在的（只要你不去删除它），临时库中的数据集则在你退出SAS后自动被删除。至于SAS中库的概念，最简单的理解就是一个目录，一个存放数据集的目录。
数据集的结构完全等同于我们一般所理解的数据表，由字段和记录所构成，在统计学中我们习惯将字段称为变量，在后面的内容中字段和变量我们就理解为同一种东西吧！建立数据集的方法很多，编程 *** 作中有专门的数据读入方法来建立数据集，但需要将数据现场录入，费时费力。如果数据量大，我劝各位还是先以其它方法将数据集建好，否则程序语句的绝大部分会浪费在数据的输入上。
What are 其它方法？各位是不是去参考一下别的书籍或资料。要不您是不是可以等一等，我准备若干年后出一本SAS *** 作大全。
（二）SAS程序概述
和其它计算机语言一样，SAS语言（称为SCL语言，SAS Component Language）也有其专有的词汇（即关键字）和语法。关键字、名字、特殊字符和运算符等按照语法规则排列组成SAS语句，而执行完整功能的若干个SAS语句就构成了SAS程序。
SAS程序包括多个步骤和一些控制语句，一般情况下均包括数据步和过程步，一个或多个、数据步或过程步，它们之间任何形式的组合均可成为一段SAS程序，只要能完成一个完整的功能。通常情况下SAS程序还包括一些全程语句，用以控制贯穿整个SAS程序的某些选项、变量或程序运行的环境。
SAS程序的语句一般以关键字开始，以一个分号结束，一条语句可占多行（SAS每看到一个分号，就将其以前、上一个分号以后的所有东东当作一条语句来处理，而不管他们处在多少个不同的行中）。SAS语句对字母的大小写不敏感，你可以根据个人习惯决定字母的大写或小写。
1 库名（库标记）的定义
为了保存宝贵的数据和方便 *** 作起见，我习惯于指定自己的库名及其路径（目录），因为SAS系统中已有的永久库（SASUSER）无论库名还是其对应的路径都太过繁琐，使用太不方便。程序中用到的数据，都可以永久的保存于该路径下，保证以后可以重复使用。指定库名的语句为全程语句，其格式如下：
Libname 库名 ‘路径’；
例如我们指定的库名为“a”，路径为：“e:\data\”，SAS语句如下：
libname a ‘e:\data\’;
2 数据步
SAS的数据步以data语句开始，用于创建和处理数据集。Data语句以关键字“data”开始，格式如下：
data 数据集名;
例如：data acase; 将创建在库a中名为case的SAS数据集，语句执行后你可在与库a对应的目录下看到刚刚建立的数据集文件case。
Data语句所指定的数据集，一般都是以“库名数据集名”的格式出现的，也可以单独的“数据集名”出现，此时的数据集系统默认为是临时库中的数据集，退出系统后将会被删除。
data语句有两个重要的功能，标志数据步的开始和命名将要创建的SAS数据集。
除data语句外，数据步一般情况下还包括infile语句、input语句以及datalines语句等。在不同的数据输入方式下对于它们的使用方式也不一样。
SAS程序有两种常见的数据输入方式，即从外部文件读入和直接输入两种方式。
（1）外部文件读入方式
数据若已经包含在某个外部文件（文本文件或数据文件）中，可用此方法输入数据到数据集文件中。
在以上介绍的data语句后，写入以下语句：
infile ‘外部文件的所在位置及名称’ 选项;
input 变量名1变量名2 …变量名n;
infile语句用于从外部文件读入数据，必须出现在input语句之前。它的功能是指定一个包含原始数据的外部文件。
input语句用于向系统表明如何读入每一条数据记录。它的主要功能有：读入由语句指定的数据列，为相应的数据域定义变量名，确定变量的读入模式。
例如：
libname a ‘e:\data\’;
data astudent;
infile ‘e:\data\studenttxt’;
input name height weight;
以上程序将目录“e:\data\”下的文本文件“studenttxt”中的数据输入数据集student中，该数据集存放于目录“e:\data\”下。
（2）直接输入方式
数据量较少或 *** 作者意志力坚强的情况下采用此种输入方式，在data语句之后写入如下语句：
input变量名1变量名2 …变量名n;
datalines;（在以前的版本下为cards，新版本下两者可通用）
… … … …（数据行）
… … … …（数据行）
… … … …（数据行）
;
datalines语句用于直接输入数据，标志着数据块的开始。
注意：这里的数据行中数据之间以空格分隔，当然也可以其它东东如逗号等来分隔，这里大家先以空格来分隔好了。因为不同的分隔方式下input语句要采取相应的控制选项，这些我们以后再讨论，这里我们还是省省力气吧。另外数据行输完后不能像其它语句那样直接在后面加上分号，而要另起一行输入分号，这样SAS才认为这是在输入原始数据而不是在搞别的什么。
例如：
libname a ‘e:\data\’;
data astudent;
input name $ height weight;（name后面的$符号表示变量name为字符型变量）
datalines;
Linda 171 51
Mary 168 50
Selinna 169 49
;
以上程序将直接建立数据集文件student，该数据集文件存放于目录“e:\data\”下。
3 过程步
SAS程序的过程步表示一个处理过程，如排序、T检验、方差分析等等。过程步以关键字proc开始，后面紧跟着过程名，用以区分不同的程序步，并以关键字run结束。
一般的格式如下：
proc 过程名 选项列表；
……（其它语句）；
……（其它语句）；
run；
SAS程序中涉及的过程多达数百种，实现统计功能时常用的过程也有数十种之多，现将最为常用的过程名称及其所能实现的功能列入下表（表11），以便各位提前热热身。
表11 常用的过程名称及其功能
过程名
功 能
Sort
将指定的数据集按指定变量排序
将数据集中的数据列表输出
tabulate
将数据按照指定的分类变量以表格的形式分类汇总
Means
对指定的数值变量进行简单的统计描述
Freq
对指定的分类变量进行简单的统计描述
Ttest
对指定的变量做t检验
Anova
对指定的变量做方差分析
npar1way
对指定的变量做非参数检验
Reg
对指定的变量做回归分析
Corr
对指定的变量做相关分析
Discrim
对指定的变量做判别分析
Cluster
对指定的变量做聚类分析
Chart
绘出低分辨率的统计图
4 几个常用的重要过程
在进入一般统计学功能实现的内容之前，有关数据预处理和执行重要公共功能的过程大家有必要预先掌握，这里选出几个常用的和重要的过程进行讨论。
（1）对SAS文件进行 *** 作的datasets过程
datasets过程是对数据文件进行管理 *** 作的工具，利用它我们可以实现以下功能：
将SAS文件从一个库中拷入另一个库中；
对SAS文件进行重命名；
修复损坏的SAS文件；
删除SAS文件；
列出某一SAS库中所有的SAS文件；
列出一个SAS数据集的属性，如最后修改时间、数据是否压缩、数据是否索引等；
对SAS文件进行设置密码的 *** 作；
向SAS数据集添加记录；
对SAS数据集的属性以及数据集内变量的属性进行修改；
创建或删除SAS数据集的索引；
创建并管理SAS数据集的核查文件；
创建或删除SAS数据集的完整性规则。
datasets过程的一般格式如下：
proc datasets <选项列表>；
age 当前文件名 相关文件名列表</选项列表>；
append base=数据集名 <data=数据集名 其它选项>；
audit 文件名<（ *** 作密码）>； initiate；<其它代码；>
change 旧文件名1=新文件名1 <…旧文件名n=新文件名n> <选项列表>；
contents <data=数据集名> <其它选项>；
copy out=库标记 <其它选项>；
exclude 文件名 <其它选项>；（该语句只能在copy语句后出现，不能和select语句同时出现）
select 文件名 <其它选项>；（该语句只能在copy语句后出现，不能和exclude语句同时出现）
delete 文件名 <其它选项>；
exchange文件名1=交换文件名1 <…文件名n=交换文件名n> <选项列表>；
modify 文件名 <选项列表>；
<modify语句之从属语句>；
repair文件名 <选项列表>；
save文件名 <选项列表>；
run；
是不是太繁琐了，我都有些不耐烦了。不过我还是得写，已经写了嘛！不忍心浪费掉，最起码可以用来充充数，扩大一下篇幅。至于各位，嫌烦的可以略过此部分，想用的时候再来温习也不迟。下面我就不厌其烦地向各位介绍一下各选项及各条语句的含义和用法。
proc datasets语句后各选项的含义及用法见下表（表12）。
表12 proc datasets语句后各选项的含义及用法
选项
含义及用法
alter=转换保护密码
SAS文件设置有转换 *** 作密码时用以验证 *** 作的合法性，密码正确时代码才会被执行
details/nodetails
控制有关SAS文件的详细信息显示与否，前者为显示，后者不显示，默认值为后者
force
此选项具有两个功能：（1）在过程步的语句存在错误时仍然强制程序的执行；（2）在append语句中，两个数据集的变量不完全相同时仍然强制append语句的执行。
gennum=
控制对衍生数据集的处理方式，等号后可为all, hist, revert或某一整数
kill
此选项表示删除待处理的库中的所有文件，应慎用
library=库标记
用以指定所要处理的库
memtype=成员类型
指定处理所针对的库成员类型（文件类型），默认值为all（所有类型）
nolist
在日志文件中禁止对所处理文件目录的显示
nowarn
在语句中指定的文件不存在等情况下，禁止显示出错信息，强制程序继续执行
pw= *** 作密码
SAS文件设置 *** 作密码时验证 *** 作的合法性（包括读、写保护以及转换保护的文件）
read=读保护密码
SAS文件设置读保护密码时验证 *** 作的合法性
age语句用于批量地重命名文件，按照当前文件和相关文件的排列顺序，依次将后一个文件名重命名给前一个文件，结果是最后一个文件被删除，当前文件名被废弃。
对此语句我所了解的就这么多，而且还是通过试验得出的结论，但总感觉还是理解的不对，哪位若有高见还请不吝赐教。
append语句执行向数据集添加记录的功能，选项“base=数据集名”用以指定要添加记录的数据集，“data=数据集名”则指定所要添加的记录所在的数据集，此选项若省略则默认为当前数据集（最近一次 *** 作的数据集）。
audit语句用于对文件的核查，生成核查文件并对其进行管理；change语句以新文件名替换旧文件名；contents语句用于显示指定数据集或当前数据集的各种属性；copy语句用于将当前库中相应的文件拷贝到指定的库中，选项“out=库标记”用来指定文件要拷贝到的目标库；delete语句用于删除指定的文件；exchange语句的功能是将等号前后两个文件的文件名进行互换；modify语句用于修改文件各方面的属性；repair语句用于对指定的文件（受到过某种损坏）进行修复，使其恢复到可以使用的状态；save语句的功能是将其指定的文件保留，当前库中的其他所有文件则被删除。
（2）对数据文件中记录进行排序的sort过程
sort过程的功能是对指定数据集中的记录按照指定的变量进行排序。由于诸多过程有对数据集记录进行排序的需要，比如过程步中存在by语句（用以将数据文件分割为若干部分）的情况下，就需要按照by语句后的变量对数据先行排序，所以sort过程非常有用，而且非常常用。
sort过程的一般格式如下：
proc sort 选项列表；
by <descending> 变量名1 <变量名2 … 变量名n>；
run；
proc sort语句后各选项含义及其用法见下表（表13）。
表13 proc sort语句后各选项含义及其用法
选项
含义及用法
data=数据集名
用以指定sort过程所要处理的数据集，若省略则默认为最近建立或处理的数据集
datecopy
此选项指定在不改变文件创建日期和修改日期的条件下对文件进行排序 *** 作
out=数据集名
将排序后文件以指定的文件名存储，原文件不进行任何修改，若无此选项则将原文件覆盖
sortseq=排序依据
指定对字符型变量排序时依据的标准
reverse/equals/noequals
指定输出数据中的排序方式，三者分别表示将字符变量的次序翻转显示，在排序变量的各水平内部次序保持不变，在排序变量的各水平内部允许次序的改变
nodupkey/noduprecs
指定重复变量的消除方式，前者表示除去排序变量值重复的记录，后者表示除去所有变量值重复的记录
sortsize=
用以指定可用最大内存的大小，等号后为表示内存大小的数值及单位，比如10m
force
用以强制执行重复排序（对已建立索引的文件排序）过程
tagsort
指定在临时文件中仅存储排序变量和记录编号，以减少对磁盘空间的使用
by语句即用以指定排序所要依据的变量，变量可为数值型也可为字符型，其后可指定多个变量，sort过程在按照靠前的变量进行排序的情况下再按照靠后的变量进行排序。by语句中每个变量前可用descending/ascending选项来指定按照其排序的方式（降序或升序），默认状态为升序。
（3）将数据文件输出显示的print过程
print过程的功能是将SAS数据集的记录以一定的方式显示到输出设备（显示屏），可以显示其全部的变量或部分变量。利用此过程，你可以创建从简单列表到可进行数据汇总的各种报告的各种不同的表单。
print过程的一般格式如下：
proc print 选项列表；
by <descending> 变量名1 <变量名2 … 变量名n 其他选项>；
pageby 变量名；
sumby 变量名；
id 变量名；
sum变量名；
var变量名；
run；
proc print语句后可跟的选项含义及其用法见下表（表14）
表14 proc print语句后选项含义及其用法
选项
含义及用法
contents=文本
用以指定html内容文件中指向输出的链接的标识文本，等号后可为任何文本
data=数据集名
指定所要处理的数据集，等号后为数据集文件名
double
指定在相邻的记录间插入一空行
n=字符串
在报告的末尾或by变量各水平分组的末尾显示显示记录的数目，并以等号后的字符串对其进行标识
noobs
禁止记录编号在报告中的显示
obs=列标题
用以指定记录编号所在列的列标题
round
对未进行格式化的数值变量进行四舍五入，统一格式化为带两位小数的十进制数值
rows=page
规定页面格式，目前’page’是此选项唯一可用的值，表示在每一页中只显示一条记录的一行变量值，即一行中显示尽可能多的记录数
width=列宽度
指定列的宽度，可取的值有’full’,’minimum’,’uniform’,’uniformby’等，
heading=方向
取值可为v（vertical）或h（horizontal），表示列标题显示的方向（横向或纵向）
label
指定以变量标识作为相应的列标题，否则以变量名作为列标题
split=字符
首先此选项指定以变量标识作为列标题，以指定的字符作为列标题换行的标志
style=类型元素
指定报告中特定位置所要应用的类型元素（涉及很多内容，详细内容略）
by语句在所有过程中的用法都相同，即将数据集分割为若干小数据集分别进行处理。pageby语句用来控制换页时变量的显示方式，对于其后所指定的变量，相同的值不会显示在不同的页中，该变量某一值的记录在一页的剩余部分显示不下时，则从该值的第一条记录开始换行显示。sumby语句的作用和pageby语句相似，只不过是将换页的动作换为求和，对指定变量的每一值计算var变量的总计值。id语句的作用是用指定的变量值代替记录编号对每一条记录进行标识。sum语句用于指定报告中要进行求和 *** 作的变量，var语句用于指定要在报告中显示的变量。
以上过程作用较为普遍，使用频率较高，有必要预先了解，以便于后面所讨论内容的顺利进行。
为节省篇幅，这里不进行实例演示。内容过于枯燥，可能的错误也难免，还请各位多多包涵。
SAS程序 *** 作的大概情况就草草的这样介绍一下吧，说得太多的话我怕各位没有耐心看下去。更多的内容我想还是留在实际的例子中来介绍，这样大家可以好好的切身体会一下，然后就会印象深刻，实际运用起来也就得心应手了。
Hadoop
Apache开源组织的一个分布式计算框架，提供了一个分布式文件系统 (HDFS)、MapReduce分布式计算及统一资源管理框架（Yarn）的软件架构。
HBase
是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
kafka
Apache旗下的一个高性能，高吞吐量的分步式消息总线系统。
Storm
一个分布式的、容错的实时计算系统。使用Storm进行实时大数据分析。
Flink
可扩展的批处理和流式数据处理的数据处理平台，设计思想主要来源于Hadoop、MPP数据库、流式计算系统等，支持增量迭代计算。
Spark
专为大规模数据处理而设计的快速通用的计算引擎。
DATA CHENGJI1;
INPUT NAME $ SEX $ MATH CHN GROUP;
CARDS;
李明 男 92 98 1
张红艺 女 89 106 1
王思明 男 86 90 1
;
RUN;
DATA CHENGJI2;
INPUT NAME $ SEX $ MATH CHN GROUP;
CARDS;
张聪 男 95 92 2
刘颖 女 98 101 2
高红 女 91 92 2
;
RUN;
DATA CHENGJI3;
INPUT NAME $ SEX $ MATH CHN GROUP;
CARDS;
赵强 男 93 99 3
李云芳 女 96 102 3
周闪 男 88 98 3
;
RUN;
第二步;
DATA CHENGJI0;
SET CHENGJI1 CHENGJI2 CHENGJI3;
RUN;
第三步;
DATA CHENGJI;
SET CHENGJI0;
AVG=MEAN(MATH,CHN);
RUN;
PROC SORT;
BY AVG;
RUN;
第四步;
DATA MATH90;
SET CHENGJI0;
WHERE MATH>90;
RUN;
第五步;
PROC SORT DATA=CHENGJI(KEEP=NAME GROUP AVG) OUT=LAST ;
BY GROUP AVG;
RUN;
DATA LAST;
SET LAST;
BY GROUP AVG;
IF FIRSTGROUP;
RUN;
第六步;
PROC SORT DATA=CHENGJI0 OUT=MATH;
BY SEX;
RUN;
DATA MATH(KEEP=SEX AVG SUM_ALL);
SET MATH END=T;
BY SEX;
IF FIRSTSEX THEN DO;
I=0;
M=0;
END;
M+MATH;
I+1;
AVG=M/I;
J+1;
TOT+MATH;
IF LASTSEX;
IF T THEN SUM_ALL=TOT;
RUN;
第七步;
PROC SUMMARY DATA=CHENGJI0 NWAY;
VAR MATH;
OUTPUT OUT=A(DROP=_TYPE_ RENAME=(_FREQ_=N)) SUM=TOT;
RUN;
DATA DIF;
IF _N_=1 THEN SET A;
SET CHENGJI0;
AVG=TOT/N;
DIFF=AVG-MATH;
DROP TOT N;
RUN;
第八步;
DATA EN;
INPUT EN @@;
CARDS;
80 84 85 86 82 87 96 75 52
;
RUN;
DATA ALL;
SET CHENGJI0;
SET EN;
RUN;
楼上这位是大牛，多向他学习学习
1 识别信息需求
识别信息需求是确保数据分析过程有效性的首要条件，可以为收集数据、分析数据提供清晰的目标。
2数据采集
了解数据采集的意义在于真正了解数据的原始面貌，包括数据产生的时间、条件、格式、内容、长度、限制条件等。帮助数据分析师更有针对性的控制数据生产和采集过程，避免由于违反数据采集规则导致的数据问题;同时对数据采集逻辑的认识增加了数据分析师对数据的理解程度，尤其是数据中的异常变化。
3数据存储
在数据存储阶段，数据分析师需要了解数据存储内部的工作机制和流程，最核心的因素是在原始数据基础上经过哪些加工处理，最后得到了怎样的数据。由于数据在存储阶段是不断动态变化和迭代更新的，其及时性、完整性、有效性、一致性、准确性很多时候由于软硬件、内外部环境问题无法保证，这些都会导致后期数据应用问题。
4数据提取
数据提取是将数据取出的过程，数据提取的核心环节是从哪取、何时取、如何取。在数据提取阶段，数据分析师首先需要具备数据提取能力。常用的Select From语句是SQL查询和提取的必备技能，但即使是简单的取数工作也有不同层次。
5数据挖掘
数据挖掘是面对海量数据时进行数据价值提炼的关键，以下是算法选择的基本原则：没有最好的算法，只有最适合的算法，算法选择的原则是兼具准确性、可 *** 作性、可理解性、可应用性。没有一种算法能解决所有问题，但精通一门算法可以解决很多问题。
挖掘算法最难的是算法调优，同一种算法在不同场景下的参数设定相同，实践是获得调优经验的重要途径。
6数据分析
分析数据是将收集的数据通过加工、整理和分析、使其转化为信息，通常所用的方法有：老七种工具，即排列图、因果图、分层法、调查表、散步图、直方图、控制图;新七种工具，即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图。
7数据可视化
数据分析界有一句经典名言，字不如表，表不如图。别说平常人，数据分析师自己看数据也头大。这时就得靠数据可视化的神奇魔力了。除掉数据挖掘这类高级分析，不少数据分析师的平常工作之一就是监控数据观察数据。
8数据应用
数据应用是数据具有落地价值的直接体现，这个过程需要数据分析师具备数据沟通能力、业务推动能力和项目工作能力。
以上就是关于如何处理海量数据全部的内容，包括:如何处理海量数据、机器学习入门报告之 解决问题一般工作流程、请高手帮忙编写关于K—mediods算法的MATLAB程序用于处理Iris数据集的聚类处理,得到迭代次数图形和准确率等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）