数据挖掘WEKA工具怎样来用来进行文本分类？有800多个测试文本，求大神给出具体的步骤和通俗易懂的

第一步，你要有中文的数据集；

第二步，数据集要准备成weka能处理的结构，这很好做到，你把数据集压缩了就行了，因为它要求的格式是，一个类别的文件放一个文件夹下。但是还有一个问题，你的机器往往没那么多内存去处理这个数据集，那么你可以选几个类别出来，在每个类别中放几十个文档来做就可以了。

第三步，分词。

第四步，使用weka wiki中的例子将数据集转换成arff格式。

weka是一种机器学习算法的集合，它可以用于分类，预测等。由于weka支持的数据格式是arff或csv的格式，因此在进行weka实验的时候必须进行数据的预处理。一般，我们可以在EXCEL里面导入TXT，然后另存为.CSV格式的文件（这个格式WEKA也是可以识别的），然后打开WEKA，–》TOOL–》 arffviewer中打开刚才的.CSV文件，另存为.arff就OK了！

1、RapidMiner

该工具是用Java语言编写的，通过基于模板的框架提供先进的分析技术。该款工具最大的好处就是，用户无需写任何代码。它是作为一个服务提供，而不是一款本地软件。值得一提的是，该工具在数据挖掘工具榜上位列榜首。

另外，除了数据挖掘，RapidMiner还提供如数据预处理和可视化、预测分析和统计建模、评估和部署等功能。更厉害的是它还提供来自WEKA(一种智能分析环境)和R 脚本的学习方案、模型和算法。

RapidMiner分布在AGPL开源许可下，可以从SourceForge上下载。SourceForge是一个开发者进行开发管理的集中式场所，大量开源项目在此落户，其中就包括维基百科使用的MediaWiki。

2、WEKA

WEKA原生的非Java版本主要是为了分析农业领域数据而开发的。该工具基于Java版本，是非常复杂的，并且应用在许多不同的应用中，包括数据分析以及预测建模的可视化和算法。与RapidMiner相比优势在于，它在GNU通用公共许可证下是免费的，因为用户可以按照自己的喜好选择自定义。

WEKA支持多种标准数据挖掘任务，包括数据预处理、收集、分类、回归分析、可视化和特征选取。

添加序列建模后，WEKA将会变得更强大，但目前不包括在内。

3、R-Programming

如果我告诉你R项目，一个GNU项目，是由R(R-programming简称，以下统称R)自身编写的，你会怎么想它主要是由C语言和FORTRAN语言编写的，并且很多模块都是由R编写的，这是一款针对编程语言和软件环境进行统计计算和制图的免费软件。R语言被广泛应用于数据挖掘，以及开发统计软件和数据分析中。近年来，易用性和可扩展性也大大提高了R的知名度。

除了数据，它还提供统计和制图技术，包括线性和非线性建模，经典的统计测试，时间序列分析、分类、收集等等。

一个新的、大规模分析与存储的时代正在我们面前徐徐展现身姿。Ocient、Imply、VAST Data及WEKA这四家初创公司，都在以几秒之内存储并访问数百PB、也就是数万亿行数据为核心卖点。但他们所宣传的这种大规模并行访问技术，从本质上讲走的是不涉及任何硬件的纯软件性能增长路线。

话虽如此，但必须强调一点：VAST Data和Ocient的产品都以NVMe SSD为基本组件，WEKA也在部署中使用到了固态存储设备。

好在这类超高速访问需求在结构化和非结构化数据场景中还不算普遍，目前主要集中在少数几个市场——金融交易（VAST和WEKA以此见长）、在线媒体广告展示技术（Ocient的主要业务所在）、高性能计算（WEKA）以及AI/ML模型训练。

VAST公司联合创始人Jeff Denworth认为，AI/ML技术的应用终将扩展到常规商业市场。大多数企业都需要把内部生产日志跟外部客户交互结合起来，从数据中查找模式、分析原因并做出最优内外部运营决策。这种最优决策既体现在业务流程的各个细节当中，也将有助于增强企业的整体盈利能力。

当前，ML模型已经被实际应用于设备 健康 扫描、投资交易决策、工厂生产运营、物流交付路径、产品推荐、流程改进与员工效率等场景。根据Denworth的介绍，ML模型的复杂性每年大约翻一番，而且目前的经验基本仍是模型体量越大、训练和后续推理效果越好。

Pure正在进军规模更大的数据集市场，高端阵列供应商Infinidat则已经在这一领域有所布局。

这种对EB级存储需求的认同和布局，也让他们同主流存储厂商形成了显著差异。在Denworth看来，要想真正参与竞争，老牌大厂首先得克服传统架构带来的种种劣势。

Ocient刚刚推出了其超大规模数据仓库产品。此次亮相的是v19.0版本，而且旧版本在过去一年中已经成功得到部分企业客户的大规模应用。Ocient公司还提到，该产品专门负责给结构化与半结构化数据集，提供性价比极高的复杂与连续分析支持。在这套数据仓库的协助下，客户能够完成以往无法完成的工作负载，并把结果的返回时间由以往的几小时甚至几天、缩短到如今的几分钟甚至是几秒。

Ocient还提到，这款软件采用计算相邻存储架构（CASA），也就是将存储与计算资源彼此相邻地放置在行业标准的NVMe固态驱动器上。这不仅将随机读取IOPS成功拉升至每秒数亿次，同时能够支持对多种复杂数据类型同时执行加载、转换、存储、分析等大规模并发处理。整个数据路径都针对需求做出了性能优化。

例如，这套数据仓库提供对接NVMe SSD的高吞吐量自定义接口，并提供高并发读取与高队列深度等用于充分发挥硬件性能的设计。其中还包含一个无锁、大规模并发SQL成本优化器，能够确保每项查询计划都能在服务类别之内高效执行，且不会影响到其他工作负载或用户体验。

Ocient超大规模数据仓库目前主要以三种方式交付：OcientCloud内的全托管服务，客户自有数据中心的本地解决方案，以及Google Cloud Marketplace中的商业产品。

VAST Data即将推出一款重要软件。Denworth表示，VAST已经在硬件阵列、无状态控制器和单层QLC闪存存储方面做出不少 探索 ，接下来的工作重点将转向软件领域。

面对重重压力，老牌厂商当然需要做出回应、顶住后起之秀们拿出的新兴技术。单靠全闪存加单层设计当然不够，主流存储商还得调整自身软件家族。这可能意味着投入数年时间，从头开始开发新的软件解决方案。考虑到时间成本，大厂们很可能会直接采购这类技术成果。届时，也许存储领域也会掀起一波类似于英伟达那样的并购浪潮，借他人之力保持自身在AI/ML时代下的市场地位。

总而言之，除非戴尔、IBM、HPE、NetApp、Qumulo以及各大对象存储厂商用实际行动证明，他们也能在规模、性能、d性和成本等指标上正面抗衡那些初创厂商，否则他们必然会在百PB、万亿行级别的结构化/非结构化数据集时代下逐渐边缘化。至少Imply、Ocient、VAST和WEKA都对自己充满信心，也期待着“彼可取而代之”的那天。

---