HBase: Thrift写数据报错——socket.error: [Errno 32] Broken pipe

昨天用HBase存数据的时候出了点小问题，程序放在服务器上，运行几分钟之后就开始报错：

而这个问题在我自己的电脑上测试时从未遇到过，查了些资料，先放解决办法：

在 conf/hbase-sitexml 中添加如下配置（每个节点都添加）

即设置超时时间为60s

参考：

hbase thrift 写数据报错

Stack Overflow——How to prevent errno 32 broken pipe

Google就是Google，就算是推白菜出来，也一样能让人侧目。其实protocol buffers也不是什么新鲜的概念，且不说传统的ASN1, ICE这些有点类似的东西，facebook一年前就推出了thrift，应该说定位是非常的接近的。也有谣传说是先有了protocol buffers在google内部流行，然后google的人跳槽到facebook，就出了thrift这个东西……呵呵，停止八卦，言归正传。 观察法看到的优缺点 Thrift: 支持的语言更广泛一些c++, java, python,ruby, csharp, haskell, ocmal, erlang, cocoa, php, squeak(真够变态的) protobuf 目前还是只支持c++, java, python, 其他语言有待开发 Thrift提供的功能更丰富一些: Thrift提供了简单的RPC构架(其实不简单了, block, nonblock的都有了…) protobuf好像一心一意做好自己的事情，只提供了序列化和反序列化的功能。 Thrift支持多种协议格式 Thrift的代码实现，有专门的TProtocol和TTransport抽象，相互配合，可以实现多种协议，方便集成各种传输方式。至少目前Thrift就能使用json作为序列化协议。 protobuf好像只安心一种协议，并下决心把这个格式做好。输入输出也是标准的stream 认真的说也不完全这样，protobuf为了调试方便，也提供了Text_Fromat功能，这个也算一个nonbinary格式支持，这样看来完全新协议还是有可能的。 Thrift还提供了不少语言的C module(性能啊，都是性能啊) protobuf全部pure language实现, 反正现在已经都5到10倍速度了，不在乎了… thrift目前不支持Windows平台，至少c++语言的runtime library和generated code是不不能在windows平台上使用的。(这真有点让人难以接受啊，现代科技这么发达，还有怪兽boost，支持windows有这么难吗) protobuf没有这个问题，提供了visual studio的项目文件，可以很顺利的在windows平台下编译。(题外话: 如果不知道googletest怎么在windows平台上使用，可以参考protobuf的测试用例)。 The Thrift C++ runtime library does not currently work on Windows This means that you’ll be able to compile ThriftIDL files to C++/Java/Python/etc, but you won’t be able to compile and run the generated C++ code under Windows thrift wiki protobuf侧重点是语言表达，同时在存储效率上也下了不少功夫。用protobuf来直接读写数据结构相当的方便。 thrift侧重点是构建夸语言的可伸缩的服务，特点就是支持的语言多，同时提供了完整的rpc service framework，可以很方便的直接构建服务，不需要做太多其他的工作。 数据类型相对固定的情况下，不论是thrift还是protobuf都会比直接处理xml要方便很多。不管是dom还是类sax，总没有直接出数据结构访问来的方便啊

都是数据交换 , 整合多种语言 ,应用的解决方案。

性能都差不多

相比较而言 , thrift 稍微强些 支持的数据格式也多些

支持的开发语言也比protobuf多些

目前只用过thrift protobuf 倒没有尝试都差不多

hadoop提供了许多文件系统的接口，用户可使用URI方案选取合适的文件系统来实现交互。

（1）接口

hadoop是使用Java编写的。而Hadoop中不同文件系统之间的交互是由Java API进行调节的。事实上，前面使用的文件系统的shell就是一个java应用，它使用java文件系统来提供文件系统 *** 作。即使其他文件系统比如FTP、S3都有自己的访问工具，这些接口在HDFS中还是广泛使用，主要用来进行hadoop文件系统之间的协作。

（2）Thrift

上面提到可以通过java API 与Hadoop的文件系统进行交互，而对于其它非java应用访问hadoop文件系统则比较麻烦。Thriftfs分类单元中的Thrift API 可通过将Hadoop文件系统展示为一个Apache Thrift服务来填补这个不足，让任何有Thrift绑定的语言都能轻松地与Hadoop文件系统进行交互。Thrift是由Facebook公司开发的一种可伸缩的跨语言服务的发展软件框架。Thrift解决了各系统间大数据量的传输通信，以及系统之间语言环境不同而需要跨平台的问题。在多种不同的语言之间通信时，Thrift可以作为二进制的高性能的通信中间件，它支持数据序列化和多种类型的RPC服务。

（3）C语言库

hadoop提供了映射java文件系统接口的c语言库----libhdfs。libhdfs可以编写为一个访问HDFS的C语言库，实际上，它可以访问任意的Hadoop文件系统，也可以使用JNI(Java Native Interface)来调用java文件系统的客户端。

（4）FUSE

FUSE允许文件系统整合为一个Unix文件系统并在用户空间中执行。通过使用Hadoop Fuse-DFS的contrib模块支持任意的Hadoop文件系统作为一个标准文件系统进行挂载，便可以使用UNIX的工具和文件系统进行交互，还可以通过任意一种编程语言使用POSIX库来访问文件系统。

（5）WebDAV

WebDAV是一系列支持编辑和更新文件的>

Apache Thrift 是一个跨语言的服务框架,本质上为RPC;当我们开发的service需要开放出去的时候,就会遇到跨语言调用的问题,JAVA语言开发了一个UserService用来提供获取用户信息的服务,如果服务消费端有PHP/Python/C++等,我们不可能为所有的语言都适配出相应的调用方式,有时候我们会很无奈的使用>

用happybase进行hbase中数据的增删改查

前提：已经安装happybase库(pip install happybase)，已有hbase环境并开启thrift通讯端口(nohup hbase thrift start &)，thrift默认端口为9090，101030200为hbase主机ip

scan方法：

参数：

row_start、row_stop：起始和终止rowkey，查询两rowkey间的数据

row_prefix：rowkey前缀。注：使用row_prefix的时候，row_start和row_stop不能使用

filter：要使用的过滤器(hbase 092版本及以上生效)

timestamp：按指定时间戳查询

reverse：默认为False。为True时，scan结果按rowkey倒序排列

eg：

put方法：

eg：

△ 如put中的rowkey已存在，则为修改数据

delete方法：

row：删除rowkey为row的数据

columns：指定columns参数时，删除

eg：

删除rowkey为student2的name数据：

删除成功：

batch方法：

1、批量 *** 作

2、使用with管理批量

row方法及rows()方法，检索指定rowkey的数据

检索一条：

检索多条：

返回结果：

eg：

结果：

暂时就这些0v0

大数据时代，谁掌握了足够的数据，谁就有可能掌握未来，而其中的数据采集就是将来的流动资产积累。

几乎任何规模企业，每时每刻也都在产生大量的数据，但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的信息，但前提是如何获取大量有价值的数据。

在最近的工作当中，本人刚好实现了运用大数据技术分析网站访问日志的方案，整个方案包括对网站日志的采集、清洗、存储和统计分析，计划通过几篇文章将技术实现细节分享出来，以期引起更多的思考和讨论。

网站访问日志介绍

相信很多做过网站管理的人对网站访问日志（Access Log）应该不会陌生，现在主流的网站服务器（如apache,tomcat,ngxin等）都支持将日志数据记录到服务器的日志文件中。

网站的访问日志中记录了很多有用的信息，比如正常用户的访问足迹、恶意捣乱的足迹、用户的入站方式、出站页面等等信息。对以上信息汇总分类后，可以得到更有价值的东西，比如可以得到搜索引擎的抓取频率和来访时间段、可以得到哪些页面是用户热搜的等等。

首先看一个访问日志的例子：

10521049 - - [17/Sep/2014:11:34:21 +0800] "GET /webapp >

以上就是关于HBase: Thrift写数据报错——socket.error: [Errno 32] Broken pipe全部的内容，包括:HBase: Thrift写数据报错——socket.error: [Errno 32] Broken pipe、thrift和google protobuffer各有什么优劣、rpc框架：thrift 和protobuf有什么区别等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！