如何让内外网同步文件

一、产品描述

该平台是一款专业内外网安全高速隔离的文件传输平台，平台集安全认证、文件过滤、病毒查杀、协议隔离等多功能于一体。 

安全

1、IB通信实现以太网隔离；

2、文件深度检测；

3、病毒木马内外网双查杀；

4、用户权限细分、内外网读写删控制。

可靠

1、全文MD5校验、文件字节大小比较，保证文件的完整性。

2、双机热备

3、内存交换技术，避免硬盘过度读写

效率

1、每分钟2000个小文件的单文件病毒查杀。

2、每分钟3000个小文件的批量文件识别。

3、千兆网络传输速度在90MB/秒，万兆网络700MB/秒，最快可达1000MB/秒。

4、支持TB级大文件和百万级海量文件的网间数据交换。

传输方式

1、专用客户端传输：用户直接通过拖拉实现文件上传至内网存储，也可拖拉下载．用于记者素材上传，用于专用上载机等手动传输．

2、多通道迁移传输：指定内外侍雀网目录，新增文件自动迁移．用于第三方平台生成的文件传输，用于存储迁移等亩谈核自动传输．

3、标准FTP传输，用户无需安装客端，直接可通过文件资源管理器或浏览器实现上传下载．用于手动传输，但用户又不想安装客户端的场景。

4、FTPS加密传输，用于高安全传输，专用客户端也迅掘支持．

二、点对点拓扑结构图

三、星网拓扑结构图

在我看来，一个完整的大数据平台应该提供离线计算、即席查询、实时计算、实时查询这几个方面的功能。hadoop、spark、storm 无仔烂碰论哪一个，单独不可能完历滚成上面的所有功能。hadoop+spark+hive是一个很不错的选择.hadoop的HDFS毋庸置疑是分布式文件系统的解决方案，解决存储问题；hadoop mapreduce、hive、spark application、sparkSQL解决的是离线计算和即席查询的问题；spark streaming解决的是实时计算问题；另外，还需要HBase或者Redis等NOSQL技术来解决实时查询的问题；除了这些，大数据平台中必不可少的需要任务调度系统和数据交换工具；任务调度系统解决所有大数据平台中的任务调度与监控；数据交换工具解决其他数据源与HDFS之间的数据传输，比如：数据库到HDFS、HDFS到数据库等等。念谈关于大数据平台的架构技术文章，可搜索"lxw的大数据田地"，里面有很多。

---