大型互联网项目架构认知

大型互联网项目架构认知 架构是什么

对业务场景抽象后得出的支持骨架，目的是：解决系统的复杂性

  比如：为了满足 100w 日活量，10W QPS ，及以后系统扩展，采用 微服务架构

架构为业务场景而生、被业务场景而弃

架构没有最好、只有“最合适”（人员技术研发能力、业务复杂度、数据规模大小、时间成本、运维能力….）

选择架构时候，必须选择最适合公司当下环境的架构。

架构目标是什么

高性能：系统响应时间（Response time）短，并发量（同时支撑用户请求量）大

高可用：任何时候项目都必须可用

高可扩展：满足新需求迭代，扩展

可伸缩：支持双11、618等大促

安全性：互联网项目的安全保证

敏捷性：可持续交付、持续部署

架构模式

高性能架构

   以用户为中心，提供快速的访问体验。主要参数有：较短的响应时间、较大的并发处理能力、较高的吞吐量与稳定的性能参数。

   可分为：前端优化、应用层优化、代码层优化与存储优化。

  前端优化：网站业务逻辑之前的优化：(1)前端工程化：vue、react + nodejs;(2)浏览器优化：减少HTTP请求数、使用浏览器缓存（css、js）、启用压缩、js异步、减少cookie传输、cdn加速、反向代理

  应用层（处理业务的服务器）优化：缓存、异步、集群

  代码优化：合理的架构、多线程、资源复用（对象池、线程池）、良好的数据结构、jvm调优、缓存

  存储优化：缓存、固态硬盘、光纤传输、优化读写、硬盘冗余、分布式存储、noSql等。

高可用架构

    大型互联网项目必须保证在任何时候都可以访问，正常对外提供服务。因为互联网项目的复杂性，分布式、连接服务器、开源数据库、开源 *** 作系统等、要保证高可用是很困难的，也就是说网站的故障时不可避免的。

    系统健壮性强，应该能处理系统运行过程中出现的各种异常情况，如：人为 *** 作错误、输入非法数据、硬件设备失败等，系统能正确的处理、恰当的回避。

   因软件系统的失效而造成不能完成业务的概率要小于5‰。要求系统7x24小时运行，全年持续运行故障停运时间累计不能超过10小时。系统缺陷率每1,000小时最多发生1次故障。

   提高可用性，就是需要迫切解决的问题。首先，需要从架构级别考虑，在规划的时候，就考虑可用性。不同层级使用的策略不同，一般采用冗余备份和失效转移解决高可用问题。

   应用层：一般设计为无状态的，对于每次请求，使用哪一台服务器处理是没有影响的。一般使用负载均衡技术（需要解决Session同步问题）实现高可用。

   服务层：负载均衡，分级管理，快速失败（超时设置），异步调用，服务降级，幂等设计等。

  数据层：冗余备份（冷，热备[同步，异步]，温备），失效转移（确认，转移，恢复）。数据高可用方面著名的理论基础是CAP理论（持久性，可用性，数据一致性[强一致，用户一致，最终一致]）
总结：
1、集群
2、数据冗余
3、（网络抖动：请求超时，请求失败）---- 重试（成功）--- 可用的
4、验证（防止服务漏洞）
5、极端异常情况，必须回避 ----（每一行代码都有可能出现异常：数据一致性）
6、缓存
7、异步

可伸缩架构

    伸缩性是指在不改变原有系统架构的前提下，通过添加/减少硬件（服务器）的方式，提供/降低系统的处理能力。

     应用层：对应用进行水平或垂直切分，对单一功能进行负载均衡（DNS、HTTP反向代理）

     服务层：水平或垂直拆分，对单一功能进行负载均衡

    数据库层：分库、分表、NoSql等，常用算法：hash，一致性hash

     云原生：项目运行在云端，可以随时动态扩容：k8S

可扩展架构

   微服务架构：依据业务拆分模块、新业务需求创建新的模块

   可以方便地进行功能模块的新增/移除，提供模块级别良好的可扩展性。

   模块化：高内聚，低耦合，提高复用性，扩展性。

  稳定接口：定义稳定的接口，在接口不变的情况下，内部接口可以随意变化

 设计模式：应用面向对象的思想、原则，使用设计模式，进行代码层面的设计

 消息队列：模块化的系统，通过消息队列进行交互，解耦模块之间的依赖

分布式服务：公用模块服务化，提供其他系统使用，提供可重用、可扩展。

安全架构

对已知问题有有效的解决方案，对未知/潜在问题建立发现和防御机制。对于安全问题，首先要提高安全意识，建立一个安全的有效机制，从政策层面，组织层面进行保障，比如服务器密码不能泄露，密码每月更新，每周安全扫描等。以制度化的方式，加强安全体系的建设。同时，需要注意与安全有关的各个环节。安全问题不容忽视，包括基础设施安全，应用系统安全，数据保密安全等。

基础设施安全：硬件采购， *** 作系统，网络环境方面的安全。一般采用正规渠道购买高质量的产品，选择安全的 *** 作系统，及时修补漏洞，安装杀毒软件防火墙。防范病毒，后门。设置防火墙策略，建立DDOS防御系统，使用攻击检测系统，进行子网隔离等手段。

应用系统安全：在程序开发时，对已知常用问题，使用正确的方式，在代码层面解决掉。防止跨站脚本攻击（XSS），注入攻击，跨站请求伪造（CSRF），错误信息，HTML注释，文件上传，路径遍历等。还可以使用Web应用防火墙（比如：ModSecurity），进行安全漏洞扫描等措施，加强应用级别的安全。

数据保密安全：存储安全（存储在可靠的设备，实时，定时备份），保存安全（重要的信息加密保存，选择合适的人员复杂保存和检测等），传输安全（防止数据窃取和数据篡改）；
常用的加解密算法（单项散列加密[MD5、SHA]，对称加密[DES、3DES、RC]），非对称加密[RSA]等。