微服务架构下，API如何治理？

都不要说微服务架构，就是单体应用架构中，API服务也是需要治理的。

首先是API接口文档的问题，这一点经常会被大家忽视，相信很多公司还在写接口文档，项目开始的时候还好，但是随着项目的发展，如果接口有改动，但是文档更新的不是那么及时甚至是不更新，那么这会加重团队之间沟通的成本。

虽然我们可以通过管理流程强制大家写文档，但是再怎么说，代码和文档是要修改两次的，难免会有疏漏。所以可以考虑使用一些框架或插件，自动地根据代码生成文档，这样开发人员只修改代码就好了，文档始终会和代码保持一致（当然开发人员还是要修改代码和Annotation，但是它们毕竟是在一起的）。

第二就是API接口测试的问题了，新开发一个接口很简单，难的是修改一个接口功能的时候，如何保证之前功能的正确性和稳定性；而对于接口调用方来说，同样需要确保自身依赖接口的正确性，因为用户是不会区别是你们系统的问题还是你们依赖系统的问题。我们是依靠单元测试覆盖率的统计和每天定时跑所有系统单元测试用例的方式，来提高各个系统的可用性（虽然这只是一种管理手段，单元测试用例覆盖率也很容易造假，但正是“防君子不防小人”）。

监控和缺陷追踪，如果是在分布式架构下，就是调用链路的管理；以往的系统，更多的是A系统调用B系统，而现在可能面对这A->B->C->D，而在这种情况下，如果没有链路跟踪的方案，那么查找和定位问题就会非常困难；这时候可以使用Sleuth来做服务之间调用提供链路追踪；使用Sleuth的时候，也可以和zipkin做集成，将搜集到的信息发送到zipkin，利用zipkin进行数据的存储和展示。

个人经验，新项目怎么都好说，老项目的改造是老大难，这种时候，可以考虑引入日志平台吧，对各个系统的API日志进行主动抓取，然后在日志平台里面加工展示。

我将持续分享Java开发、架构设计、程序员职业发展等方面的见解，希望能得到你的关注。

以下是Twitter所使用的开源项目，简要浏览之后，我觉得是一个很好的关于分布式架构，大数据，异步网络传输（客户端，服务端）学习的list，做个备份，以便后用。
1 分析和搜索服务
Twitter的搜索服务每天支持超过10亿次的查询，其背后的开源项目包括：
Apache Cassandra：一套分布式NoSQL数据库系统，以Amazon专有的完全分布式的Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型，是一个网络社交云计算方面理想的数据库。该项目最初由Facebook开发，于2008开源并捐赠给Apache基金会。
Apache Hadoop：由Apache基金会所开发的分布式系统基础架构，可使应用程序充分利用集群的威力高速运算和存储，用户可以在不了解分布式底层细节的情况下，开发分布式程序。
Apache Lucene：一个全文检索引擎工具包，目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。
Apache Pig：一个基于Hadoop的大规模数据分析平台，它提供的类SQL语言称为Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的 *** 作和编程接口。
2 服务器和存储
Twitter需要将每天用户发送的推文存储到数据库，并推送给其他相关的用户。该过程用到的开源项目包括：
Linux：主要用于Twitter服务器。
Memcached：主要用于Twitter的缓存基础设施，作用是加速动态Web应用程序，减轻数据库负载。
Mysql：流行的开源关系型数据库，被Twitter大量用于存储Twitter消息。
Nodejs：一套用来编写高性能网络服务器的JavaScript工具包，在Twitter中用于队列处理（接收推文并写入数据库），使服务器能处理每个连接而不会阻塞通道。
3 Twitter工程师的工具箱
Apache Subversion：开源的版本控制系统
Git：一个分布式的版本控制系统
Eclipse：大名鼎鼎的Java IDE。
Gerrit：一个基于Web的代码评审和项目管理的工具，主要面向基于Git版本控制系统的项目
Jenkins：一个持续集成引擎，主要用于持续、自动地构建/测试软件项目，以及监控一些定时执行的任务
RSpec：一个BDD 测试工具
4 Twitter背后的编程语言和框架
OpenJDK：Java的开源版本。Twitter陆续将一些项目从Rails迁移到了Java。
Python：一种高效的动态解释型Web编程语言。
Ruby和Ruby on Rails：Twitter最初主要由Ruby和Rails开发。
Scala：Twitter使用的主要应用编程语言之一，很多Twitter的基础架构都是用Scala编写。
Clojure：Clojure是一种运行在Java平台上的Lisp方言，在任何具备Java虚拟机的地方，都可以利用Lisp的强大功能。Twitter的大数据处理系统Storm就是基于Clojure。
Drupal：使用PHP语言编写的开源内容管理框架（CMF），由内容管理系统（CMS）和PHP开发框架共同构成。Twitter的开发者社区基于Drupal构建。
Sinatra：一个轻量、快速的Ruby开发框架。
5 Twitter的前端解决方案
jQuery：全球使用最广泛的JavaScript框架。
Less：一个使用广泛的CSS预处理器，通过简单的语法和变量对CSS进行扩展,可减少很多CSS的代码量。
MooTools：一个简洁、模块化、面向对象的开源JavaScript框架，为开发者提供了一个跨浏览器的JS解决方案
Zeptojs：一个轻量级的Javascript框架，主要用于移动开发
6 Twitter服务开发框架
TwistedMatrix：一个Python 框架，用来开发非阻塞异步的网络服务和应用程序。
Netty：一个异步的、事件驱动的Web应用框架和工具，用于快速开发高性能、高可靠性的网络服务器和客户端程序。Netty目前作为Twitter的核心队列Kestrel的通信模块。
Apache Thrift：一个由Facebook开源的远程服务调用框架，采用接口描述语言定义并创建服务，支持可扩展的跨语言服务开发，所包含的代码生成引擎可以在多种语言中创建高效的、无缝的服务。
Important remarks: Thrift 这篇文章对Thrift做了综合性的介绍，值得我思考的是这篇文章：“Thrift与其他框架的比较”，以前对于分布式系统中的服务开发框架，我一直在想为什么不用rest或者webservice来进行通讯？而主流的却是选择RPC？ 文章用图表来展示了Thrift在网络传输性能上与rest-jason，xml的优势。所以，是不是可以这样理解：Thrift从协议的定义上就使用了高效压缩数据格式TCompactProtocol（就算不用压缩，只用TBinaryProtocol 二进制流的数据格式，其传输性能也高于jason和xml），从而避免了传输，序列化jason或者xml 造成的代价。
Twitter公司所开源的项目
Twitter从开源社区中获得了大量的好处，而Twitter也在不断地回馈社区，开源了大量基础设施和工具，使得其他企业和开发者不必重新发明轮子，在这些开源项目的基础上更加快速地实现自己所需。
1 大数据处理
scalding：一个用于Cascading的Scala API。Cascading是一个构建于Hadoop上的API，用来创建复杂和容错数据处理工作流，它抽象了集群拓扑结构和配置，允许开发者快速开发复杂分布式的应用，而不用考虑背后的MapReduce。
summingbird：允许开发者以类似于本地Scala或Java的方式编写MapReduce程序，并在大部分著名的分布式MapReduce平台（包括Storm和Scalding）中执行它们。
2 前端项目
Bootstrap：一个用于前端开发的工具包，包含了基本的CSS、HTML组件，包括排版、表单、按钮、表格、网格、导航等。
TwUI：针对Mac平台的、支持硬件加速的UI框架，受到了UIKit的启发。
typeaheadjs：一个快速、全功能的自动完成库
hoganjs：一个Mustache模板语言的编译器
3 后端服务
Twitter Mysql：Twitter的MySQL分支
Parquet：一种Twitter内部供Hadoop使用的列式存储格式，为Hadoop生态系统中的所有项目提供支持高效率压缩的列式数据表达，而且与数据处理框架、数据模型或编程语言无关。
Finagle：一个允许开发者使用Java、Scala或其他JVM语言来构建异步RPC服务器和客户端的库，主要用于Twitter的后端服务。
iago：一个负载生成器，用来在产品正式发布前做流量负载测试。
twemproxy：一个快速、轻量级的memcached和redis代理服务器
zipkin：一个分布式的跟踪系统。在Twitter中用于收集各个服务上的监控数据，并提供查询接口。
4 Twitter基础设施通用库
commons：Twitter的Python、JVM公共库
util：Twitter的一些可重用的代码库
cassovary：一个基于JVM的简单的大图形处理库

《cloud-service配套视频》百度网盘资源免费下载

jd2w
cloud-service配套视频|cloud-servicezip|153 zipkin使用和修改收集比率avi|152 zipkin配置avi|151 zipkin下载安装运行avi|144|143|142|141 测试介绍avi|135 登录重构-支持短信登录avi|134 用户绑定手机号avi|133 校验短信验证码avi|132 发送短信验证码avi|131 通知中心-阿里云短信avi|123 elk环境搭建avi  

  Spring Cloud Sleuth[sluːθ]是Spring Cloud提供的分布式系统服务链追踪组件，它大量借用了Google的Dapper，Twitter的Zipkin。
场景：

疑问：

  在微服务中，通常根据业务模块分服务，项目中前端发起一个请求，后端可能跨几个服务调用才能完成这个请求（如下图）。

  如果系统越来越庞大，服务之间的调用与被调用关系就会变得很复杂，假如一个请求中需要跨几个服务调用，其中一个服务由于网络延迟等原因挂掉了，那么这时候我们需要分析具体哪一个服务出问题了就会显得很困难。Spring Cloud Sleuth服务链路跟踪功能，就可以帮助我们快速的发现错误根源以及监控分析每条请求链路上的性能等等。
  Spring Cloud Sleuth是一个在应用中实现日志跟踪的强有力的工具。使用Sleuth库可以应用于计划任务 、多线程服务或复杂的Web请求，尤其是在一个由多个服务组成的系统中。当我们在这些应用中来诊断问题时，即使有日志记录也很难判断出一个请求需要将哪些 *** 作关联在一起。
  如果想要诊断复杂 *** 作，通常的解决方案是在请求中传递唯一的ID到每个方法来识别日志。 而Sleuth可以与日志框架Logback、SLF4J轻松地集成，通过添加独特的标识符来使用日志跟踪和诊断问题。
  微服务跟踪(sleuth)其实是一个工具,它在整个分布式系统中能跟踪一个用户请求的过程(包括数据采集，数据传输，数据存储，数据分析，数据可视化)，捕获这些跟踪数据，就能构建微服务的整个调用链的视图，这是调试和监控微服务的关键工具。
SpringCloudSleuth有4个特点:

配置应用名称，以便日志输出。

说明：
application name — 应用的名称，也就是applicationproperties中的springapplicationname参数配置的属性。
traceId — 为一个请求分配的ID号，用来标识一条请求链路。
spanId — 表示一个基本的工作单元，一个请求可以包含多个步骤，每个步骤都拥有自己的spanId。一个请求包含一个TraceId，多个SpanId
export — 布尔类型。表示是否要将该信息输出到类似Zipkin这样的聚合器进行收集和展示。

3f575919b0df993a：traceId相同
3f575919b0df993a，05fddf5ed5bbbf59： spanId不同。
Sleuth将traceId传入了异步方法并创建了以新的 spanId ，代表这是同一个请求但进入了另一个处理阶段，由一个异步线程来执行。

可以看到Sleuth为每个任务实例都创建一个新的traceId和spanId。
Spring Cloud Sleuth可以应用在各种各样的单一Web应用中。我们可以使用这项技术轻松地为一个请求采集日志，即使请求跨越多个线程。帮助我们在多线程环境下进行清晰的调试，通过识别traceId和spanId来确定每一个 *** 作和 *** 作中的每一步，这样可以减轻我们做日志分析的复杂性。

注：当文件名为logback-springxml时 不需要配置loggingconfig

sleuth中的一些术语：

zipkin

英式读音：['zɪp kɪn]

美式读音：['zɪp kɪn]

中文谐音：贼泼肯

n（人名）斯普肯

双语例句：

Zipkin lives with his ageing mother

斯普肯和他年迈的母亲一起生活。

---