开发短视频APP的架构问题

开发一款短视频app会遇到很多问题，比如架构问题：

1如何上传

当手机拍摄好一段视频想要上传时，如果手机正处在较差的网络环境或是在网络使用的高峰期时，上传自然会慢很多，这时候就需要基于CDN动态加速来优化网络链路，同时对于比较大的视频需要做好分片上传，减少失败重传的成本和失败概率等来提升可用性。

2如何存放

当数据达到一定的规模，存储容量就会面对一定的挑战。现在视频软件的容量大部分已经达到PB的规模了，这就要求存储本身能够具备比较强的线性扩展能力，并且有足够的资源冗余。传统的MYSQL比较难支持这个场景，往往借助于专用的分布式对象处理，通过自建的服务器或者云服务器来处理。

3播放

视频文件占的内存也比较大，所以也容易受到网速的影响。为了避免卡顿，有一些小的细节就要去处理。比如对于60s，300s的视频，需要考虑到文件比较大，通常使用>

其次是开发技术难点：

短视频拍摄及导入：svideo，recordVideo，等几大模块：

例如：模块，它封装了原版录像机的相关功能，通过本模块open接口可打开摄像头的frame，可通过相应参数配置其视频质量、保存路径、位置、大小等信息。开发者可通过open一个自定义界面的frame覆盖在本模块上来自定义录像界面。

短视频美颜滤镜SDK，为广大移动应用开发者提供免费、简单、快捷、稳定的接口，帮助开发者快速实现自有APP上的短视频应用开发。其中包含短视频拍摄、水印、拍摄码率等的自定义设置，并自带美颜滤镜功能。

我们的短视频开发系统不仅拥有上百款滤镜、能满足各种各样场景的需求，而且提供了磨皮算法，能满足市面上所有人脸的美颜滤镜SDK需求。此外，短视频美颜滤镜SDK还具有好玩的动态贴纸以及丰富的音乐特效，功能比肩一线短视频APP。

主要体现在以下几个方面：

一、功能点多，功能机制复杂短视频平台开发包含拍摄、编辑、合成三个重要组成部分。主要有6大功能点：断点拍摄、重拍（回删）功能、自定义音乐、动态贴纸功能、滤镜功能、水印功能。除此之外还有很多个小的功能点，直接涉及到用户的体验，例如短视频推荐功能，市面上运营级的短视频平台会有不同的内容推荐机制，在开发过程中难度还是比较大的。此外，短视频还分为Android端和iOS端，需要不同的前端开发人员来实现，不仅对技术要求高，而且开发成本也高。

二、短视频app涉及服务多短视频app的服务主要涉及到短视频采集、上传、云存储、云分发和播放五个方面。就拿其中的云存储来说，云存储是一个以数据存储和管理为核心的云计算系统。将视频数据放在云上，然后再经过云播放传送到客户端，算法涉及到的流程之多，范围之广，都是无法想象的。同时这些服务的构建较为复杂，对开发人员的技术有较高的要求，个人开发难度较大。

三、内容良莠不齐，智能鉴别功能开发要求高随着短视频平台的快速发展，很多人瞄准了直播平台，为了博取眼球，甚至有些用户会制作一些低俗色情的视频。所以，就需要加强对短视频内容进行审核。除了国家相关部门的监管，软件开发过程中的智能审核也更为重要。海量视频人工审核的话费时费力，视频AI可以智能识别出涉黄、涉黑、垃圾广告等数据，提高人工鉴别的速度和准确度。但机器鉴别难以完全脱离人工，更精确、智能的算法亟待开发。

/bin - 重要的二进制 (binary) 应用程序
/boot - 启动 (boot) 配置文件
/dev - 设备 (device) 文件
/etc - 配置文件、启动脚本等 (etc)
/home - 本地用户主 (home) 目录
/lib - 系统库 (libraries) 文件
/lost+found - 在根 (/) 目录下提供一个遗失+查找(lost+found) 系统
/media - 挂载可移动介质 (media)，诸如 CD、数码相机等
/mnt - 挂载 (mounted) 文件系统
/opt - 提供一个供可选的 (optional) 应用程序安装目录
/proc - 特殊的动态目录，用以维护系统信息和状态，包括当前运行中进程 (processes) 信息
/root - root (root) 用户主文件夹，读作“slash-root”
/sbin - 重要的系统二进制 (system binaries) 文件
/sys - 系统 (system) 文件
/tmp - 临时(temporary)文件
/usr - 包含绝大部分所有用户(users)都能访问的应用程序和文件
/var - 经常变化的(variable)文件，诸如日志或数据库等

Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器

vim /usr/local/etc/keepalived/keepalivedconf

Centos 7

解决办法:

解决办法:

1删除系统自带数据库

8重启两台服务器 并配置复制账户

包含两部分 一部分为lib 一部分为fastDFS

3配置

实验机器IP： 1921683206 1921683207

系统环境：centos 7

（如果 /usr/local/bin/ 文件夹内没有 redis-server 那几个文件，就从 /usr/local/redis-401/src/ 中拷贝过去，命令：cp redis-server redis-cli redis-sentinel redis-benchmark redis-check-aof redis-check-rdb /usr/local/bin/）

配置 vmovercommit_memory 为1，这可以避免数据被截断

使用 ps -ef|grep redis 查看是否都启动成功，IP和端口号都正确

--permanent（必须开集群总线端口，集群总线端口=端口号+10000,例：7000的集群总线端口是17000。这个集群总线端口不开放，集群的时候外部服务器的节点添加不进来）

#彻底关闭防火墙

================================================================================== ====================== 1~9都是要在两台服务器中 *** 作的 =========================== ==================================================================================

说明成功了。

如果是出现 Waiting for the cluster to join 一直有 “”出现，说明另一台服务器的端口策略没通，一直在等那边的节点加入集群，那么恭喜你，要悲剧了

CLUSTER NOTES

如果集群要设置密码,集群启动后要在各个节点下设置:

/etc/snmp/snmpdconf/etc/snmp/snmpdconf

分别解压两个文件包

修改

编译

配置插件

cd /home/data/bin/fastdfs-nginx-module/src vim mod_fastdfsconf

复制fastdfs文件

配置nginx

vim /usr/local/nginx/conf/nginxconf

在web中增加配置

启动

在已经安装过 Nginx 的服务器上安装配置 fastdfs-nginx-module 模块？我们直接进入 Nginx 的存放目录，进行配置后编译，就不需要执行最后安装make install这一步了，接着重启就行了。

B/S架构即浏览器和服务器架构模式，是随着Internet技术的兴起，对C/S架构的一种变化或者改进的架构。

在这种架构下，用户工作界面是通过>

B/S架构是WEB兴起后的一种网络架构模式，WEB浏览器是客户端最主要的应用软件。这种模式统一了客户端，将系统功能实现的核心部分集中到服务器上，简化了系统的开发、维护和使用。

客户机上只要安装一个浏览器（Browser），如Netscape Navigator或Internet Explorer，服务器安装Oracle、Sybase、Informix或 SQL Server等数据库。浏览器通过Web Server同数据库进行数据交互。

这样就大大简化了客户端电脑载荷，减轻了系统维护与升级的成本和工作量，降低了用户的总体成本(TCO)。

架构

随着Internet和>

主要是利用了不断成熟的>

浏览器，即客户端，只有简单的输入输出功能，处理极少部分的事务逻辑。由于客户不需要安装客户端，只要有浏览器就能上网浏览，所以它面向的是大范围的用户，所以界面设计得比较简单，通用。

Nginx的每个模块都基本符合单一职责原则

一般来说，Web服务器完成并行处理请求工作的三种方式有：多进程方式、多进程方式和异步方式

多进程方式是指，服务器每当接收到一个客户端时，就由服务器主进程生成一个子进程出来和该客户端建立连接进行交互，直到连接断开，该子进程就结束了

多进程方式的优点在于，设计和实现相对简单，各个子进程之间相对独立，处理客户端请求的过程彼此不受到干扰，并且当一个子进程产生问题时，不容易将影响蔓延到其他进程中，这保证了提供服务的稳定性。当子线程退出时，其占用资源会被 *** 作系统回收，也不会留下任何垃圾。

其缺点是 *** 作系统中生成一个子进程需要进行大量内存复制等 *** 作，在资源和时间上会产生一定的额外开销。因此，如果Web服务器接收大量并发请求，就会对系统资源造成压力，导致系统性能下降。

Apache采用“预生成进程”方式，它将生成子进程的时机提前，在客户端请求还没有到来之前就预先生成好，当请求到来时，主进程分配一个子进程和该客户端进行交互，交互完成之后，该进程也不结束，而被主进程管理起来等待下一个客户端请求的到来

多线程方式是指当服务器每当接收到一个客户端时，会有服务器主进程派生一个线程出来和该客户端进行交互
由于 *** 作系统产生一个线程的开销远远小于产生一个进程的开销，所以多线程方式在很大程度上减轻了Web服务器对系统资源的要求。该方式使用线程进行任务调度，开发方面可以遵循一定的标准，这相对来说比较规范和有利于协作。
多个线程位于同一进程内，可以访问同样的内存空间，彼此之间相互影响；同时，在开发过程中不可避免地要由开发者自己对内存进行管理，其增加了出错的风险

IIS服务器使用了多线程方式对外提供服务

同步机制：发送方发送请求之后，需要等待接收到接收方发回的响应后，才接着发送下一个请求
异步机制：发送方发送请求只有，不等待接收方响应这个请求，就继续发送下一个请求。
在同步机制中，所有的请求在服务器端得到同步，发送方和接收方对请求的处理步调是一致的；在异步机制中，所有来自发送方的请求形成一个队列，接收方处理完成后通知发送方

阻塞和非阻塞用来描述进程处理调用的方式，在网络通信中，主要指网络套接字Socket的阻塞和非阻塞方式，而Socket的实质也就是IO *** 作。
Socket的阻塞调用方式为，调用结果返回之前，当前线程从运行状态被挂起，一直等到调用结果返回之前，才进入就绪状态，获取CPU继续执行
Socket的非阻塞调用方式为，如果调用结果不能马上返回，当前线程也不会被挂起，而是立即返回执行下一个调用

Nginx结合多进程机制和异步机制对外提供服务。异步机制使用的是异步非阻塞方式

Nginx服务器启动后产生一个主进程和多个工作进程（可在配置文件中配置）。Ngnix服务器的所有工作进程都用于接收和处理客户端的请求。每个工作进程使用异步非阻塞方式，可以处理多个客户端的请求。当某个工作进程接收到客户端的请求以后，调用IO进行处理，如果不能立即得到返回，就去处理其他的请求；而客户端再次期间也无须等待响应，可以去处理其他的事情；当IO调用返回结果时，就会通知此工作进程；该进程得到通知，暂时挂起当前处理的事务，去响应客户端的请求

IO调用把状态通知给工作进程的两种方式：

select/poll/epoll/kqueue等这样的系统调用就是支撑第二种方案的。这种系统调用，也称为事件模型。IO调用完全由事件驱动模型来管理，事件准备好之后就通知工作进程事件已经就绪

事件驱动就是在持续事务管理过程中，由当前时间点上出现的事件引发的调动可用资源执行相关任务，解决不断出现的问题，防止事务堆积的一种策略

事件驱动模型一般由事件收集器、事件发送器和事件处理器三部分基本单元组成
事件收集器 专门负责收集所有的事件，包括来自用户的（鼠标、键盘事件等）、来自硬件的（时钟事件等）和来自软件的（ *** 作系统、应用程序自身）。 事件发送器 负责将收集器收集到的事件分发到目标对象中。目标对象就是事件处理器所处的位置。 事件处理器 主要负责具体事件的响应工作，它往往要到实现阶段才完全确定

目标对象中事件处理器的几种方式：

大部分网络服务器都采用第三种方式，形成了事件驱动库。事件驱动库又被称为多路IO复用方法，最常见的伪：select、poll、epoll。Nginx服务器还支持rtsig、kqueue、dev/poll和eventport

各个版本Linux和Windows平台都支持的基本事件驱动模型
使用select库的一般步骤：

如果没有指定其他事件驱动模型，Nginx自动编译该库。
使用--with-select_module和--without-select_module强制Nginx是否编译该库

Linux平台的事件驱动模型，Windows不支持。
poll和select的基本使用方式是相同的，区别在于：select需要为读事件、写事件和异常事件都分别创建一个描述符集合，因此在最后轮询的时候，需要分别轮训这三个集合。而poss库只需要创建一个集合，在每个描述符对应的结构上分别设置读事件、写事件或异常事件，最后轮询的时候，可以同时检查这三种事件是否发生。poll库是select库的优化实现

如果没有指定其他事件驱动模型，Nginx自动编译该库。
使用--with-poll_module和--without-poll_module强制Nginx是否编译该库

epoll属于poll库的一个变种，最大的区别在于效率

epoll库通过相关调用通知内核创建一个有N个描述符的事件列表；然后，给这些描述符设置所关注的事件，并将它添加到内核的事件列表中。
完成设置之后，epoll库就开始等待内核通知事件发生了。某一事件发生后，内核将发生事件的描述符列表上报给epoll库。得到列表事件的epoll库，就可以进行事件处理了

epoll库是Linux平台上最高效的。它支持一个进程打开大数目的事件描述符，上限是系统可以打开文件的最大数目。同时，epoll库的IO效率不随描述符数目增加而线性下降，因为它只会对内核上报的“活跃”的描述符进行 *** 作

使用rtsig模型时，工作进程会通过系统内核建立一个rtsig队列用于存放标记事件发生（在Nginx服务器应用中特指客户端请求发生）的信号。每一个事件发生时，系统内核就会发生一个信号存放到rtsig队列中等待工作进程的处理。

rtsig队列有长度限制，如果超过该长度就会发生溢出。默认情况下，Linux系统事件信号队列的最大长度设置为1024。在Liunx266-mm2之后的版本之前，通过修改内核参数/proc/sys/kernel/rtsig-max来自定义该长度设置。在Liunx266-mm2之后的版本中，该参数被取消，系统各个进程分别拥有各自的事件信号队列，这个队列的大小由Linux系统的RLIMIT_SIGPENDING参数定义，在执行setrlimit()系统调用时确定该大小。Linux提供了worker+rlimit_sigpending参数用于调节这种情况下的事件信号队列长度

当rtsig队列发生溢出时，Nginx将暂停使用rtsig模型，而调用poll库处理未处理的事件，直到rtsig信号队列全部清空，然后再次启动rtsig模型，以防止新的溢出发生

编译Nginx服务器时，使用-with-rtsig_module配置选项启用rtsig模型的编译

kqueue模型，主要用于FreeBSD41及以上版本、OpenBSD29及以上版本、NetBSD20及以上版本以及Mac OS X平台上。该模型也是poll库的一个变种，其和poll库的处理方式没有本质上的区别。该模型同时支持条件触发（只要满足条件就触发一个事件）和边缘触发（当状态发生改变触发一个事件）。在这些平台下，使用该模型用于请求处理，提高Nginx服务器性能

/dev/poll模型，主要用于Solaris7 11/99及以上版本、HP/US 1122及以上版本、IRIX6515及以上版本和Tru 64 UNIX 51A及以上版本。它使用了虚拟的/dev/poll设备，开发人员可以将要监视的文件描述符加入这个设备，然后通过ioctl()调用来获取事件通知。在以上平台中推荐使用

eventport模型，用于支持Solaris 10及以上版本。它可以有效防止内核崩溃等情况的发生

根据不同的部署平台，选择不同的事件驱动模型以提升Nginx服务器的处理性能

Nginx服务器启动后，产生一个主进程，主进程执行一系列工作后产生一个或者多个工作进程。
主进程主要进行Nginx配置文件解析、数据结构初始化、模块配置和注册、信号处理、网络监听生成、工作进程生成和管理等工作；
工作进程主要进行进程初始化、模块调用和请求处理等工作，是Nginx服务器提供服务的主体

Nginx服务器将接收到的Web请求通过代理转发到后端服务器，由后端服务器进行数据处理和页面组织，然后将结果返回。
Nginx服务器为了提高对请求的响应效率，进一步降低网络压力，采用了缓存机制，将历史应答数据缓存到本地。在每次Nginx服务器启动后的一段时间内，会启动专门的进程进行对本地缓存的内容重建索引，保证对缓存文件的快速访问

依赖于管道机制，交互的准备工作都是在工作进程生成时完成的

Run Loops，指的是进程内部用来不停地调配工作，对事件进行循环处理的一种模型。
该模型是一个集合，集合中的每一个元素称为一个Run-Loop。每个Run-Loop可运行在不同的模式下，其中可以包含它所监听的输入事件源、定时器以及在事件发生时需要通知的Run-Loop监听器。为了监听特定的事件，可以在Run Loops中添加相应的Run-Loop监听器。当被监听的事件发生时，Run-Loop会产生一个消息，被Run-Loop监听器捕获，从而执行预定的动作
Nginx服务器在工作进程中实现了Run-Loop事件处理循环的使用，用来处理客户端发送的请求事件

1、打开控制面板，选择并进入“程序”，双击“打开或关闭Windows服务”，在d出的窗口中选择“Internet信息服务”下面所有地选项，点击确定后，开始更新服务。

2、更新完成后，打开浏览器，输入“>

3、当web服务器搭建成功后，我们下一步所要做的就是把我们开发的网站安装到Web服务器的目录中。一般情况下，当Web服务器安装完成后，会创建路径“%系统根目录%inetpub/>

4、设置防火墙，让局域网当其它计算机也能访问本地网站资源。具体方法：打开控制面板，选择“系统和安全”，点击“允许程序通过Windows防火墙”，在d出的对话框中勾选“万维网服务>

5、在局域网中其它计算机上，打开浏览器，输入 “>

扩展资料：

入门级服务器所连的终端比较有限（通常为20台左右），况且在稳定性、可扩展性以及容错冗余性能较差，仅适用于没有大型数据库数据交换、日常工作网络流量不大，无需长期不间断开机的小型企业。

不过要说明的一点就是目前有的比较大型的服务器开发、生产厂商在后面我们要讲的企业级服务器中也划分出几个档次，其中最低档的一个企业级服务器档次就是称之为"入门级企业级服务器"，这里所讲的入门级并不是与我们上面所讲的"入门级"具有相同的含义，不过这种划分的还是比较少。

还有一点就是，这种服务器一般采用Intel的专用服务器CPU芯片，是基于Intel架构（俗称"IA结构"）的，当然这并不是一种硬性的标准规定，而是由于服务器的应用层次需要和价位的限制。

---