WebRTC多人视频通话分析

基于WebRTC的多人视频概括来讲有三种架构模式:Mesh、Router和Mixer。

这是最简单的多人视频通话架构模式，所有媒体流都不需要经过服务端，客户端直接P2P，可通过WebRTC建立多个PeerConnection，结构图如下:

该方案优点:
1，服务端压力最小，大多数情况下不需要用到流媒体服务。
该方案缺点:
2，客户端负载太大，不事宜扩展，特别是移动端，编解码压力会非常大

视频会议基本上就是种结构，他的最大特点就是服务端做了很多事情，包括转码，混音，合屏，所以服务端负载非常大，结构图如下:

该方案优点:
11，客户端负载最小，与一对一负载一样，所以理论上可以支持很多人同时视频。
该方案缺点:
11，服务端负载很大，建设成本很高。
12，延迟问题，因为服务端做了很多动作（解码，合屏，混音，编码），所以会带来延迟。

现有方案：

该方案最大特点就是服务端只负责包转发，不负责转码，结构图如下

该方案优点:
11，与Mixer相比服务端压力比较小，而且容易扩展。
12，低延迟
该方案缺点:
11，不同客户端能够接收的媒体流不尽相同，服务器端需要适配

目前我们实现了一个基于Mesh架构的多人视频通话Demo应用，基于这个应用测试了在不同情况下多人视频通话的情况。
WebRTC不同Sent分辨率下的最大码率：
webrtc\media\engine\webrtcvideoengine2cc
// The selected thresholds for QVGA and VGA corresponded to a QP around 10
// The change in QP declined above the selected bitrates
static int GetMaxDefaultVideoBitrateKbps(int width, int height) {
if (width height <= 320 240) {
return 600;
} else if (width height <= 640 480) {
return 1700;
} else if (width height <= 960 540) {
return 2000;
} else {
return 2500;
}
}
最大默认码率的意义在于：在特定分辨率下，只要视频流的发送码率达到最大默认码率，视频质量已经足够好，再增大发送码率对视频质量的影响已经不大。

（目的是观察CPU对视频流Sent分辨率的影响）
参与方
A - We45
B - 小米Note
C - 红米

发送端Input分辨率都设为1280x720
1在只有A和B的情况下，各Sent分辨率如下：
A->B 640x360
B->A 640x360
Sent分辨率降低都是由CPU导致的。
2C加入后，各Sent分辨率如下：（Sent分辨率实际上是会变化的，下面的数据是一段时间之后基本稳定的数据，视频通话继续进行Sent分辨率还有可能进一步降低）
A->B 480x270
A->C 480x270
B->A 320x180
B->C 320x180
C->A 320x180
C->B 320x180
Sent分辨率降低都是由CPU导致的。

由此可以得出如下结论：使用软件编解码，影响Sent分辨率的主要因素是CPU负载；参与多人视频通话的参与方越多，WebRTC Sent分辨率越低。

（目的是排除CPU对视频流的影响，方便观察带宽对视频流的影响）
参与方
A - We45
B - 小米Note
C - We45

1在只有A和B的情况下，各项数据如下：

2C加入后，各Sent分辨率和导致分辨率降低的原因如下：

由此可以发现如下现象：
1目标码率由发送端估算带宽和分辨率对应的默认最大码率决定，但实际码率不一定与目标码率一致。如果实际码率低于发送端估算带宽，则Sent分辨率会降低。如果实际码率等于发送端估算带宽，Sent分辨率不会降低。

疑问1：实际码率是由什么决定的？

实际码率除了收到发送端目标码率的影响，还有可能收到接收端接收码率的影响。按照目标码率发送数据，但因为接收端的接收能力的限制，接收端并不足以即时接收数据，发送端收到接收端的反馈信息后，会做出相应的调整，降低实际的发送码率。这就是WebRTC的带宽自适应算法：

WebRTC中的带宽自适应算法分为两种：
1发端码率控制，　原理是由rtcp中的丢包统计来动态的增加或减少码率，在减少码率时使用TFRC算法来增加平滑度。
2收端带宽估算，　原理是收到rtp数据，估出带宽；用卡尔曼滤波，对每一帧的发送时间和接收时间进行分析，从而得出网络带宽利用情况，修正估出的带宽。

两种算法相辅相成，收端将估算的带宽发送给发端，发端结合收到的带宽以及丢包率，调整发送的码率。

首先打开电脑，找到电脑右下方喇叭的图标直接点击图标，然后选择打开声音的设置，接着往下滑动找到麦克风的选项，这时可以通过上下滑动来调节麦克风声音的大小，最后将声音调整至合适位置即可。

分类

超级计算机

超级计算机（Supercomputers）通常是指由数百数千甚至更多的处理器（机）组成的、能计算普通PC机和服务器不能完成的大型复杂课题的计算机。超级计算机是计算机中功能最强、运算速度最快、存储容量最大的一类计算机，是国家科技发展水平和综合国力的重要标志。

超级计算机拥有最强的并行计算能力，主要用于科学计算。在气象、军事、能源、航天、探矿等领域承担大规模、高速度的计算任务。

在结构上，虽然超级计算机和服务器都可能是多处理器系统，二者并无实质区别，但是现代超级计算机较多采用集群系统，更注重浮点运算的性能，可看着是一种专注于科学计算的高性能服务器，而且价格非常昂贵。

网络计算机

专指某些高性能计算机，能通过网络，对外提供服务。相对于普通电脑来说，稳定性、安全性、性能等方面都要求更高，因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通电脑有所不同。服务器是网络的节点，存储、处理网络上80%的数据、信息，在网络中起到举足轻重的作用。

它们是为客户端计算机提供各种服务的高性能的计算机，其高性能主要表高速度的运算能力、长时间的可靠运行、强大的外部数据吞吐能力等方面。

服务器的构成与普通电脑类似，也有处理器、硬盘、内存、系统总线等，但因为它是针对具体的网络应用特别制定的，因而服务器与微机在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面存在差异很大。

服务器主要有网络服务器（DNS、DHCP）、打印服务器、终端服务器、磁盘服务器、邮件服务器、文件服务器等。

百度百科-计算机

第四套
1．关于图像和图形，下列哪个说法是正确的？( B )
A．图形是用计算机绘制的画面，也称矢量图。
B．图像的最大优点是容易进行移动、缩放、旋转和扭曲等变换。
C．图像是由一些排成行列的象素组成的，通常称位图或点阵图。
D．图形文件中只记录生成图的算法和图上的某些特征点，数据量较小。
2．关于图像数字化，以下说法错误的是：( B )。
A．数字化的图像不能直接观看，必须借助播放设备及软件才能观看
B．数字化的图像不会失真
C．数字图像传输非常方便
D．图像数字化就是将图像用0、1编码的形式来表示
3．以下软件是图像加工工具的是：( A )。
A．Photoshop B．Excel C．WinRAR D．FrontPage
4．采样和量化是数字音频系统中的两个最基本技术，以下正确的是：( B )。
A．48kHz是量化 B．16bit是量化
C．8bit比16bit质量高 D．16kHz48kHz质量高
5．我们制作的动画和**正是利用人眼的视觉暂留特性，如果动画或**的画面刷新率为每秒( A )幅左右，则人眼看到的就是连续的画面。
A．24 B．12 C．不确定 D．6
6．用计算机制作一段动画，其中最关键的一步是动画生成，目前，经常采用动画生成技术有5种，以下哪一种不是？（ B ）
A．逐帧动画技术 B．分层动画技术 C．变形动画技术 D．关键帧动画技术
7．Flash中，关于帧（Frame）的概念，以下说法错误的是：( D )。
A．时间轴上的小格子就是帧
B．帧是Flash中构成动画作品的最基本单位
C．Flash中帧可分为关键帧、空白帧、过渡帧
D．帧中不能含有播放或交互 *** 作
8．以下关于视频文件格式的说法错误的是：( C )。
A．RM文件RealNetworks 公司开发的流式视频文件
B．MPEG文件格式是运动图像压缩算法的国际标准格式
C．MOV文件不是视频文件
D．AVI文件是Microsoft公司开发的一种数字音频与视频文件格式
9．我们要录音带上的模拟信号节目存入计算机，使用的设置是：( A )
A．声卡 B．网卡 C．显卡 D．光驱
10．以下关于流媒体说法正确的是：( C )。
A．只有视频才有流媒体
B．多媒体与流媒体是同时发展的
C．流媒体指在因特网或者局域网中使用流式传输技术，由媒体服务器向用户实时传送音频或多媒体文件
D．多媒体就是流媒体
11．电子相册是大多数电脑爱好者都喜欢的，不少学生为自己或家庭或朋友制作了很漂亮的电子相册作品。今有一初学者想将自己的老照片和近期照的数码相片（数码相片已保存在电脑中）编辑成一电子相册，并配上由自己的解说。他现在仅有一台计算机，还需要配备一些设备，但下列设备中哪些项肯定不需要配备：( D )
A．带话筒的耳机 B．扫描仪 C．数码照相机 D．模拟摄像机
12．用Cool Edit Pro21软件编辑声音文件时，下列说法正确的是：( B )
A．可以方便地对音频进行准确的剪切、粘贴处理。可以把后面的内容剪切后贴到前面，调整了原有的顺序，也称非线编
B．可以将不同的声音文件合成为一个。如将诗歌朗诵的声音文件与一剪梅音乐文件合并
C．不可以调整声音的高低
D．可以直接打开视频文件，对其中的声音进行编辑
13．用Flash MX 2004编辑动画时，如下图。要隐藏图层1、图层2、图层3。下列 *** 作正确的是：( BC )
A．单击时间轴上的眼睛
B．单击图层1、图层2、图层3上眼睛下面的对应的圆点
C．单击时间轴上的眼睛，然后再单击图层4上眼睛下面的对应点
D．单击图层4上眼睛下面的对应的圆点
14．用PowerPoint 2000制作演示文稿，在第一个幻灯片中插入了背景音乐，背景音乐在播放演示文稿时自动播放。下列说法正确的有：( BCD )
A．默认情况下，切换到第二个幻灯片时，音乐自动停止
B．默认情况下，单击鼠标时音乐自动停止
C．可以通过设置，让音乐播放到任意一个幻片停止播放
D．可以设置，循环播放音乐
15．Flash *** 作题：
从C:\GATDoc文件夹中导入文件“人像．Bmp”，将它设计为：人像从舞台右边淡入，移动到舞台左边淡出。如样张所示。要求：第1帧和第30帧是淡入淡出，淡入淡出的值：Alpha设为15%；人像在舞台中间的第15帧时Alpha设为100%。将结果保存在C:\GATDoc文件夹中，文件名为“人像淡入淡出7swf”。
提示：参照第一套指导
16．Premiere *** 作题：
从C:\GATDoc文件夹中导入文件“sc1avi”、“sc2avi”，在sc1和sc2之间加入切换3D Motion\Spin切换，效果如样张所示，并将结果保存在C:\GATDoc文件夹中，文件名为7-1-1avi。
提示：“sc1avi”、“sc2avi”分别放到视频轨道1A与1B上，同时必须有部分重叠，重叠部分对应转换轨道上放置 转换\3D Motion\ Spin 过渡效果
17．Photoshop *** 作题：
使用Photoshop调整图像清晰度：打开C:\GATDoc文件夹中 “犀牛jpg”，调整“USM锐化”为数量：200%、半径：60像素、阈值：120色阶。效果如样张所示，结果保存在C:\GATDoc文件夹中，文件名为“犀牛7jpg。
*** 作提示：从菜单栏选择 文件>打开 犀牛jpg 后从菜单栏选：滤镜 >锐化> USM锐化… 在d出的USM锐化窗口里 调节好相关参数后点确定，检查后 从菜单栏选：文件 >储存为 将结果文件保存至指定文件夹。
18．Cool Edit *** 作题：
在Cool Edit Pro 20中打开C:\GATDoc文件夹中 “上楼与敲门wav”声音文件，删除其中上楼声，将结果保存在C:\GATDoc文件夹中，文件名为“敲门声3WAV”。
提示： 启动软件后从菜单栏选择 打开 > 查找范围 定到C盘下的GATDoc文件夹，点中素材 上楼与敲门wav 后点打开，选中所有上楼的波形删除……
第五套
1．关于图形以下说法正确的是：( B )。
A．图形改变大小会失真 B．图形是矢量图
C．图形占较大的存储空间 D．图形就是图像
2．扫描图像时，输入分辨率常用DIP来表示，它是指：( C )。
A．每英寸的点数 B．颜色数 C．每英寸的像素数 D．每厘米的点数
3．在进行图像编辑加工时，以下说法正确的是：( C )。
A．非用Photoshop不可
B．不能用多种工具软件，只能选择一种适合的软件来完成
C．可以选择多个软件的配合使用
D．必须根据图像加工要求，最终在Windows画图中实现
4．数字音频采样和量化过程所用的主要硬件是：( B )。
A．数字到模拟的转换器（d/a转换器）B．模拟到数字的转换器（a/d转换器）
C．数字解码器D．数字编码器
5．关于GIF格式文件，以下不正确的是：( C )
A．可以是动画图像B．颜色最多只有256种C．图像是真彩色的D．可以是静态图像
6．用计算机制作一段动画，其中最关键的一步是动画生成，目前，经常采用的动画生成技术有5种，以下哪一种不是？( A )
A．夸张动画技术 B．关键帧动画技术
C．运动路径动画技术 D．变形动画技术
7．Flash中关于帧（Frame）的概念，以下说法错误的是：( D )。
A．帧是Flash动画作品播放和交互 *** 作的基本单位
B．绘制的图形、文字等工作是在关键帧中进行的
C．Flash时间轴上的小格子就是帧
D．帧是不能含有交互 *** 作
8．超级解霸是视频媒体播放软件，以下说法错误的是：( C )。
A．超级解霸能够播放MP3
B．超级解霸还能够进行视频格式的转换
C．超级解霸是Microsoft公司力推的媒体播放软件
D．超级解霸能够播放绝大部分媒体样式文件
9．不论多媒体作品的开发的目的和内容有何不同，其开发的基本过程一般都要遵循以下几个阶段：(1)编写使用手册；(2)发布使用；(3)修改调式；(4)信息的规划与组织；(5)多媒体素材制作与集成。它们的先后次序是：( B )。
A．(1)(2)(3)(4)(5) B．(4)(5)(3)(2)(1)
C．(2)(1)(4)(5)(3) D．(5)(4)(1)(2)(3)
10．下列软件中，哪个是多媒体集成软件？( D )
A．Word B．Photoshop C．Windows记事本 D．PowerPoint
11．电子相册是大多数电脑爱好者都喜欢的，不少学生为自己或家庭或朋友制作了很漂亮的电子相册作品。今有一初学者想将自己的老照片和近期照的数码相片（数码相片已保存在电脑中）编辑成一电子相册，并配上由自己的解说。他现在只有一台计算机，还需要哪此设备，请你为他选择：( ABC )
A．带话筒的耳机 B．扫描仪 C．数码照相机 D．模拟摄像机
12．用Cool Edit Pro21软件编辑声音文件时，下列说法不正确的是：( D )
A．可以方便地对音频进行准确的剪切、粘贴处理。可以把后面的内容剪切后贴到前面，调整了原有的顺序，也称非线编
B．可以将不同的声音文件合成为一个。如将诗歌朗诵的声音文件与一剪梅音乐文件合并。
C．可以调整声音的高低
D．可以直接打开视频文件，对其中的声音进行编辑
13．用Flash MX 2004编辑动画是，如下图，要锁定图层1、图层2、图层3。下列 *** 作正确的是：( BCD )
A．单击时间轴上的锁
B．单击图层1、图层2、图层3上锁下面的对应的圆点
C．单击时间轴上的锁，然后再单击图层4上锁下面的对应点
D．指向图层4右击，选择快捷菜单中的“锁定其他”命令
14．语文老师用PowerPoint 2000制作演示文稿，共制作了10张幻灯片来演示一篇散文，为了使播放时能跟朗读者同步地切换幻灯片，最好的 *** 作方法是：( D )
A．设置幻灯片的切换时间为10秒，应用于所有幻灯片（估计每张幻灯片上的文字朗读时间为10秒左右）
B．不做任何设置，在开始播放后朗读完一张幻灯片上的内容后单击鼠标左键切换幻灯片
C．利用排练计时的方法，在开始计时后朗读完一张幻灯片上的内容后单击鼠标左键切换幻灯片，然后在播放时朗读
D．先用PowerPoint 2000中录制声音的功能来录制老师读的散文，然后利用排练计时的方法根据录制的声音来同步切换幻灯片
15．Flash *** 作题：
从C:\GATDoc文件夹中导入文件“太阳．Bmp”到舞台中间，增加一个遮罩层，形成自左向右的遮罩效果，如样张所示。将结果保存在C:\GATDoc文件夹中，文件名为“遮罩太阳_9swf”。
提示：导入太阳．Bmp至第一层 (为减少误 *** 作最好对此层加锁)，新添加一层，用椭圆工具选择黑色画一正圆，去掉圆周，右击处理过的圆将它转换为一个组件，在30桢处插入一关键桢，拖动圆至适当位置，右击该层第一桢创建补间动画，成功后再右击该层将这层转化为遮罩层。（注意层的上下位置会影响到图层的前后效果）
16．Premiere *** 作题：
从C:\GATDoc文件夹中导入文件“sc2avi”，加入Blur（模糊）\Camera Blur（摄像机模糊）模糊值为80%，效果如样张所示，并将结果保存为C:\GATDoc\9-1-1avi。
提示： sc2avi放到视频轨道1或2上，找到 视频\Blur\Camera Blur 视频滤镜效果后拖置入视频轨道上的sc2avi表面，再在d出的效果控制窗口进行相应模糊值Perc…数字调节
17．Photoshop *** 作题：
使用Photoshop调整图像色彩：打开C:\GATDoc文件夹中 “蝴蝶jpg”，根据样张要求，调整蝴蝶的色彩。结果保存在C:\GATDoc文件夹中，文件名为“蝴蝶9jpg”。
*** 作提示：从菜单栏选择 文件 >打开 蝴蝶jpg ，从菜单栏选：图象\调整\色彩平衡(B)… 完成并检查后从菜单栏选：文件>储存为 将结果文件保存至指定文件夹。
18．Cool Edit *** 作题：
在Cool Edit Pro 20中将C:\GATDoc文件夹中 “音乐wav”作淡入处理。选择开始一段音乐，设定为从音量值为0逐步过渡到原始音量，如样张所示。结果保存在C:\GATDoc文件夹中，文件名为“音乐淡入WAV”。
提示：选择开头大约2秒左右的一段波形，从菜单栏选择 效果 > 波形振幅 >渐变 >淡入淡出>调节初始值到最小……

---