live555移植到hi3516做rtsp服务器

live555库本身实现了做rtsp服务器，客户端可以通过rtsp客户端访问服务器上的文件并播放，支持的文件格式如下:

本次任务实现了把live555移植到嵌入式海思芯片hi3516上做rtsp服务器，除了支持客户端播放服务器上上面格式文件外，另添加了实时播放hi3516摄像头图像与音频的功能。

live555源码目录如下:

四个基本的库分别是:BasicUsageEnvironment, groupsock, liveMedia和UsageEnvironment。

编译后即生成这4个库文件:

这里我只简谨渗单说下liveMedia库的功能，其他三个库是live555运行的基础库，太(mei)简(yan)单(jiu),就不说了。

liveMedia库包含了音视频相关的所有功能，包含音视频文件的解析，RTP传输封装等，我们可以看到这个目录下有对h264、AAC等文件解析的支持:

交叉编译过程：略

这里我主要是修改mediaServer文件夹下的示例程序，添加实时预览摄像头图像与mic声音功能。

hi3516芯片，视频编码格式为h264,音频编码格式为AAC。

1.添加音频AAC支持

添加类 ADTSAudioLiveSource ,继承自FramedSource

在该类的哗枣doGetNextFrame函数里实现获取hi3516音频数据做为rtsp服务器音频源。

注意点：

1.1 adts默认是带7字节或者9字节的头，传给rtsp的时候是要去掉头的，实际上RTSP通过rtp传输AAC帧的时候是不带adts头的，而是带4个字节的mpeg4-generic头。

1.2 从FramedSource继承而来的变量

每次doGetNextFrame帧时，从FIFO里取一个完整的AAC帧，把帧拷贝到fTo buf里面，然后比较帧大小与fMaxSize来赋值几个关键的变量:

注意，不管帧长是否大于fMaxSize，每乱晌拆次都需要把完整的帧拷贝到fTo指针，live555内部会根据fNumTruncatedBytes等变量自行处理分包。

1.3 doGetNextFrame函数最后不管有没有取到帧，都需要执行FramedSource::afterGetting

1.4 采样率，通道数，configstr等的计算

这几个变量在mediaSubbsession建立RTPsink时要用到，它直接影响了SDP里对于AAC音频描述字段的产生

添加类 AACAudioLiveServerMediaSubsession ,继承自ADTSAudioFileServerMediaSubsession

createNewStreamSource函数创建上面的ADTSAudioLiveSource做为音频输入源，参数estBitrate为预估的码率，海思AAC编码码率设置为24kbps,所以estBitrate设置为24.

createNewRTPSink有必要继承，因为需要根据音频源的采样率、通道数等创建RTPSink.

2.添加h264支持

添加 H264FramedLiveSource ,继承自FramedSource

unsigned maxFrameSize()函数必须继承，里面设置帧最大可能的大小，我设置为100000，如果不继承就是默认的，会出现画面马赛克

doGetNextFrame函数里面和AAC取帧的处理差不多，我加多了一个步骤，就是第一次取帧的时候会调用接口去产生一个关键帧，并且等待这个关键帧到来才处理，这样连接后出图会比较快。

添加类 H264VideoLiveServerMediaSubsession ,继承自H264VideoFileServerMediaSubsession

这个类就是实现createNewStreamSource时创建H264FramedLiveSource

3.修改DynamicRTSPServer

修改类DynamicRTSPServer，在lookupServerMediaSession函数里动点手脚，默认在这个函数里面会根据文件名去寻找服务器下相应的文件做为直播源，我这里比较如果是我特定的live源名字则直接返回，相应的live源创建rtsp服务器的时候就添加好

4.初始化rtsp server

初始化rtsp服务器，添加一个ServerMediaSession，该mediaSession添加一个AACAudioLiveServerMediaSubsession和一个H264VideoLiveServerMediaSubsession，然后把该mediaSession添加给rtsp服务器。

客户端访问 rtsp://x.x.x.x/ch0.live 时就可以看到实时的摄像头图像与声音啦!

之前在树莓派4b上点亮了OHOS3.0，不过内核是用tftp拉取的，根文件系统挂在了NFS上，拔了网线就无法启动。当然这么 *** 作只是为了方便调试，而最终需要的是一个可以烧录到TF卡上的img镜像文件。这就需要将所有调试好的内容添加到OHOS3.0的编译框架，本以为是很简单的事情，好家伙，整了这么久，感觉添加编译框架比移植本身更复杂。于是我整理了添加树莓派单板到编译框架的内容，希望对各位有所帮助，为大家避坑。

主要参考 hisilicon build组件仓，添缓返加一个products编译组件，这个组件是在产品配置文件中指定的。比如

productdefinecommonproductsRPI4B.json

其他部分参考Hi3516，但是其中2条，指定单板组件路径，并添加组件。如果删除这两条，将不能编译内核，只生成OHOS的文件系统。

接下来在device目录下，新建一个raspberrypi编译组件文件夹，并添加 ohos.build 文件。和前面产品配置文件中的设置对应起来了。

deviceraspberrypibuildohos.build

新建 deviceraspberrypibuildBUILD.gn 当然每个厂家不可能只有1个板子，如果有其他单板就在这里指定，比如树莓派2B、3B等

既然前面指定了rpi4b的编译配置组件，那么就在 deviceraspberrypi 新建一个 rpi4b 的目录，可以参考 hi3516dv300 build组件

deviceraspberrypirpi4bBUILD.gn

至此一个rpi4b build组件就添加到OHOS3.0的编译框架了，之后相关内容添加到这个文件夹下就可以了。

接下来分析下目前移植了树莓派4B的哪些内容，如何将这些内容编译进OHOS3.0。

关于补丁可以参考 Patch组件，可以得知内核编译由kernel.mk来执行

kernellinuxbuildkernel.mk

所以补丁文件需要放到正确的路径下，以正确的名字命名就可以蠢中patch到内核。

hdf.patch补丁文件，现在还没有移植HDF相关内容，所以可以先使用Hi3516的

rpi4b.patch补丁文件，使用树莓派的官方带哪山镜像，https://github.com/raspberrypi/linux

kernellinuxconfiglinux-5.10archarmconfigsrpi4b_standard_defconfig

内核配置文件目前已知的需要开启下面内容，但是肯定不止这些，以后会继续更新

Pi4的GPU是VideoCore VI支持OpenGL ES 3.2，而Pi3的GPU是VideoCore IV支持OpenGL ES 2.0。VideoCore IV 驱动程序是 VC4，VideoCore VI 驱动程序的 V3D。内核已经提供驱动，参考rpi4b_standard_defconfig将驱动直接编入到内核。

同时需要在config.txt中开启设置

OHOS中修改weston的配置文件，指定显示驱动

systemetcweston.ini

具体思路就是先查找设备号，根据设备号找到驱动程序。

前面内核配置的时候rpi4b_standard_defconfig中已经将触摸驱动编入内核，所以后面不需要在init加载模块了，修改下eudev的配置文件即可。

third_partyeudevrules.d ouchscreen.rules

正常情况下内核是由uboot进行引导的，而且OHOS默认生成uImage。但是树莓派自带BootLoader，虽然可以先用树莓派自带的BootLoader启动uboot，再用uboot加载uImage，但是这样会比较麻烦，而且会增加启动时间。不过目前 zImage是写死在kernel.mk中的，没办法改下编译脚本把。

kernellinuxbuildkernel.mk 将 uImage 改为 zImage modules dtbs

kernellinuxbuildbuild_kernel.sh

kernellinuxbuildBUILD.gn

kernellinuxbuildkernel_module_build.sh

这里内核编译会依赖product_path="vendor/$product_company/$product_name"下的hdf.hcs文件，得先新建一个应付下，不然会报下面这个错误。

ninja: error: '../../vendor/raspberrypi/RPI4B/hdf_config/uhdf/hdf.hcs', needed by 'gen/drivers/adapter/uhdf2/hcs/hdf_default.hcb', missing and no known rule to make it

新建：vendor/raspberrypi/RPI4B/hdf_config/uhdf/hdf.hcs

对于镜像烧录，Hi3516会将uImage、system.img、vendor.img等镜像烧写到emmc，但是树莓派使用TF卡启动，所以需要对TF卡进行分区，然后复制对应的内容到各个分区。首先制作树莓派boot目录，这个用来目录存放树莓派设备树、config.txt、cmdline.txt、内核镜像等信息。写一个简单的mkboot.py脚本来实现这个功能，位置在码仓rpi4bdeviceraspberrypiimagesmkboot.py将会生成boot.img。

为了方便烧录，需要将boot.img、system.img、updater.img、vendor.img、userdata.img合并成一个rpi4b.img。还是写一个简单的脚本来处理这个步骤rpi4bdeviceraspberrypiimagesmkboot.py。

不过有个问题，主分区只支持4个，所以updater.img暂时先不合并了，这个问题等以后再来处理。

最后将会得到一个rpi4b.img的镜像文件，将这个文件烧录到SD卡就可以了。

Linux：可以使用dd命令

windows：使用Win32 Disk Imager工具烧录即可。

到这里总算是跑通了一个完整的添加新单板的流程，只不过目前只适配了显示和触摸。接下来打算尝试HDF或者distributed部分。

---