Android音视频【十二】使用OpenSLES和AudioTrack进行播放PCM

本节我们学习下如何播放pcm数据，在Android中有两种方法：一种是使用java层的 AudioTrack 方法，一种是使用底层的 OpenSLES 直接在 jni 层调用系统的 OpenSLES的c方法 实现。

两种使用场景不一样：

AudioTrack 一般用于 比如本地播放一个pcm文件/流，又或者播放解码后的音频的pcm流，API较简单。

OpenSLES 一般用于一些播放器中开发中，比如音频/视频播放器，声音/音频的播放采用的OpenSLES，一是播放器一般是c/c++实现，便于直接在c层调用OpenSLES的API，二也是如果用AudioTrack进行播放，务必会带来java和jni层的反射调用的开销，API较复杂。

可以根据业务自行决定来进行选择。

AudioTrack的方式使用较简单，直接在java层。

指定采样率，采样位数，声道数进行创建。

其中44100是采样率， AudioFormat.CHANNEL_OUT_STEREO 为双声道，还有 CHANNEL_OUT_MONO 单声道。 AudioFormat.ENCODING_PCM_16BIT 为采样位数16位，还有 ENCODING_PCM_8BIT 8位。 minBufferSize 是播放器缓冲的大小，也是根据采样率和采样位数，声道数 进行获取，只有满足最小的buffer才去 *** 作底层进程播放。

最后一个参数mode。可以指定的值有 AudioTrack.MODE_STREAM 和 AudioTrack.MODE_STATIC 。

MODE_STREAM 适用于大多数的场景，比如动态的处理audio buffer，或者播放很长的音频文件，它是将audio buffers从java层传递到native层。音频播放时音频数据从Java流式传输到native层的创建模式。

MODE_STATIC 适用场景，比如播放很短的音频，它是一次性将全部的音频资源从java传递到native层。音频数据在音频开始播放前仅从Java传输到native层的创建模式。

是的，就这么一个方法。注意此方法是同步方法，是个耗时方法，一般是开启一个线程循环调用 write 方法进行写入。

注意在调用 write 方法前需要调用 audioTrack.play() 方法开始播放。

因为是pcm裸数据，无法像mediaplayer一样提供了API。所以需要自己处理下。可以利用 getPlaybackHeadPosition 方法。

getPlaybackHeadPosition() 的意思是返回以帧为单位表示的播放头位置

getPlaybackRate() 的意思是返回以Hz为单位返回当前播放采样率。

所以当前播放时间可以通过如下方式获取

OpenSLES:（Open Sound Library for Embedded Systems）.

OpenSLES是跨平台是针对嵌入式系统精心优化的硬件音频加速API。使用OpenSLES进行音频播放的好处是可以不依赖第三方。比如一些音频或者视频播放器中都是用OpenSLES进行播放解码后的pcm的，这样免去了和java层的交互。

在Android中使用OpenSLES首先需要把Android 系统提供的so链接到外面自己的so。在CMakeLists.txt脚本中添加链接库OpenSLES。库的名字可以在 类似如下目录中

需要去掉lib

然后导入头文件即可使用了OpenSLES提供的底层方法了。

创建&使用的步骤大致分为：

一个 SLObjectItf 里面可能包含了多个Interface，获取Interface通过 GetInterface 方法，而 GetInterface 方法的地2个参数 SLInterfaceID 参数来指定到的需要获取Object里面的那个Interface。比如通过指定 SL_IID_ENGINE 的类型来获取 SLEngineItf 。我们可以通过 SLEngineItf 去创建各种Object,例如播放器、录音器、混音器的Object,然后在用这些Object去获取各种Interface去实现各种功能。

如上所说，SLEngineItf可以创建混音器的Object。

在创建播放器前需要创建音频的配置信息（比如采样率，声道数，每个采样的位数等）

开始播放后会不断的回调这个 pcmBufferCallBack 函数将音频数据压入队列

(*pcmBufferQueue)->RegisterCallback(pcmBufferQueue, pcmBufferCallBack, this)

如果想要暂停播放参数直接设置为SL_PLAYSTATE_PAUSED，若暂停后继续播放设置参数为SL_PLAYSTATE_PLAYING即可。若想要停止播放参数设置为SL_PLAYSTATE_STOPPED即可。

首先获取播放器的用于控制音量的接口SLVolumeItf pcmVolumePlay

然后动态设置

首先也是获取播放器的用于控制音量的接口SLMuteSoloItf pcmMutePlay

然后动态设置

看起来控制还是蛮简单的哈。先熟悉这么多，OpenSLES还是蛮强大的。

https://github.com/ta893115871/PCMPlay

MediaRecorder： 录制的音频文件是经过压缩后的，需要设置编码器。并且录制的音频文件可以用系统自带的Music播放器播放。

优点： 官方提供 API

缺点： 不能实时处理音频，输出格式不多，且PCM可以处理生成

AudioRecord： 录制的是PCM格式的音频文件，需要用AudioTrack来播放。

优点： 可以实时获取音频的数据做到边录边播放，可以对获取的音频做处理，压缩，传输等

缺点： 输出的是原始数据 PCM 所以播放器不能播放，需要通过AudioTrack处理

采集音频的步骤：

1.配置 AudioRecorder 构造函数的参数

2.初始化缓冲区

3.开始采集 ,子线程里将缓冲区的数据取出，写入文件流

4.停止采集，释放资源

audioSource： 音频采集的输入源，可选的值以常量的形式定义在 MediaRecorder.AudioSource 类中,例如：MIC（由手机麦克风输入），VOICE_COMMUNICATION（用于VoIP应用）等等。

sampleRateInHz： 采样率，注意，目前44100Hz是唯一可以保证兼容所有Android手机的采样率。

channelConfig： 通道数的配置，可选的值以常量的形式定义在 AudioFormat 类中，常用的是CHANNEL_IN_MONO（单通道），CHANNEL_IN_STEREO（双通道）

audioFormat： 返回的音频数据的格式，可选的值也是以常量的形式定义在 AudioFormat 类中，常用的是 ENCODING_PCM_16BIT（16bit），ENCODING_PCM_8BIT（8bit），注意，前者是可以保证兼容所有Android手机的。

bufferSizeInBytes： AudioRecord 内部的音频缓冲区的大小，该缓冲区的值不能低于一帧“音频帧”（Frame）的大小

参数配置：

AudioRecord 提供了一个类为我们计算最小缓冲区，参数就是我们上面配置的 采样率，声道， 返回的音频数据的格式

直接调用创建好的 AudioRecorder 对象的 startRecording()；

开始播放步骤：

1.配置参数

2.配置缓冲区

3.开启子线程，把缓冲区读数据转换成输入流，再调用AudioTrack读 write（）写入数据，最后调用 play（）

4.结束释放资源

参数和 AudioRecorder 差不多，有区别的就是 AudioTrack 是输出声道，还要播放的类型，和播放的模式

streamType: 播放的类型，都定义在 AudioManager 类中

mode: 播放的模式， MODE_STATIC, MODE_STREAM 两种

两者的区别

和上面的 AudioRecorder 的配置一样

Demo https://github.com/wubobo952/LearnAudio

我们的目标是用一个InputStream，由其从一个WAV文件加载PCM数据，来提供原始字节数据。然后我们就可以将原始的PCM数据直接推送到使用已经正确的配置好了的AudioTrack.write，通过使用AudioTrack.write()这个API。

WAV文件包含一个文件头和具体数据会。我们需要读取文件头以知道诸如采样速率，分辨率等信息。另外，我们通过文件头，也可以知道此格式是否支持。WAV可以封装成多种格式，我们无法全部支持。也许，只是合理的采样率，分辨率和通道的线性PCM格式。

WAV格式的细节在互联网上都可以找到，你仅仅需要在Google上搜索下。但是，遗憾的是，我并没有搜索到一个很好的Java库来读取WAV文件，而且可以移植到Android下。因此，我自己写了一些简单的代码。

下面这个方法就是如何读取一个WAV文件的头部：

private static final String RIFF_HEADER = "RIFF"private static final String WAVE_HEADER = "WAVE"private static final String FMT_HEADER = "fmt "private static final String DATA_HEADER = "data" private static final int HEADER_SIZE = 44 private static final String CHARSET = "ASCII" /* ... */  public static WavInfo readHeader(InputStream wavStream) throws IOException,         DecoderException {      ByteBuffer buffer = ByteBuffer.allocate(HEADER_SIZE)    buffer.order(ByteOrder.LITTLE_ENDIAN)     wavStream.read(buffer.array(), buffer.arrayOffset(), buffer.capacity())     buffer.rewind()    buffer.position(buffer.position() + 20)    int format = buffer.getShort()    checkFormat(format == 1, "Unsupported encoding: " + format)// 1 means                                                                     // Linear                                                                     // PCM     int channels = buffer.getShort()    checkFormat(channels == 1 || channels == 2, "Unsupported channels: "             + channels)    int rate = buffer.getInt()    checkFormat(rate <= 48000 &&rate >= 11025, "Unsupported rate: " + rate)    buffer.position(buffer.position() + 6)    int bits = buffer.getShort()    checkFormat(bits == 16, "Unsupported bits: " + bits)    int dataSize = 0    while (buffer.getInt() != 0x61746164) { // "data" marker         Log.d(TAG, "Skipping non-data chunk")        int size = buffer.getInt()        wavStream.skip(size)         buffer.rewind()        wavStream.read(buffer.array(), buffer.arrayOffset(), 8)        buffer.rewind()    }     dataSize = buffer.getInt()    checkFormat(dataSize >0, "wrong datasize: " + dataSize)     return new WavInfo(new FormatSpec(rate, channels == 2), dataSize)}

上面的代码中，缺少的部分应该是显而易见的。正如你所看到的，仅仅支持16位，但在你可以修改代码以支持8位（AudioTrack不支持任何其他分辨率的）。

下面这个方法，则是用来读取文件剩余的部分 –音频数据。

public static byte[] readWavPcm(WavInfo info, InputStream stream)         throws IOException {     byte[] data = new byte[info.getDataSize()]    stream.read(data, 0, data.length)    return data}

我们读取的WavInfo结构体，包含采样率，分辨率和声道数已经足够让我们去播放我们读取的音频了。

如果我们不需要将全部音频数据一次性放入内存中，我们可以使用一个InputStream，一点一点地读取。

将PCM传入AudioTrack

我们现在面临2种情况，新建一个适合这种格式的AudioTrack，或者使用一个已存在的AudioTrack，但是可能和我们WAV音频数据的格式不一致。

在第一种情况，事情就很简单了，我们仅仅需要使用AudioTrack构造器构造一个我们已经从WAV头部对应的即可。

第二种情况，我们就需要将我们的音频变成AudioTrack需要的目标格式。我们需要做一下几种转换方式：

如果采样率不同，要么丢弃或复制一个样本以便和目标速率相匹配。如果分辨率是不同的，将源信号分辨率映射到目标分辨率，从16位到8位，反之亦然。如果信道不同，我们要么将立体声声道混合成一个单声道或重复单声道的数据把它变成准立体声。（请考虑将这些算法的实现放在Native层，因为Native层在做这类处理有很大的优势。）

在其他情况下，我们已经确定格式已经匹配。我们使用AudioTrack.write()写入缓冲区，以便实现回放。

记住，如果你使用静态模式，你需要在play()之前，新建一个包含准确的缓冲区大小的AudioTrack，同时写入write()音频数据。而在流模式下，我们可以先使用AudioTrack的play()，然后在使用write()写入数据部分

总结

你想实现AudioTrack上播放WAV音频可能有很多原因。有时候，可能是SoundPool有尺寸限制，或是MediaPlayer会有延迟和对资源占用太高，让你考虑使用这种方式。有时候你需要修改音频或者混合音频。

---