博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
最纯粹的直播技术实战02-Camera的处理以及推流
阅读量:6091 次
发布时间:2019-06-20

本文共 23770 字,大约阅读时间需要 79 分钟。

最纯粹的直播技术实战02-Camera的处理以及推流

这个系列的文章将会研究最纯粹的Android直播的实现,而且不是用现在的集成SDK来达到直播的技术实现,而是从一个比较底层的直播实现来探讨这个技术,这样子对于直播技术的实现,现成的一些直播框架等都有一个比较好的理解。

上一篇文章里面,我们完成了FFmpeg的编译,然后也把编译出来的库运行在了Android上,那接下来就要处理Android的Camera以及推流的实现了。如果没有看过上一篇文章的可以戳

我们会使用上一篇文章那工程项目来继续后续的功能编写,产生,我们在MainActivity里面添加两个Button,一个是直播的,一个是看直播的

layout完成之后呢,就去MainActivity里面处理一下Button的点击操作了

click

我们把上一次的测试TextView注释掉了,然后新建了一个LiveActivity来处理Camera以及推流,主要就是展示直播。

后续还会有看直播的处理,就要就是拉流以及视频的播放了
接下来就要在LiveActivity里面处理一下Camera的东西了,首先要在LiveActivity的layout里面添加一个SurfaceView

因为不是拍照,所以Camera的处理就会显得比较的简单了,

package com.xiaoxiao.live;import android.graphics.ImageFormat;import android.hardware.Camera;import android.os.Bundle;import android.support.v7.app.AppCompatActivity;import android.util.Log;import android.view.Menu;import android.view.MenuItem;import android.view.SurfaceHolder;import android.view.SurfaceView;/** * Created by Administrator on 2017/2/20. */public class LiveActivity extends AppCompatActivity implements SurfaceHolder.Callback, Camera.PreviewCallback {    private Camera mCamera;    private SurfaceView mSurfaceView;    private SurfaceHolder mSurfaceHolder;    private int mCameraId = 0;    private int width = 720;    private int height = 480;    @Override    public void onCreate(Bundle savedInstanceState) {        super.onCreate(savedInstanceState);        setContentView(R.layout.activity_live);        mSurfaceView = (SurfaceView) findViewById(R.id.live_sv_live);        mSurfaceHolder = mSurfaceView.getHolder();        mSurfaceHolder.setFixedSize(width, height);        mSurfaceHolder.addCallback(this);    }    @Override    public boolean onCreateOptionsMenu(Menu menu) {        getMenuInflater().inflate(R.menu.menu_live, menu);        return true;    }    @Override    public boolean onOptionsItemSelected(MenuItem item) {        if(item.getItemId() == R.id.checkable_menu) {            boolean isChecked = item.isChecked();            Log.e("LiveActivity", "checked: " + isChecked);            item.setChecked(!isChecked);            mCameraId = 1 - mCameraId;            destroyCamera();            initCamera();            return true;        }        return super.onOptionsItemSelected(item);    }    @Override    public void onPreviewFrame(byte[] data, Camera camera) {    }    @Override    public void surfaceCreated(SurfaceHolder holder) {        initCamera();    }    @Override    public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {    }    @Override    public void surfaceDestroyed(SurfaceHolder holder) {        destroyCamera();    }    private void initCamera() {        try {            mCamera = Camera.open(mCameraId);            mCamera.setPreviewDisplay(mSurfaceHolder);            Camera.Parameters params = mCamera.getParameters();            //设置预览大小            params.setPreviewSize(width, height);            //设置生成的照片大小            params.setPictureSize(width, height);            params.setPreviewFormat(ImageFormat.NV21);            mCamera.setDisplayOrientation(90);            //params.setRotation(90);            /*List
sizes = params.getSupportedPreviewSizes(); for(Camera.Size s : sizes) { Log.e("LiveActivity", s.width + " X " + s.height); }*/ mCamera.setParameters(params); mCamera.setPreviewCallback(this); mCamera.startPreview(); } catch (Exception e) { e.printStackTrace(); } } private void destroyCamera() { if(mCamera == null) { return; } mCamera.setPreviewCallback(null); mCamera.stopPreview(); mCamera.release(); mCamera = null; }}

我们通过menu来做了一个摄像头的切换功能,这样子就可以前摄像头直播或者后摄像头直播了。

到时会在onPreviewFrame里面获取到数据,然后交给jni进行一个编码的处理,然后就推流

那么这里就会有一个非常重要的知识点了:

我们通过setPreviewFormat方法把预览的数据(onPreviewFrame方法参数里面的data)的格式设置成了ImageFormat.NV21,一般来说,常用的格式是NV21或者YV12,因为这两种格式被所有的摄像头支持的,Android默认是会设置NV21的。

那么什么是NV21或YV12呢,其实这也是一种yuv格式的数据来的

上一篇文章我们已经说过了,就是通过把yuv通过编码,然后再封装就可以得到一个视频文件了,但我们还需要对这种yuv进行一定的处理,因为yuv也是有不同的各类的。

yuv通常分成两大格式,一种是planar:把所有像素点的Y值全部存放在数组的最前面,然后再存放所有像素点的U值,最后再存放所有像素点的V值

还有一种就是packed:它是依次存放每一个像素点的YUV值的

同时yuv还有不同的采样方式,一般主流的有三种:

  • YUV4:4:4 每一个Y对应一组UV分量

  • YUV4:2:2 每两个Y共用一组UV分量

  • YUV4:2:0 每四个Y共用一组UV分量

假设一张720 X 480的图片存储成yuv格式:

  • YUV4:4:4 Y = 720 480 U = V = 720 480 所以整个数组的大小就是720 480 3

  • YUV4:2:2 Y = 720 480 U = V = 720 480 / 2 所以整个数组的大小就是720 480 2

  • YUV4:2:0 Y = 720 480 U = V = 720 480 / 4 所以整个数组的大小就是720 480 1.5

NV21和YV12就是YUV4:2:0这种采样格式的,而且我们到时用FFmpeg编码采用的格式一般是AV_PIX_FMT_YUV420P,都是YUV4:2:0这种采样格式的

但还是有一些差别的

  • AV_PIX_FMT_YUV420P 格式是planar,就是先存全部的Y再存全部的U再存全部的V,采样格式4:2:0。存储格式类似 yyyyyyyy uu vv 这样

  • NV21 格式也是planar,采样格式也是4:2:0。存储格式类似 yyyyyyyy vu vu

  • YV12 格式也是planar,采样格式也是4:2:0。存储格式类似 yyyyyyyy vv uu

从上面可以看到,我们需要用的格式和预览的格式还是有些差别的,所以我们到时要处理一下。

那么现在我们可以先把我们的Camera的功能给测试一下先的,看看能不能预览成功,但在运行前,还需要去AndroidManifest里面配置一下

manifest

如果Camera模块测试没有问题的话,我们就可以来写native方法了,首先在LiveActivity里面定义好几个native方法

/**     * 初始化编码的一些东西,比如编码器等     * @param width  编码视频的宽     * @param height 编码视频的高     * @return 0 成功  小于0失败     */    private native int streamerInit(int width, int height);    /**     * 对每一次预览的数据进行编码推流     * @param data NV21格式的数据     * @return 0成功,小于0失败     */    private native int streamerHandle(byte[] data);    /**     * 把缓冲帧的数据清空     * @return 0成功,小于0失败     */    private native int streamerFlush();    /**     * 释放资源,比如编码器这些     * @return 0成功,小于0失败     */    private native int streamerRelease();

native

定义完成native方法后,我们先把LiveActivity里面的逻辑给处理一下先。为了不影响UI线程(以后可能数据处理会有点多),我就使用了HandlerThread这个类来进行异步操作,先把类初始化

mHandlerThread = new HandlerThread("liveHandlerThread");        mHandlerThread.start();        mHandler = new LiveHandler(this, mHandlerThread.getLooper());

LiveHandler是我定义在LiveActivity的静态内部类,用来进行异步操作的

private static class LiveHandler extends Handler {        private WeakReference
mActivity; public LiveHandler(LiveActivity activity, Looper looper) { super(looper); mActivity = new WeakReference
(activity); } @Override public void handleMessage(Message msg) { super.handleMessage(msg); LiveActivity activity = mActivity.get(); if(activity == null) { return; } switch (msg.what) { case STREAMER_INIT: break; case STREAMER_HANDLE: Bundle bundle = msg.getData(); if(bundle != null) { byte[] data = bundle.getByteArray("frame_data"); if(data != null && data.length > 0) { activity.streamerHandle(data); } else { Log.e("LiveActivity", "byte data null"); } } else { Log.e("LiveActivity", "bundle null"); } break; case STREAMER_FLUSH: activity.streamerFlush(); break; case STREAMER_RELEASE: activity.streamerRelease(); break; } } }

LiveActivity里面的逻辑主要是一些细节的处理,完整的代码就下面那样:

package com.xiaoxiao.live;import android.graphics.ImageFormat;import android.hardware.Camera;import android.os.Bundle;import android.os.Handler;import android.os.HandlerThread;import android.os.Looper;import android.os.Message;import android.support.v7.app.AppCompatActivity;import android.util.Log;import android.view.Menu;import android.view.MenuItem;import android.view.SurfaceHolder;import android.view.SurfaceView;import java.lang.ref.WeakReference;/** * Created by Administrator on 2017/2/20. */public class LiveActivity extends AppCompatActivity implements SurfaceHolder.Callback, Camera.PreviewCallback {    private static final int STREAMER_INIT = 0;    private static final int STREAMER_HANDLE = 1;    private static final int STREAMER_RELEASE = 2;    private static final int STREAMER_FLUSH = 3;    private Camera mCamera;    private SurfaceView mSurfaceView;    private SurfaceHolder mSurfaceHolder;    private int mCameraId = 0;    private int width = 720;    private int height = 480;    /**     * 判断有没有初始化成功,不成功不不进行后续的编码处理     */    private int liveInitResult = -1;    /**     * 异步操作     */    private HandlerThread mHandlerThread;    private LiveHandler mHandler;    @Override    public void onCreate(Bundle savedInstanceState) {        super.onCreate(savedInstanceState);        setContentView(R.layout.activity_live);        mSurfaceView = (SurfaceView) findViewById(R.id.live_sv_live);        mSurfaceHolder = mSurfaceView.getHolder();        mSurfaceHolder.setFixedSize(width, height);        mSurfaceHolder.addCallback(this);        mHandlerThread = new HandlerThread("liveHandlerThread");        mHandlerThread.start();        mHandler = new LiveHandler(this, mHandlerThread.getLooper());    }    @Override    public boolean onCreateOptionsMenu(Menu menu) {        getMenuInflater().inflate(R.menu.menu_live, menu);        return true;    }    @Override    public boolean onOptionsItemSelected(MenuItem item) {        if(item.getItemId() == R.id.checkable_menu) {            boolean isChecked = item.isChecked();            Log.e("LiveActivity", "checked: " + isChecked);            item.setChecked(!isChecked);            mCameraId = 1 - mCameraId;            destroyCamera();            initCamera();            return true;        }        return super.onOptionsItemSelected(item);    }    @Override    public void onPreviewFrame(byte[] data, Camera camera) {        /**         * 如果初始化成功,那就把数据发送到Handler,然后再调用native方法         */        if(liveInitResult == 0 && data != null && data.length > 0) {            Message msg = Message.obtain();            Bundle bundle = new Bundle();            bundle.putByteArray("frame_data", data);            msg.what = STREAMER_HANDLE;            msg.setData(bundle);            mHandler.sendMessage(msg);        }    }    @Override    public void surfaceCreated(SurfaceHolder holder) {        /**         * 在surface创建的时候进行初始化,如果失败了,也是需要释放已经开辟了的资源         */        liveInitResult = streamerInit(width, height);        if(liveInitResult == -1) {            mHandler.sendEmptyMessage(STREAMER_RELEASE);        } else {            Log.e("LiveActivity", "streamer init result: " + liveInitResult);        }        initCamera();    }    @Override    public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {    }    @Override    public void surfaceDestroyed(SurfaceHolder holder) {        /**         * 在surface销毁的时候清空缓冲帧(在直播成功开启的情况下)         * 清空后就进行资源的释放         * 并且把HandlerThread退出         */        if(liveInitResult == 0) {            mHandler.sendEmptyMessage(STREAMER_FLUSH);        }        mHandler.sendEmptyMessage(STREAMER_RELEASE);        mHandlerThread.quitSafely();        destroyCamera();    }    private void initCamera() {        try {            mCamera = Camera.open(mCameraId);            mCamera.setPreviewDisplay(mSurfaceHolder);            Camera.Parameters params = mCamera.getParameters();            //设置预览大小            params.setPreviewSize(width, height);            //设置生成的照片大小            params.setPictureSize(width, height);            params.setPreviewFormat(ImageFormat.NV21);            mCamera.setDisplayOrientation(90);            //params.setRotation(90);            /*List
sizes = params.getSupportedPreviewSizes(); for(Camera.Size s : sizes) { Log.e("LiveActivity", s.width + " X " + s.height); }*/ mCamera.setParameters(params); mCamera.setPreviewCallback(this); mCamera.startPreview(); } catch (Exception e) { e.printStackTrace(); } } private void destroyCamera() { if(mCamera == null) { return; } mCamera.setPreviewCallback(null); mCamera.stopPreview(); mCamera.release(); mCamera = null; } /** * 初始化编码的一些东西,比如编码器等 * @param width 编码视频的宽 * @param height 编码视频的高 * @return 0 成功 小于0失败 */ private native int streamerInit(int width, int height); /** * 对每一次预览的数据进行编码推流 * @param data NV21格式的数据 * @return 0成功,小于0失败 */ private native int streamerHandle(byte[] data); /** * 把缓冲帧的数据清空 * @return 0成功,小于0失败 */ private native int streamerFlush(); /** * 释放资源,比如编码器这些 * @return 0成功,小于0失败 */ private native int streamerRelease(); //------------------------------------------------------------------------ private static class LiveHandler extends Handler { private WeakReference
mActivity; public LiveHandler(LiveActivity activity, Looper looper) { super(looper); mActivity = new WeakReference
(activity); } @Override public void handleMessage(Message msg) { super.handleMessage(msg); LiveActivity activity = mActivity.get(); if(activity == null) { return; } switch (msg.what) { case STREAMER_INIT: break; case STREAMER_HANDLE: Bundle bundle = msg.getData(); if(bundle != null) { byte[] data = bundle.getByteArray("frame_data"); if(data != null && data.length > 0) { activity.streamerHandle(data); } else { Log.e("LiveActivity", "byte data null"); } } else { Log.e("LiveActivity", "bundle null"); } break; case STREAMER_FLUSH: activity.streamerFlush(); break; case STREAMER_RELEASE: activity.streamerRelease(); break; } } }}

那么,写完LiveActivity的逻辑后,就要进入重要的内容了,就是在c里面完成编码以及推流的操作

//// Created by Administrator on 2017/2/19.//#include 
#include
#include
#include "libavcodec/avcodec.h"#include "libavformat/avformat.h"#include "libavutil/time.h"#include "libavutil/imgutils.h"#define LOG_TAG "FFmpeg"#define LOGE(format, ...) __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, format, ##__VA_ARGS__)#define LOGI(format, ...) __android_log_print(ANDROID_LOG_INFO, LOG_TAG, format, ##__VA_ARGS__)AVFormatContext *ofmt_ctx = NULL;AVStream *out_stream = NULL;AVPacket pkt;AVCodecContext *pCodecCtx = NULL;AVCodec *pCodec = NULL;AVFrame *yuv_frame;int frame_count;int src_width;int src_height;int y_length;int uv_length;int64_t start_time;/** * 回调函数,用来把FFmpeg的log写到sdcard里面 */void live_log(void *ptr, int level, const char* fmt, va_list vl) { FILE *fp = fopen("/sdcard/123/live_log.txt", "a+"); if(fp) { vfprintf(fp, fmt, vl); fflush(fp); fclose(fp); }}/** * 编码函数 * avcodec_encode_video2被deprecated后,自己封装的 */int encode(AVCodecContext *pCodecCtx, AVPacket* pPkt, AVFrame *pFrame, int *got_packet) { int ret; *got_packet = 0; ret = avcodec_send_frame(pCodecCtx, pFrame); if(ret <0 && ret != AVERROR_EOF) { return ret; } ret = avcodec_receive_packet(pCodecCtx, pPkt); if(ret < 0 && ret != AVERROR(EAGAIN)) { return ret; } if(ret >= 0) { *got_packet = 1; } return 0;}JNIEXPORT jstring JNICALLJava_com_xiaoxiao_live_MainActivity_helloFromFFmpeg(JNIEnv *env, jobject instance) { // TODO char info[10000] = {0}; sprintf(info, "%s\n", avcodec_configuration()); return (*env)->NewStringUTF(env, info);}JNIEXPORT jint JNICALLJava_com_xiaoxiao_live_LiveActivity_streamerRelease(JNIEnv *env, jobject instance) { // TODO if(pCodecCtx) { avcodec_close(pCodecCtx); pCodecCtx = NULL; } if(ofmt_ctx) { avio_close(ofmt_ctx->pb); } if(ofmt_ctx) { avformat_free_context(ofmt_ctx); ofmt_ctx = NULL; } if(yuv_frame) { av_frame_free(&yuv_frame); yuv_frame = NULL; }}JNIEXPORT jint JNICALLJava_com_xiaoxiao_live_LiveActivity_streamerFlush(JNIEnv *env, jobject instance) { // TODO int ret; int got_packet; AVPacket packet; if(!(pCodec->capabilities & CODEC_CAP_DELAY)) { return 0; } while(1) { packet.data = NULL; packet.size = 0; av_init_packet(&packet); ret = encode(pCodecCtx, &packet, NULL, &got_packet); if(ret < 0) { break; } if(!got_packet) { ret = 0; break; } LOGI("Encode 1 frame size:%d\n", packet.size); AVRational time_base = ofmt_ctx->streams[0]->time_base; AVRational r_frame_rate1 = {60, 2}; AVRational time_base_q = {1, AV_TIME_BASE}; int64_t calc_duration = (double)(AV_TIME_BASE) * (1 / av_q2d(r_frame_rate1)); packet.pts = av_rescale_q(frame_count * calc_duration, time_base_q, time_base); packet.dts = packet.pts; packet.duration = av_rescale_q(calc_duration, time_base_q, time_base); packet.pos = -1; frame_count++; ofmt_ctx->duration = packet.duration * frame_count; ret = av_interleaved_write_frame(ofmt_ctx, &packet); if(ret < 0) { break; } } //写文件尾 av_write_trailer(ofmt_ctx); return 0;}JNIEXPORT jint JNICALLJava_com_xiaoxiao_live_LiveActivity_streamerHandle(JNIEnv *env, jobject instance, jbyteArray data_) { jbyte *data = (*env)->GetByteArrayElements(env, data_, NULL); // TODO int ret, i, resultCode; int got_packet = 0; resultCode = 0; /** * 这里就是之前说的NV21转为AV_PIX_FMT_YUV420P这种格式的操作了 */ memcpy(yuv_frame->data[0], data, y_length); for (i = 0; i < uv_length; i++) { *(yuv_frame->data[2] + i) = *(data + y_length + i * 2); *(yuv_frame->data[1] + i) = *(data + y_length + i * 2 + 1); } yuv_frame->format = pCodecCtx->pix_fmt; yuv_frame->width = src_width; yuv_frame->height = src_height; //yuv_frame->pts = frame_count; yuv_frame->pts = (1.0 / 30) * 90 * frame_count; pkt.data = NULL; pkt.size = 0; av_init_packet(&pkt); //进行编码 ret = encode(pCodecCtx, &pkt, yuv_frame, &got_packet); if(ret < 0) { resultCode = -1; LOGE("Encode error\n"); goto end; } if(got_packet) { LOGI("Encode frame: %d\tsize:%d\n", frame_count, pkt.size); frame_count++; pkt.stream_index = out_stream->index; //写PTS/DTS AVRational time_base1 = ofmt_ctx->streams[0]->time_base; AVRational r_frame_rate1 = {60, 2}; AVRational time_base_q = {1, AV_TIME_BASE}; int64_t calc_duration = (double)(AV_TIME_BASE) * (1 / av_q2d(r_frame_rate1)); pkt.pts = av_rescale_q(frame_count * calc_duration, time_base_q, time_base1); pkt.dts = pkt.pts; pkt.duration = av_rescale_q(calc_duration, time_base_q, time_base1); pkt.pos = -1; //处理延迟 int64_t pts_time = av_rescale_q(pkt.dts, time_base1, time_base_q); int64_t now_time = av_gettime() - start_time; if(pts_time > now_time) { av_usleep(pts_time - now_time); } ret = av_interleaved_write_frame(ofmt_ctx, &pkt); if(ret < 0) { LOGE("Error muxing packet"); resultCode = -1; goto end; } av_packet_unref(&pkt); }end: (*env)->ReleaseByteArrayElements(env, data_, data, 0); return resultCode;}JNIEXPORT jint JNICALLJava_com_xiaoxiao_live_LiveActivity_streamerInit(JNIEnv *env, jobject instance, jint width, jint height) { // TODO int ret = 0; const char *address = "rtmp://192.168.1.102/oflaDemo/test"; src_width = width; src_height = height; //yuv数据格式里面的 y的大小(占用的空间) y_length = width * height; //u/v占用的空间大小 uv_length = y_length / 4; //设置回调函数,写log av_log_set_callback(live_log); //激活所有的功能 av_register_all(); //推流就需要初始化网络协议 avformat_network_init(); //初始化AVFormatContext avformat_alloc_output_context2(&ofmt_ctx, NULL, "flv", address); if(!ofmt_ctx) { LOGE("Could not create output context\n"); return -1; } //寻找编码器,这里用的就是x264的那个编码器了 pCodec = avcodec_find_encoder(AV_CODEC_ID_H264); if(!pCodec) { LOGE("Can not find encoder!\n"); return -1; } //初始化编码器的context pCodecCtx = avcodec_alloc_context3(pCodec); pCodecCtx->pix_fmt = AV_PIX_FMT_YUV420P; //指定编码格式 pCodecCtx->width = width; pCodecCtx->height = height; pCodecCtx->time_base.num = 1; pCodecCtx->time_base.den = 30; pCodecCtx->bit_rate = 800000; pCodecCtx->gop_size = 300; if(ofmt_ctx->oformat->flags & AVFMT_GLOBALHEADER) { pCodecCtx->flags |= CODEC_FLAG_GLOBAL_HEADER; } pCodecCtx->qmin = 10; pCodecCtx->qmax = 51; pCodecCtx->max_b_frames = 3; AVDictionary *dicParams = NULL; av_dict_set(&dicParams, "preset", "ultrafast", 0); av_dict_set(&dicParams, "tune", "zerolatency", 0); //打开编码器 if(avcodec_open2(pCodecCtx, pCodec, &dicParams) < 0) { LOGE("Failed to open encoder!\n"); return -1; } //新建输出流 out_stream = avformat_new_stream(ofmt_ctx, pCodec); if(!out_stream) { LOGE("Failed allocation output stream\n"); return -1; } out_stream->time_base.num = 1; out_stream->time_base.den = 30; //复制一份编码器的配置给输出流 avcodec_parameters_from_context(out_stream->codecpar, pCodecCtx); //打开输出流 ret = avio_open(&ofmt_ctx->pb, address, AVIO_FLAG_WRITE); if(ret < 0) { LOGE("Could not open output URL %s", address); return -1; } ret = avformat_write_header(ofmt_ctx, NULL); if(ret < 0) { LOGE("Error occurred when open output URL\n"); return -1; } //初始化一个帧的数据结构,用于编码用 //指定AV_PIX_FMT_YUV420P这种格式的 yuv_frame = av_frame_alloc(); uint8_t *out_buffer = (uint8_t *) av_malloc(av_image_get_buffer_size(pCodecCtx->pix_fmt, src_width, src_height, 1)); av_image_fill_arrays(yuv_frame->data, yuv_frame->linesize, out_buffer, pCodecCtx->pix_fmt, src_width, src_height, 1); start_time = av_gettime(); return 0;}

这里面有一个值得注意的就是NV21的数据处理那里

/**     * 这里就是之前说的NV21转为AV_PIX_FMT_YUV420P这种格式的操作了     */    memcpy(yuv_frame->data[0], data, y_length);    for (i = 0; i < uv_length; i++) {        *(yuv_frame->data[2] + i) = *(data + y_length + i * 2);        *(yuv_frame->data[1] + i) = *(data + y_length + i * 2 + 1);    }

可以对照着前说的yuv的数据存储来看,这样子就会明白为什么要这样处理一下了,明白了这个,那YV12的处理也很容易了

那么写完这个c代码后,我们就可以把服务器给配置一下了,这样子就可以调试我们的直播代码有没有问题了

上一篇文章里面说了,直播需要一个流媒体服务器,现在可以用nginx 然后装个RTMP的模块就可以了(战斗民族写的),还有其他的就是FMS,red5.

我这里使用的就是,java写的,开源的。我们把它下载下来,然后解压就行了

red5

运行起来后,就可以在浏览器里面输入 如果能打开red5的页面就说明已经运行起来了

red5

打开demos

red5

如果ofla这个demo存在的话,打开就可以看到下面的页面了

red5

在这里面有两个直接协议的实现了,一个是RTMP,一个是RTMPT(是RTMP的变种,相当于RTMP用http包装后的协议)。

点击那个播放的图标就可以播放流媒体了,但是要直播我们app的流还需要配置一点东西,在red5的根目录下打开webapps/oflaDemo这个目录

red5

用编辑器打开index.html,把rtmp那个播放器的脚本修改成下面的

RTMP
This text will be replaced
RTMPT
This text will be replaced

rtmp://192.168.1.102/oflaDemo这个地址和我们在c里面写的那个address是不是一样,然后我们再指定了它的file是test

完整的就是我们在c里面写的那个address了const char *address = "rtmp://192.168.1.102/oflaDemo/test";,所以这个配置一定要正确,不然就无法直播了

192.168.1.102是我电脑的ip,完成这个调试要求手机和电脑在同一局域网下,除非自己有外网的流媒体服务器就另说了

手机那个地址千万不要写localhost,都不是同一个机器

好了,配置完这个之后,我们再重新刷新一下我们的网页。然后就可以调试我们的直播了

点击我要直播,然后就可以点击网页的那个播放图标了,这样子就可以调试我们的直播了。由于手机电脑互调,弄不了图片,所以就要各位自己运行看结果了

总结

那么到这里,我们就已经完成了camera的处理,以及推流成功了,通过red5服务器,也可以看到了我们的直播,但现在这个直播还有几个问题要处理先的:

  • 看到的直播和手机上的有一个旋转的差别(这个原因是因为手机摄像头的预览我们设置了旋转,以方便竖屏直播,但是这个设置是不会影响原始数据的旋转的,而且没法设置,所以就会产生这个bug)

  • 有延迟,这个应该是PTS/DTS的问题

  • 没有声音

上面那几个问题都是需要处理好的,那么下一篇我们就会先把前面的两个问题给处理一下




转载地址:http://evmwa.baihongyu.com/

你可能感兴趣的文章
想说一点东西。。。。
查看>>
css知多少(8)——float上篇
查看>>
NLB网路负载均衡管理器详解
查看>>
水平添加滚动条
查看>>
PHP中”单例模式“实例讲解
查看>>
VM EBS R12迁移,启动APTier . AutoConfig错误
查看>>
atitit.细节决定成败的适合情形与缺点
查看>>
Mysql利用binlog恢复数据
查看>>
我的友情链接
查看>>
用yum安装mariadb
查看>>
一点IT"边缘化"的人的思考
查看>>
WPF 降低.net framework到4.0
查看>>
搭建一个通用的脚手架
查看>>
开年巨制!千人千面回放技术让你“看到”Flutter用户侧问题
查看>>
开源磁盘加密软件VeraCrypt教程
查看>>
本地vs云:大数据厮杀的最终幸存者会是谁?
查看>>
阿里云公共镜像、自定义镜像、共享镜像和镜像市场的区别 ...
查看>>
shadowtunnel v1.7 发布:新增上级负载均衡支持独立密码
查看>>
Java线程:什么是线程
查看>>
mysql5.7 创建一个超级管理员
查看>>