rtp
在FFmpeg中，rtpenc是一个用于将音视频数据封装成RTP（Real-time Transport Protocol）数据包并发送到网络上的编码器。RTP是一种用于实时传输音视频数据的协议，常用于视频会议、流媒体等场景。
rtpenc可以将音视频数据封装成RTP数据包，并通过UDP协议发送到指定的IP地址和端口号。它支持多种音视频编码格式，如H.264、AAC等，并可以设置RTP头部信息、负载类型、时间戳等参数。
使用rtpenc，可以将FFmpeg中的音视频数据实时传输到网络上，实现实时音视频传输的功能。例如，可以将摄像头采集的视频数据通过rtpenc编码后发送到网络上，实现视频监控、视频会议等应用。
ff_rtp_muxer
rtp muxer的定义中，默认的codec格式也是AV_CODEC_ID_MPEG4和AV_CODEC_ID_PCM_MULAW，rtp_write_packet可以看到这个rtp packet的封包发送过程。
const AVOutputFormat ff_rtp_muxer = {.name = "rtp",.long_name = NULL_IF_CONFIG_SMALL("RTP output"),.priv_data_size = sizeof(RTPMuxContext),.audio_codec = AV_CODEC_ID_PCM_MULAW,.video_codec = AV_CODEC_ID_MPEG4,.write_header = rtp_write_header,.write_packet = rtp_write_packet,.write_trailer = rtp_write_trailer,.priv_class = &rtp_muxer_class,.flags = AVFMT_TS_NONSTRICT,
};rtp_write_packet
rtp_write_packet中根据codec_id，调用对应的ff_rtp_send_xxx函数，比如H264对应的是ff_rtp_send_h264_hevc：
static int rtp_write_packet(AVFormatContext *s1, AVPacket *pkt) {RTPMuxContext *s = s1->priv_data;AVStream *st = s1->streams[0];int rtcp_bytes;int size= pkt->size;switch(st->codecpar->codec_id) {case AV_CODEC_ID_AAC:if (s->flags & FF_RTP_FLAG_MP4A_LATM)ff_rtp_send_latm(s1, pkt->data, size);elseff_rtp_send_aac(s1, pkt->data, size);break;case AV_CODEC_ID_H264:ff_rtp_send_h264_hevc(s1, pkt->data, size);break;
}
ff_rtp_send_h264_hevc
该函数的主要作用是将H.264/HEVC视频流分割成NAL单元，并将其打包成RTP数据包进行传输。
该函数首先将传入的视频流数据buf1拷贝到RTPMuxContext结构体中，并设置当前时间戳为s->cur_timestamp。然后，该函数通过调用ff_avc_find_startcode或ff_avc_mp4_find_startcode函数找到NAL单元的起始位置，并将NAL单元的数据通过nal_send函数打包成RTP数据包进行传输。最后，该函数通过调用flush_buffered函数将缓存中的数据进行传输。
需要注意的是，该函数中的s->nal_length_size表示NAL单元长度的字节数，不为0，buffer就是avcc类型，如果为0，就是annex
格式，根据起始码0x000001或0x00000001来找到buffer的结束位置。
void ff_rtp_send_h264_hevc(AVFormatContext *s1, const uint8_t *buf1, int size)
{const uint8_t *r, *end = buf1 + size;RTPMuxContext *s = s1->priv_data;s->timestamp = s->cur_timestamp;s->buf_ptr = s->buf;if (s->nal_length_size)r = ff_avc_mp4_find_startcode(buf1, end, s->nal_length_size) ? buf1 : end;elser = ff_avc_find_startcode(buf1, end);while (r < end) {const uint8_t *r1;if (s->nal_length_size) {r1 = ff_avc_mp4_find_startcode(r, end, s->nal_length_size);if (!r1)r1 = end;r += s->nal_length_size;} else {while (!*(r++));r1 = ff_avc_find_startcode(r, end);}nal_send(s1, r, r1 - r, r1 == end);r = r1;}flush_buffered(s1, 1);
}
然后nal_send将NAL单元发送到RTP流中。NAL单元是视频编码中的基本单元，它包含了视频编码中的一个帧或片段。
nal_send首先检查NAL单元的大小是否小于等于最大负载大小，如果是，则将NAL单元添加到缓冲区中。如果缓冲区中已经有了一些NAL单元，则将它们作为STAP-A/AP包发送。如果NAL单元的大小大于最大负载大小，则将其分割成多个分片，并将它们作为FU-A包发送。
nal_send还根据编解码器类型设置了一些标志位，以便在发送NAL单元时进行适当的处理。例如，对于H.264编解码器，如果使用了FF_RTP_FLAG_H264_MODE0标志，则将NAL单元分割成多个分片。
ff_rtp_send_data
ff_rtp_send_data是rtp用于将数据通过RTP协议发送出去的函数。具体来说，它会构建RTP头部，将数据写入输出流，并更新一些统计信息。
void ff_rtp_send_data(AVFormatContext *s1, const uint8_t *buf1, int len, int m)
{RTPMuxContext *s = s1->priv_data;av_log(s1, AV_LOG_TRACE, "rtp_send_data size=%d\n", len);/* build the RTP header */avio_w8(s1->pb, RTP_VERSION << 6);avio_w8(s1->pb, (s->payload_type & 0x7f) | ((m & 0x01) << 7));avio_wb16(s1->pb, s->seq);avio_wb32(s1->pb, s->timestamp);avio_wb32(s1->pb, s->ssrc);avio_write(s1->pb, buf1, len);avio_flush(s1->pb);s->seq = (s->seq + 1) & 0xffff;s->octet_count += len;s->packet_count++;
}
函数的参数包括一个AVFormatContext结构体指针s1，一个指向数据缓冲区的指针buf1，数据长度len，以及一个标志位m。其中，s1包含了输出流的相关信息，buf1是要发送的数据，len是数据长度，m表示是否是最后一个数据包。
函数首先从s1中获取RTPMuxContext结构体指针s，该结构体包含了一些RTP相关的信息。然后，函数会使用avio_w8、avio_wb16、avio_wb32等函数将RTP头写入输出流中。其中，RTP头部的格式如下：
0 1 2 3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|V=2|P|X| CC |M| PT | sequence number |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| timestamp |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| synchronization source (SSRC) identifier |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| contributing source (CSRC) identifiers |
| .... |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
其中，V表示协议版本号，P表示是否有填充，X表示是否有扩展头部，CC表示CSRC计数器，M表示是否是最后一个数据包，PT表示负载类型，sequence number表示序列号，timestamp表示时间戳，SSRC表示同步源标识符，CSRC表示贡献源标识符。
接下来，函数会使用avio_write函数将数据写入输出流中，并使用avio_flush函数将输出流中的数据刷新。最后，函数会更新s中的一些统计信息，包括序列号、字节计数和数据包计数。
rtp_mpegts
rtp_mpegts是ffmpeg中支持的唯一一个rtp muxer，通过rtp_mpegts发送音视频数据，可以解决rtp支持一路流的问题，默认支持的audio codec是AAC，video codec是H264。
比如可以这样发送：
ffmpeg -re -stream_loop -1 -i h264.mp4 -i aac.mp4 -f rtp_mpegts rtp://10.0.1.1:5008
h264.mp4 - 只包含h264编码的视频文件
aac.mp4 - 只包含aac编码的音频文件
如果使用rtp发送，则会输出ERROR：“Only one stream supported in the RTP muxer”。
ffmpeg -re -stream_loop -1 -i h264.mp4 -i aac.mp4 -f rtp rtp://10.0.1.1:5008
ff_rtp_mpegts_muxer
const AVOutputFormat ff_rtp_mpegts_muxer = {.name = "rtp_mpegts",.long_name = NULL_IF_CONFIG_SMALL("RTP/mpegts output format"),.priv_data_size = sizeof(MuxChain),.audio_codec = AV_CODEC_ID_AAC,.video_codec = AV_CODEC_ID_MPEG4,.write_header = rtp_mpegts_write_header,.write_packet = rtp_mpegts_write_packet,.write_trailer = rtp_mpegts_write_close,.priv_class = &rtp_mpegts_class,
};
在write_header函数中，指定codec id为AV_CODEC_ID_MPEG2TS，这个会在rtp enc中处理，调用rtp_send_mpegts_raw，发送mpegts数据。
st->time_base.num = 1;st->time_base.den = 90000;st->codecpar->codec_id = AV_CODEC_ID_MPEG2TS;rtp_ctx->pb = s->pb;
所以，rtp muxer直接对音视频数据封包成rtp payload进行发送，而rtp_mpegts则对音视频数据先进行mpegts封装，然后再封装为rtp payload发送。
