音视频采集

DirectShow（简称DShow）是一个Windows平台上的流媒体框架，提供了高质量的多媒体流采集和回放功能，它支持多种多样的媒体文件格式，包括ASF、MPEG、AVI、MP3和WAV文件，同时支持使用WDM驱动或早期的VFW驱动来进行多媒体流的采集。

• DirectShow大大简化了媒体回放、格式转换和采集工作。但与此同时，也为用户自定义的解决方案提供了底层流控制框架，从而使用户可以自行创建支持新的文件格式或其他用户的DirectShow组件。
• DirectShow专为C++而设计。Microsoft不提供用于DirectShow的托管API。
• DirectShow是基于组件对象模型（COM）的，因此当你编写DirectShow应用程序时，你必须具备COM客户端程序编写的知识。对于大部分的应用程序，你不需要实现自己的COM对象，DirectShow提供了大部分你需要的DirectShow组件，但是假如你需要编写自己的DirectShow组件来进行扩充，那么你必须编写实现COM对象。
• 使用DirectShow编写的典型应用程序包括：DVD播放器、视频编辑程序、AVI到ASF转换器、MP3播放器和数字视频采集应用。

音频采集

获取设备信息

void Widget::capture()
{avdevice_register_all(); // 注册所有的设备qDebug() << "注册设备完成";AVFormatContext *fmt_ctx = avformat_alloc_context();            // 分配一个格式上下文const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式if (!input_fmt){qDebug() << "找不到输入格式";return;}AVDeviceInfoList *dev_list = nullptr; // 设备信息列表int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表if (ret < 0){qDebug() << "获取设备信息列表失败";return;}for (int i = 0; i < dev_list->nb_devices; i++){qDebug() << "设备名称: " << dev_list->devices[i]->device_name;qDebug() << "设备描述: " << dev_list->devices[i]->device_description;// qDebug() << "设备类型: " << av_get_media_type_string(*(dev_list->devices[i]->media_types));qDebug() << "------------------------";}avdevice_free_list_devices(&dev_list);qDebug() << "设备信息获取完成";
}

录制麦克风

void Widget::recordMicrophone()
{const char *output_file = "../../output/record.pcm"; // 输出文件路径avdevice_register_all();                             // 注册所有的设备AVDeviceInfoList *dev_list = nullptr;                // 设备信息列表const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式if (!input_fmt){qDebug() << "找不到输入格式";return;}int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表if (ret < 0){qDebug() << "获取设备信息列表失败";return;}std::string device_name = "audio=";for (int i = 0; i < dev_list->nb_devices; i++){AVDeviceInfo *dev_info = dev_list->devices[i];if (dev_info){if (*dev_info->media_types == AVMEDIA_TYPE_AUDIO) // 判断设备类型是否为音频{device_name += dev_info->device_name; // 获取设备名称break;}}}avdevice_free_list_devices(&dev_list); // 释放设备信息列表AVFormatContext *fmt_ctx = avformat_alloc_context(); // 分配一个格式上下文ret = avformat_open_input(&fmt_ctx, device_name.c_str(), input_fmt, nullptr); // 打开输入设备if (ret < 0){qDebug() << "打开输入设备失败";return;}av_dump_format(fmt_ctx, 0, device_name.c_str(), 0); // 打印输入设备信息std::ofstream output(output_file, std::ios::binary | std::ofstream::out); // 打开输出文件,以二进制方式写入if (!output.is_open()){qDebug() << "打开输出文件失败";return;}auto currentTime = std::chrono::steady_clock::now(); // 获取当前时间AVPacket packet;                             // 分配一个数据包while (av_read_frame(fmt_ctx, &packet) >= 0) // 读取数据包{output.write((char *)packet.data, packet.size);                                // 写入数据包av_packet_unref(&packet);                                                      // 释放数据包if (std::chrono::steady_clock::now() - currentTime > std::chrono::seconds(10)) // 录音10秒后停止break;}output.close();                 // 关闭输出文件avformat_close_input(&fmt_ctx); // 关闭输入设备avformat_free_context(fmt_ctx); // 释放格式上下文qDebug() << "录音结束";
}

通过ffplay指令播放

录制声卡

跟麦克风录制一样，略

视频采集

查看支持的设备信息

 ffmpeg -list_devices true -f dshow -i dummy

ffmpeg -f dshow -list_options true -i video="USB Camera"

摄像机画面采集

void Widget::recordCamera()
{const char *output_file = "../../output/record.yuv"; // 输出文件名avdevice_register_all();                             // 注册所有设备AVDeviceInfoList *dev_list = nullptr;const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找输入格式if (!input_fmt){qDebug() << "找不到输入格式";return;}int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 获取设备信息列表if (ret < 0){qDebug() << "获取设备信息失败";return;}std::string device_name = "video="; // 设备名称for (int i = 0; i < dev_list->nb_devices; i++){AVDeviceInfo *dev_info = dev_list->devices[i];if (dev_info){if (*dev_info->media_types == AVMEDIA_TYPE_VIDEO) // 判断设备类型是否为视频{device_name += dev_info->device_name;break;}}}avdevice_free_list_devices(&dev_list); // 释放设备信息列表AVDictionary *options = nullptr;av_dict_set(&options, "pixel_format", "yuyv422", 0); // 设置像素格式av_dict_set(&options, "video_size", "1280x720", 0);  // 设置视频大小av_dict_set(&options, "framerate", "10", 0);         // 设置帧率AVFormatContext *fmt_ctx = avformat_alloc_context();                           // 分配一个格式上下文ret = avformat_open_input(&fmt_ctx, device_name.c_str(), input_fmt, &options); // 打开输入设备if (ret < 0){qDebug() << "打开输入设备失败";return;}av_dump_format(fmt_ctx, 0, device_name.c_str(), 0); // 打印输入设备信息std::ofstream output(output_file, std::ios::binary | std::ofstream::out); // 打开输出文件,以二进制方式写入if (!output.is_open()){qDebug() << "打开输出文件失败";return;}auto currentTime = std::chrono::steady_clock::now(); // 获取当前时间AVPacket packet;                                     // 分配一个数据包while (av_read_frame(fmt_ctx, &packet) >= 0)         // 读取数据包{output.write((char *)packet.data, packet.size);                                // 写入数据包av_packet_unref(&packet);                                                      // 释放数据包if (std::chrono::steady_clock::now() - currentTime > std::chrono::seconds(10)) // 录像10秒后停止break;}output.close();                 // 关闭输出文件avformat_close_input(&fmt_ctx); // 关闭输入设备avformat_free_context(fmt_ctx); // 释放格式上下文qDebug() << "录像结束";
}