认知服务
Azure 认知服务的目标是帮助开发人员创建可以看、听、说、理解甚至开始推理的应用程序。Azure 认知服务中的服务目录可分为五大主要支柱类别:视觉、语音、语言、Web 搜索和决策。开发人员使用 Azure 认知服务能够轻松地将认知功能添加到其应用程序中。
Azure认知服务主要包含:人脸、表单识别、墨迹识别等内容。上次已经介绍过人脸识别服务了,这次介绍下表单识别器如何使用。
表单识别器
Azure 表单识别器是一个认知服务,该服务使用机器学习技术从表单文档中识别和提取文本、键值对和表数据。它会引入表单中的文本并输出包含原始文件中的关系的结构化数据。可以快速获取根据特定内容定制的准确结果,无需进行繁琐的手动干预,也不需要具备丰富的数据科学专业知识。表单识别器由自定义模型、预生成的收据模型和布局 API 组成。可以使用 REST API 调用表单识别器模型,以降低复杂性,并将该模型集成到工作流或应用程序中。
引用自微软Azure文档
新建表单识别器资源
新建一个表单识别器的资源。表单识别器也是一项免费服务,免费定价策略为:500页/月,识别频率在20次/分钟,训练频率1次/分钟。区域选离你最近的,然后取个名字。
查看秘钥跟终结点
创建完成后,点击侧边菜单密钥跟终结点,查看密钥跟终结点信息,等下调用SDK的时候需要使用。
新建一个WPF程序
我们还是新建一个WPF程序来演示如果使用表单识别的SDK。新建一个WPF程序,然后放置一个按钮,点击按钮选择一个文件,对这个文件进行识别并把识别的结果显示在文本框内。
安装SDK
使用nuget进行安装:
Install-Package Azure.AI.FormRecognizer -Version 1.0.0-preview.4
修改MainWindow.xaml
<Window x:Class="FormRecognizer.MainWindow"xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d="http://schemas.microsoft.com/expression/blend/2008"xmlns:mc="http://schemas.openxmlformats.org/markup-compatibility/2006"xmlns:local="clr-namespace:FormRecognizer"mc:Ignorable="d"Title="MainWindow" Height="450" Width="800"><Grid><TextBox x:Name="tbxContent" HorizontalAlignment="Left" Height="344" Margin="10,10,0,0" TextWrapping="Wrap" Text="TextBox" VerticalAlignment="Top" Width="772"/><Button Content="选择文件" HorizontalAlignment="Left" Margin="10,373,0,0" VerticalAlignment="Top" Width="75" Click="SelectFile_Click"/></Grid>
</Window>
修改MainWindow.xaml,在界面上放置一个按钮来选择文件,放置一个文本框显示内容。界面如下:
选择识别文件
private async void SelectFile_Click(object sender, RoutedEventArgs e){var openFileDialog = new OpenFileDialog();openFileDialog.ShowDialog();var file = openFileDialog.FileName;this.tbxContent.Text = "正在识别";var result = await StartRecognize(file);foreach (var page in result.Value){this.tbxContent.Text += $"第{page.PageNumber}页" + "\r\n";for (int tableIndex = 0; tableIndex < page.Tables.Count; tableIndex++){this.tbxContent.Text += $"表{tableIndex + 1}" + "\r\n";var table = page.Tables[tableIndex];foreach (var cell in table.Cells){this.tbxContent.Text += $"行:{cell.RowIndex} 列:{cell.ColumnIndex} 内容:{cell.Text}" + "\r\n";}}}}
选择一个文件,然后调用StartRecognize方法进行识别,对识别的结果进行显示。识别的PDF文件如下:
使用SDK进行识别
private async Task<Response<FormPageCollection>> StartRecognize(string file){string endpoint = "https://xxxx.cognitiveservices.azure.com/";string apiKey = "xxxx";var credential = new AzureKeyCredential(apiKey);var recognizerClient = new FormRecognizerClient(new Uri(endpoint), credential);Response<FormPageCollection> formPages = await recognizerClient.StartRecognizeContentAsync(File.OpenRead(file)).WaitForCompletionAsync();return formPages;}
直接调用StartRecognizeContentAsync进行识别,等待一会就会有结果。
运行一下
让我们运行一下看看吧:
总结
使用Azure的认知服务进行表单识别可以轻松的对JPG,PNG,PDF等非结构化的数据进行数据采集,从而转换成结构化数据进行储存以及分析。表单识别器支持无需训练的识别,如果复杂表单还可以进行自定义模型的训练,从而提高识别精度。但是目前好像还不支持中文,后续再研究吧。