Azure认知服务之使用墨迹识别功能识别手写汉字

前面我们使用Azure Face实现了人脸识别、使用Azure表格识别器提取了表格里的数据。这次我们试试使用Azure墨迹识别API来对笔迹进行识别。

墨迹识别

墨迹识别器认知服务提供基于云的 REST API 用于分析和识别数字墨迹内容。与使用光学字符识别 (OCR) 的服务不同，该 API 需要使用数字墨迹笔划数据作为输入。数字墨迹笔划是 2D 点（X,Y 坐标，表示数字手写笔或手指的动作）的时序集。然后，墨迹识别器会识别输入中的形状和手写内容，并返回包含所有已识别实体的 JSON 响应。

引用自微软文档

它不是ocr对图像进行识别，而是对墨迹数据进行识别。墨迹数据的原理主要是一些手写输入设备，比如平板，手写板等。

创建墨迹识别资源

跟前面的内容一样，在portal控制台找到墨迹识别，点击创建，取一个实例名。墨迹识别也是一个免费服务，定价选F0方案，额度为5次/分，20000事务/月。

获取秘钥和终结点

我们调用墨迹识别API需要秘钥跟终结点信息。点击菜单“密钥和终结点”查看信息。

新建一个WPF项目

我们这次同样实现一个WPF小程序。界面上放置一个InkCanvas用来手写，一个文本框用来显示识别的文本，一个按钮用来触发识别。

MainWindow.xaml

修改MainWindow.xaml为如下代码：

<Window x:Class="InkRec2.MainWindow"xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d="http://schemas.microsoft.com/expression/blend/2008"xmlns:mc="http://schemas.openxmlformats.org/markup-compatibility/2006"mc:Ignorable="d"xmlns:local="clr-namespace:NoteTaker"xmlns:controls="clr-namespace:Microsoft.Toolkit.Wpf.UI.Controls;assembly=Microsoft.Toolkit.Wpf.UI.Controls"Title="MainWindow"><Grid ><Grid.RowDefinitions><RowDefinition Height="4*" /><RowDefinition Height="1*" /><RowDefinition Height="50" /></Grid.RowDefinitions><Border Grid.Row ="0" BorderBrush="Black" BorderThickness="1"><controls:InkCanvas x:Name="inkCanvas" Loaded="inkCanvas_Loaded"/></Border><Border Grid.Row ="1" BorderBrush="Black" BorderThickness="1"><ScrollViewer><TextBox x:Name="output" FontSize="18" TextWrapping="Wrap"/></ScrollViewer></Border><StackPanel Grid.Row="2" Orientation="Horizontal"><Button Click="Button_InkRec">开始识别</Button></StackPanel></Grid>
</Window>

注意：InkCanvas控件需要使用的是Microsoft.Toolkit.Wpf.UI.Controls包下的，如果本地没有使用nuget进行安装

采集墨迹

inkCanvas load事件里设置输入设备的类型：

   private void inkCanvas_Loaded(object sender, RoutedEventArgs e){inkCanvas.InkPresenter.InputDeviceTypes = CoreInputDeviceTypes.Mouse | CoreInputDeviceTypes.Pen | CoreInputDeviceTypes.Touch;}

先定义几个模型用来存储墨迹数据：

    public class InkStroke{public int id { get; set; }public string points { get; set; }}public class InkData{public string language { get; set; }public List<InkStroke> strokes { get; set; }}

从InkCanvas获取墨迹数据组装成InkData：

        private InkData GetInkData(){var data = new InkData();data.language = "zh-CN";data.strokes = new List<InkStroke>();int id = 0;foreach (var stroke in this.inkCanvas.InkPresenter.StrokeContainer.GetStrokes()){var points = stroke.GetInkPoints();var convertPoints = ConvertPixelsToMillimeters(points);var inkStorke = new InkStroke();inkStorke.id = id++;var sb = new StringBuilder();foreach (var point in convertPoints){sb.Append(point.X);sb.Append(",");sb.Append(point.Y);sb.Append(",");}inkStorke.points = sb.ToString().TrimEnd(',');data.strokes.Add(inkStorke);}return data;}private List<System.Windows.Point> ConvertPixelsToMillimeters(IReadOnlyList<InkPoint> pointsInPixels){float dpiX = 96.0f;float dpiY = 96.0f;var transformedInkPoints = new List<System.Windows.Point>();const float inchToMillimeterFactor = 25.4f;foreach (var point in pointsInPixels){var transformedX = (point.Position.X / dpiX) * inchToMillimeterFactor;var transformedY = (point.Position.Y / dpiY) * inchToMillimeterFactor;transformedInkPoints.Add(new System.Windows.Point(transformedX, transformedY));}return transformedInkPoints;}

调用墨迹API

这里需要前面复制好的密钥跟终结点地址。识别其实很简单，就是把墨迹数据转换成json后给服务器发生一个put请求，识别成功后就会返回一个json字符串的结果。

        private async Task<string> InkRec(InkData data){string inkRecognitionUrl = "/inkrecognizer/v1.0-preview/recognize";string endPoint = "x";string subscriptionKey = "x";using (HttpClient client = new HttpClient { BaseAddress = new Uri(endPoint) }){System.Net.ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 | SecurityProtocolType.Tls11 | SecurityProtocolType.Tls;client.DefaultRequestHeaders.Accept.Add(new MediaTypeWithQualityHeaderValue("application/json"));client.DefaultRequestHeaders.Add("Ocp-Apim-Subscription-Key", subscriptionKey);var jsonData = JsonConvert.SerializeObject(data);var content = new StringContent(jsonData, Encoding.UTF8, "application/json");var res = await client.PutAsync(inkRecognitionUrl, content);if (res.IsSuccessStatusCode){var result = await res.Content.ReadAsStringAsync();return result;}else{var err = $"ErrorCode: {res.StatusCode}";return err;}}}

解析识别结果

识别成功后，结果会以json字符串的形式进行返回。结果是一个数组，里面存放了每一个笔迹的识别结果，以及最终的识别结果。
结果示例：

{"recognitionUnits":[{"alternates":[{"category":"inkWord","recognizedString":"乖"},{"category":"inkWord","recognizedString":"黍"},{"category":"inkWord","recognizedString":"秉"},{"category":"inkWord","recognizedString":"乗"},{"category":"inkWord","recognizedString":"埀"}],"boundingRectangle":{"height":48.159999847412109,"topX":7.190000057220459,"topY":22.010000228881836,"width":35.639999389648438},"category":"inkWord","class":"leaf","id":4,"parentId":3,"recognizedText":"乘","rotatedBoundingRectangle":[{"x":41.490001678466797,"y":21.25},{"x":43.209999084472656,"y":69.239997863769531},{"x":7.8299999237060547,"y":70.5},{"x":6.1100001335144043,"y":22.520000457763672}],"strokeIds":[0,1,2,3,4,5,6,7,8,9]},{"alternates":[{"category":"inkWord","recognizedString":"風"},{"category":"inkWord","recognizedString":"夙"},{"category":"inkWord","recognizedString":"凤"},{"category":"inkWord","recognizedString":"凡"},{"category":"inkWord","recognizedString":"㶡"}],"boundingRectangle":
...
...

有了结果那么我们只要对其进行反序列化取出想要的识别结果就行了。

    public class InkRecResponse{public List<InkRecResponseUnit> recognitionUnits { get; set; }}public class InkRecResponseUnit{public string category { get; set; }public string recognizedText { get; set; }}private async void Button_InkRec(object sender, RoutedEventArgs e){var inkData = GetInkData();var response = await InkRec(inkData);var jsonObj = JsonConvert.DeserializeObject<InkRecResponse>(response);var recognizedText = jsonObj.recognitionUnits.First(o => o.category == "line").recognizedText;this.output.Text = recognizedText;}

运行一下

我们的程序写好了，运行一下。在canvas上随便写上几个汉字点击识别按钮。字虽然丑了点，但是结果还是完美的。

总结

使用Azure墨迹识别可以轻松的识别手写输入设备的笔迹。墨迹识别功能并不是见到的orc识别，它可以对每一个笔画进行识别，提供候选结果。以上代码虽然多，其实主要是获取墨迹数据比较麻烦，其实真正识别墨迹只是一个http put请求而已，这是非常简单的。有了这个API我们可以实现很多创意，比如稍微改进下上面的代码就可以实现手写文字的连续识别功能，一边写一边不断的识别，封装进平板就是一款可以实时识别手写板啦。

关注我的公众号一起玩转技术

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/308151.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

7-9 删数问题 (10 分)（思路加详解）

7-9 删数问题 (10 分)（思路加详解）

一&#xff1a;题目 有一个长度为n&#xff08;n < 240&#xff09;的正整数&#xff0c;从中取出k&#xff08;k < n&#xff09;个数&#xff0c;使剩余的数保持原来的次序不变&#xff0c;求这个正整数经过删数之后最小是多少。 输入格式: n和k 输出格式: 一个数字…
阅读更多...
【LeetCode】1. 盛最多水的容器：C#三种解法

【LeetCode】1. 盛最多水的容器：C#三种解法

题目&#xff1a;https://leetcode-cn.com/problems/container-with-most-water/盛最多水的容器难度:中等给你 n 个非负整数 a1&#xff0c;a2&#xff0c;...&#xff0c;an&#xff0c;每个数代表坐标中的一个点 (i, ai) 。在坐标内画 n 条垂直线&#xff0c;垂直线 i 的两个…
阅读更多...
7-1 银行家算法--安全性检查 (20 分)(思路+详解+知识分析)宝 你今天 AC了吗

7-1 银行家算法--安全性检查 (20 分)(思路+详解+知识分析)宝 你今天 AC了吗

一&#xff1a;前言 停更一周了&#xff0c;在这一周里&#xff0c;我每时每刻都在 想这我这 29个粉丝&#xff0c;庆幸教师资格证终于结束了&#xff0c;贴心杰又可以天天更新博客了 哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈&#xff0c;I am come back; 二&#xff1a;题目&a…
阅读更多...
.Net Core中的诊断日志DiagnosticSource讲解

.Net Core中的诊断日志DiagnosticSource讲解

前言近期由于需要进行分布式链路跟踪系统的技术选型&#xff0c;所以一直在研究链路跟踪相关的框架。作为能在.Net Core中使用的APM&#xff0c;SkyWalking自然成为了首选。SkyAPM-dotnet是SkyWalking在.Net Core端的探针实现&#xff0c;其主要的收集日志的手段就是基于Diagno…
阅读更多...
7-2 银行家算法--申请资源 (30 分)

7-2 银行家算法--申请资源 (30 分)

7-2 银行家算法–申请资源 (30 分)&#xff08;思路详解&#xff09;Come 乖宝宝们 一&#xff1a;前言 这道题需要用到前面的一道题 安全性检查 算法知识&#xff0c;所以强烈建议先看前面那道题 7-1 银行家算法–安全性检查 (20 分) 二&#xff1a;题目 输入N个进程(N<…
阅读更多...
年薪100万和10万程序员的差距

年薪100万和10万程序员的差距

点击蓝字关注&#xff0c;回复“职场进阶”获取职场进阶精品资料一份我们看武侠大片&#xff0c;经常有那种本来可以练就绝世武功的大虾。阴差阳错练的走火入魔。一开始还可以硬撑&#xff0c;还能打败一些虾兵蟹将。遇见真正的高手&#xff0c;这些大虾们立马就败下阵来。其实…
阅读更多...
7-3 银行家算法--综合 (50 分)（思路+详解+分析输入）宝宝们 加油

7-3 银行家算法--综合 (50 分)（思路+详解+分析输入）宝宝们 加油

一&#xff1a;前言 这道题涉及到 银行家算法的申请资源 算法 还有 安全性检查的耍算法 那么强烈建议 把前面的学完再看本题 7-1 银行家算法–安全性检查 (20 分) 7-2 银行家算法–申请资源 (30 分) 二&#xff1a;题目 输入N个进程(N<100)&#xff0c;以及M类资源&#…
阅读更多...
如何在龙芯3B4000上部署基于.Net Core 开发的物联网平台IoTSharp

如何在龙芯3B4000上部署基于.Net Core 开发的物联网平台IoTSharp

今天很开心的拿到了龙芯的测试服务器账号&#xff0c; 先上图show一下&#xff0c; 双核&#xff0c; 8G内存&#xff0c; 50G硬盘。架构 mips64el 登录后&#xff0c; 显示为 uos 及其网址信息:接下来&#xff0c; 二话不说&#xff0c; 我们开始下载龙芯版的.Net Core &#…
阅读更多...
46. 全排列015(回溯法求解)

46. 全排列015(回溯法求解)

一:题目 示例 1&#xff1a; 输入&#xff1a;nums [1,2,3] 输出&#xff1a;[[1,2,3],[1,3,2],[2,1,3],[2,3,1],[3,1,2],[3,2,1]] 示例 2&#xff1a;输入&#xff1a;nums [0,1] 输出&#xff1a;[[0,1],[1,0]] 示例 3&#xff1a;输入&#xff1a;nums [1] 输出&#xf…
阅读更多...
git did not exit cleanly（解决办法）

git did not exit cleanly（解决办法）

一&#xff1a;问题描述 我们在push的时候&#xff0c;出现如下问题 这个图是我拿别人的&#xff08;因为我的问题解决后 没保存图&#xff09; 二:解决 1.新建一个仓库在gitee上: 2:将新建的仓库克隆到本地 3&#xff1a;将原来的文件剪切到javanew(新建的仓库) 4&#…
阅读更多...
[Hei.Captcha] Asp.Net Core 跨平台验证码实现

[Hei.Captcha] Asp.Net Core 跨平台验证码实现

&#xfeff;&#xfeff;写在前面说起来比较丢脸。我们有个手机的验证码发送逻辑需要使用验证码&#xff0c;这块本来项目里面就有验证码绘制逻辑&#xff0c;.Net Framework的&#xff0c;使用的包是System.Drawing,我把这验证码绘制逻辑复制到.Net Core的新项目引用对比包Sy…
阅读更多...
77. 组合016(回溯法)

77. 组合016(回溯法)

一:题目 给定两个整数 n 和 k&#xff0c;返回范围 [1, n] 中所有可能的 k 个数的组合。 你可以按 任何顺序 返回答案。 示例 1&#xff1a; 输入&#xff1a;n 4, k 2 输出&#xff1a; [[2,4],[3,4],[2,3],[1,2],[1,3],[1,4], ] 示例 2&#xff1a;输入&#xff1a;n …
阅读更多...
.NET5即至，你准备好了吗？

.NET5即至，你准备好了吗？

.NET 5.0 Preview7是RC版前倒数第二个预览版&#xff0c;发布至今恰好一个月&#xff0c;算起来&#xff0c;.NET Core开源已经4年了&#xff0c;然而在互联网大型系统开发中很多环节都还是空白的&#xff0c;造轮子诚非一日之功&#xff01;这里为大家推荐一个分布式日志分析解…
阅读更多...
216. 组合总和 III017(回溯法求解)

216. 组合总和 III017(回溯法求解)

一&#xff1a;题目 二:思路 1.总体来看这是一个解空间为k层的排列树 第一层为1~9 2.递归函数的参数和返回值 1>:返回值&#xff1a;vector<vector > res 每次的求解结果&#xff1a;vector path 2>:参数&#xff1a; backtacking(int k,int n,int index,int sum)…
阅读更多...
基于IdentityServer4的OIDC实现单点登录(SSO)原理简析

基于IdentityServer4的OIDC实现单点登录(SSO)原理简析

&#xfeff;&#xfeff;# 写在前面IdentityServer4的学习断断续续&#xff0c;兜兜转转&#xff0c;走了不少弯路&#xff0c;也花了不少时间。可能是因为没有阅读源码&#xff0c;也没有特别系统的学习资料&#xff0c;相关文章很多园子里的大佬都有涉及&#xff0c;有系列文…
阅读更多...
fc协议有哪些数据传输服务器,FC协议详解

fc协议有哪些数据传输服务器,FC协议详解

FC协议简介开发于1988年&#xff0c;最早是用来提高硬盘协议的传输带宽&#xff0c;侧重于数据的快速、高效、可靠传输。到上世纪90年代末&#xff0c;FCSAN开始得到大规模的广泛应用。FC协议其实并不能翻译成光纤协议&#xff0c;只是FC协议普遍采用光纤作为传输线缆而不是铜缆…
阅读更多...
51. N 皇后018（回溯法求解）

51. N 皇后018（回溯法求解）

一&#xff1a;题目 二:思路 思路: 1.这里在选择建树(也就是在选择解的空间上)是 子集树 2.那么在结点上我们选择的是一个二维的矩阵就是将最后的结果落实到一个二维容器里 也就遍历到叶节点时候一种可行解的情况 3.写码思路&#xff1a; <1>:递归函数的参数: backtacki…
阅读更多...
小姐姐为你解析马爸爸是怎么用大数据“宰你”的

小姐姐为你解析马爸爸是怎么用大数据“宰你”的

一、首先大数据杀熟是什么&#xff1f;大数据杀熟本质就是一种数据营销手段&#xff1a;商家为了追求商业目的&#xff0c;利用交易双方信息的不对称性&#xff0c;根据每个用户的身份信息和历史数据表现&#xff0c;或者根据用户当前的需求来调整产品定价的手段 &#xff1b;比…
阅读更多...
苹果手机上没有显示订阅服务器,手机里没有订阅的选项，我该怎样取消自动收费项目...

苹果手机上没有显示订阅服务器,手机里没有订阅的选项，我该怎样取消自动收费项目...

有些应用和服务会在用户订阅后提供内容访问权限。与购买单个项目(例如宝石和金币等游戏币)不同&#xff0c;在您选择结束订阅之前&#xff0c;订阅会自动续订。自动续订的订阅包括&#xff1a;Apple Music 订阅Apple 新闻、报纸和杂志订阅内容或服务的 App 内订阅(HBO NOW、Spo…
阅读更多...
7-4 N皇后 (28 分)(思路+详解)

7-4 N皇后 (28 分)(思路+详解)

一&#xff1a;题目 Come 宝&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01; 在N*N的方格棋盘放置了N个皇后&#xff0c;使得它们不相互攻击&#xff08;即任意2个皇后不…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023