点击上方蓝字关注“汪宇杰博客”
识别一段文字的语言有多种途径,在这个以AI为热点的时代,我们也可以给自己的应用强行加上AI,然后就能加上“智慧”的名字“自主研发成功”后去吹牛逼。今天我带大家来看看如何使用微软智慧云Azure提供的AI认知服务来识别一段文字的语言。
本文的前提条件是你得有一个Azure国际版的订阅,免费试用的也行。
新建Azure认知服务账户
点击"Create a resouce",然后搜索"Translator",选择"Translator Text",这是Azure认知服务的其中一种应用,主要用途是做翻译,但我们也能用来识别文字的语言。
在Name中指定一个名称,可以任意,不影响程序开发。选择一个Pricing tier,这里我选的F0是免费的。Resource group也可以任意指定,不会影响程序开发。
创建完成后,到Keys中复制一个Key,Key1和Key2都可以使用,作用是完全一样的,没有什么讲究。
.NET Core 调用认知服务
Azure认知服务提供了REST接口,所以我们在.NET Core里可以像使用任何REST API一样,构造请求,并解析返回的JSON字符串。
TextLanguageDetector
新建一个名为TextLanguageDetector的类。用来封装调用Azure认知服务的操作。定义属性Host、Route、SubscriptionKey。其中SubscriptionKey就是之前从Azure Portal里复制的那个Key。这个需要让调用者根据自己的Azure账户自由调整,所以留在构造函数参数里。Host和Route是固定的,因此可以写死在程序里。
public class TextLanguageDetector
{
public string Host { get; } = "https://api.cognitive.microsofttranslator.com";
public string Route { get; } = "/detect?api-version=3.0";
public string SubscriptionKey { get; }
public TextLanguageDetector(string subscriptionKey)
{
SubscriptionKey = subscriptionKey;
}
public async Task<DetectResult> DetectAsync(string text)
{
// ...
}
}
DetectAsync方法接受的是需要识别的文本,返回的DetectResult类型也是我们自己定义的,它的定义稍后再看。我们先看看该方法的具体实现:
if (string.IsNullOrWhiteSpace(text))
{
throw new ArgumentNullException(nameof(text));
}
object[] body = { new { Text = text } };
var requestBody = JsonConvert.SerializeObject(body);
using (var client = new HttpClient())
using (var request = new HttpRequestMessage())
{
request.Method = HttpMethod.Post;
request.RequestUri = new Uri(Host + Route);
request.Content = new StringContent(requestBody, Encoding.UTF8, "application/json");
request.Headers.Add("Ocp-Apim-Subscription-Key", SubscriptionKey);
var response = await client.SendAsync(request);
var jsonResponse = await response.Content.ReadAsStringAsync();
return new DetectResult(jsonResponse);
}
非常简明直接。使用POST动作向认知服务的终端地址提交一个构造的Body,内容Text为方法的输入参数,即要识别的文字。API的认证方式使用SubscriptionKey。最终拿到的jsonResponse是识别结果,转为DetectResult类型。
假设识别的是简体中文,并且没有发生异常,那么Azure认知服务的返回Json会是这样:
[
{
"language": "zh-Hans",
"score": 1.0,
"isTranslationSupported": true,
"isTransliterationSupported": true,
"alternatives": [
{
"language": "ja",
"score": 1.0,
"isTranslationSupported": true,
"isTransliterationSupported": true
}
]
}
]
language是语言代码,zh-Hans就是简体中文。score表示AI认为有多大的可能性是该语言,1.0就是非常确信。对于文本“予力地球上每一人、每一组织,成就不凡”的识别结果,出现了两种确信的语言:简体中文和日语。但日语是alternatives的,所以AI基本断定,该语言为简体中文。具体的语言代码和语言名称对应关系可以从这里找到:
var cultures = CultureInfo.GetCultures(CultureTypes.AllCultures);
构造DetectResult
为了让我们程序对调用者更加友好,我们不会只返回Json。我根据Azure认知服务可能返回的两种情况:成功、失败,构造了DetectResult类型:
public class DetectResult
{
public string RawJson { get; set; }
public bool IsSuccess => !RawJson.Contains("\"error\"");
public string ErrorMessage
{
get
{
var obj = JsonConvert.DeserializeObject<dynamic>(RawJson);
return obj.error.message.ToString();
}
}
public DetectResult(string rawJson)
{
RawJson = rawJson;
}
public List<TextCogResult> ToCogResults()
{
return IsSuccess ? JsonConvert.DeserializeObject<List<TextCogResult>>(RawJson) : null;
}
}
RawJson用来存放认知服务返回的Json本身,可以让调用者去做一些更加高级的自定义解析。IsSuccess表示调用是否有成功,如果不成功的话用户可以检查ErrorMessage获得具体错误消息。成功的话可以调用ToCogResults()方法把结果解析到TextCogResult类型里去。这个方法返回的是一个List,因为输入的文本不一定只有一种语言。
public class TextCogResult
{
public string Language { get; set; }
public float Score { get; set; }
//public bool IsTranslationSupported { get; set; }
//public bool IsTransliterationSupported { get; set; }
public Alternative[] Alternatives { get; set; }
}
public class Alternative
{
public string Language { get; set; }
public float Score { get; set; }
//public bool IsTranslationSupported { get; set; }
//public bool IsTransliterationSupported { get; set; }
}
以上的所有代码都可以封装到一个.NET Standard类库里,这样就可以跨.NET Framework, .NET Core或者Xamarin使用了。
为了方便大家,我已经发布了可以直接使用的NuGet包
https://www.nuget.org/packages/AzureAILanguageDetector
应用程序
以.NET Core控制台应用为例,调用TextLanguageDetector并输出语言的本地名称和英语名称:
var texts = new[]
{
"Empower every person and every organization on the planet to achieve more",
"予力地球上每一人、每一组织,成就不凡"
};
var dt = new TextLanguageDetector("你的Key");
foreach (var text in texts)
{
var result = dt.DetectAsync(text).Result;
if (result.IsSuccess)
{
var r = result.ToCogResults();
var cultures = CultureInfo.GetCultures(CultureTypes.AllCultures);
var ctr = cultures.FirstOrDefault(c => c.Name == r.First().Language);
if (ctr != null) Console.WriteLine($"{ctr.EnglishName} - {ctr.NativeName}");
}
else
{
Console.WriteLine(result.ErrorMessage);
}
}
本文示例代码:https://github.com/EdiWang/DotNet-Samples/tree/master/CogSvcLngDetect
参考资料:https://docs.microsoft.com/en-us/azure/cognitive-services/translator/quickstart-csharp-detect