【用户画像】用户偏好购物模型BP

一、前言

用户购物偏好模型BP（Buyer Preferences Model）旨在通过对用户购物行为的深入分析和建模，以量化用户对不同商品或服务的偏好程度。该模型对于电商平台、零售商以及其他涉及消费者决策的商业实体来说，具有重要的应用价值。

二、推荐系统

概述

推荐系统是一种利用电子商务网站、社交媒体平台等向用户提供个性化商品、内容或服务建议的系统。它通过分析用户的行为、兴趣、历史记录等信息，帮助用户快速找到符合其需求的物品，提高用户体验和满意度。

推荐引擎，作为网站不可或缺的后台智能核心，高度依赖用户行为日志。这些日志不仅是用户兴趣与偏好的宝贵记录，更是网站实现个性化服务的关键数据。通过深度分析用户的行为日志，推荐引擎能够精确捕捉每个用户的独特需求，并据此为用户呈现定制化的页面和信息。这种个性化的服务不仅极大地提升了用户的浏览体验，还显著提高了网站的点击率和转化率。

三、标签模型开发

评分数据

在这里我们使用用户对每个物品的点击次数来作为评分的标准：

想要获取点击次数，首先我们得获取物品的编号，也就是ItemId，而这个编号我们从url中可以获得：

对于这些url我们使用正则匹配解析，具体代码如下：

import scala.util.matching.Regexobject RegexUrlTest {def main(args: Array[String]): Unit = {// 访问urlval locUrl = "http://www.eshop.com/product/10781.html?ebi=ref-i5-main-1-7"// 正则表达式val regex: Regex = "^.+\\/product\\/(\\d+)\\.html.+$".r// 正则匹配val optionMatch: Option[Regex.Match] = regex.findFirstMatchIn(locUrl)// 获取匹配的值val productId = optionMatch match {case None => println("没有匹配成功"); nullcase Some(matchValue) => matchValue.group(1)}println(s"productId = $productId")}}

运行程序输出结果：

新建标签

新建业务(4级)标签品牌偏好标签，相关字段信息如下:

标签名称:用户购物偏好
标签分类:电商-某商城-行为属性
更新周期:1天
业务含义:用户购物偏好
(商品/品牌偏好)
标签规则!
inType=hbase
zkHosts=bigdata-cdh01.itcast.cn
zkPort=2181
hbaseTable=tbl_tag_logs
family=detai1
selectFieldNames=global_user_id,loc_url

程序入口:
cn.itcast.tags.models.rmd.BpModel
算法名称:
ALS
算法引擎:
tags-model_2.11.jar
模型参数:
--driver-memory 512m --executor-memory 512m --num-executors 1 --
executor-cores 1

在标签管理平台创建【用户推荐】3级标签及【用户购物偏好】4级标签，用于方便管理模型：

模型开发

开发模型标准流程：继承基类 AbstractModel，实现标签计算方法 doTag

具体在：用户画像——使用模板方法（Template Pattern）构建标签抽象类AbstractModel

这篇文章中有讲到。

算法模型开发步骤：

1. 自定义函数，从url中提取出访问商品id

		val url_to_product: UserDefinedFunction = udf((url: String) => {// 正则表达式val regex: Regex = "^.+\\/product\\/(\\d+)\\.html.+$".r// 正则匹配val optionMatch: Option[Regex.Match] = regex.findFirstMatchIn(url)// 获取匹配的值val productId = optionMatch match {case Some(matchValue) => matchValue.group(1)case None => null}// 返回productIdproductId})

2. 从url中计算商品id

	val ratingsDF: Dataset[Row] = businessDF.filter($"loc_url".isNotNull) // 获取loc_url不为null.select($"global_user_id".as("userId"), //url_to_product($"loc_url").as("productId") //).filter($"productId".isNotNull) // 过滤不为空的数据// 统计每个用户点击各个商品的次数.groupBy($"userId", $"productId").count()// 数据类型转换.select($"userId".cast(DoubleType), //$"productId".cast(DoubleType), //$"count".as("rating").cast(DoubleType) //)

3. 使用ALS算法训练模型（评分为隐式评分）

val alsModel: ALSModel = new ALS()// 设置属性.setUserCol("userId").setItemCol("productId").setRatingCol("rating").setPredictionCol("prediction")// 设置算法参数.setImplicitPrefs(true) // 隐式评分.setRank(10) // 矩阵因子，rank秩的值.setMaxIter(10) // 最大迭代次数.setColdStartStrategy("drop") // 冷启动.setAlpha(1.0).setRegParam(1.0)// 应用数据集，训练模型.fit(ratingsDF)ratingsDF.unpersist()

4. 模型评估

		import org.apache.spark.ml.evaluation.RegressionEvaluatorval evaluator: RegressionEvaluator = new RegressionEvaluator().setLabelCol("rating").setPredictionCol("prediction").setMetricName("rmse")val rmse: Double = evaluator.evaluate(alsModel.transform(ratingsDF))//  rmse = 1.0300179222180903println(s"rmse = $rmse")

5.模型推荐

		// 5.1 给用户推荐商品: Top5val rmdItemsDF: DataFrame = alsModel.recommendForAllUsers(5)// 5.2. 给物品推荐用户val rmdUsersDF: DataFrame = alsModel.recommendForAllItems(5)