spark mllib推荐算法使用

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

一、pom.xml

<!-- 机器学习包 --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-mllib_2.10</artifactId><version>${spark.version}</version></dependency>

二、api使用

package cn.hhb.spark.mllibimport org.apache.spark.SparkConf
/***向用户推荐商品*/
import org.apache.spark.mllib.recommendation.{ALS, Rating}
import org.apache.spark.{SparkConf, SparkContext}
// $example off$object RecommendationExample2 {def main(args: Array[String]) {var conf = new SparkConf().setAppName("RecommendationExample2").setMaster("local[4]").set("spark.testing.memory", "2147480000")val sc = new SparkContext(conf)val data = sc.textFile("c://test.data")//变换成rationg(评分)对象val ratings = data.map(_.split(',') match { case Array(user, item, rate) =>Rating(user.toInt, item.toInt, rate.toDouble)})//发生购买行为(评分)数据val realData = ratings.map( t=>(t.user,t.product) )// Build the recommendation model using ALSval rank = 10val numIterations = 10//模型,举证分解模型val model = ALS.train(ratings, rank, numIterations, 0.01)val usersProducts = sc.makeRDD(Array((1,1), (2,1)))//笛卡尔积
//    val allUsers = sc.makeRDD(Array(1,2,3,4))
//    val allProduct = sc.makeRDD(Array(1,2,3,4))
//    val userProducts = allUsers.cartesian(allProduct)
//    val unbuy = userProducts.subtract(realData)
//    unbuy.collect().foreach(println)//预测评分.
//    val predictions = model.predict(unbuy)val predictions = model.predict(usersProducts)predictions.collect().foreach(println)}}

转载于:https://my.oschina.net/hehongbo/blog/1545039

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/393909.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

R语言的自定义函数—字符组合

前两天写了几个函数&#xff0c;对里面收获到的一些东西做一些记录。 函数str_comb&#xff0c;用于输入一个字符串或数值向量&#xff0c;返回由向量中元素组成的不重复的长度小于向量长度的所有组合&#xff0c;结果用矩阵形式输出。 函数使用结果如下&#xff1a; 思路很简单…

oracle group by 两项,Oracle中group by 的扩展函数rollup、cube、grouping sets

Oracle的group by除了基本使用方法以外&#xff0c;还有3种扩展使用方法&#xff0c;各自是rollup、cube、grouping sets。分别介绍例如以下&#xff1a;1、rollup对数据库表emp。如果当中两个字段名为a&#xff0c;b,c。假设使用group by rollup(a,b)&#xff0c;首先会对(a,b…

机器学习基石13-Hazard of Overfitting

注&#xff1a; 文章中所有的图片均来自台湾大学林轩田《机器学习基石》课程。 笔记原作者&#xff1a;红色石头 微信公众号&#xff1a;AI有道 上节课主要介绍了非线性分类模型&#xff0c;通过非线性变换&#xff0c;将非线性模型映射到另一个空间&#xff0c;转换为线性模型…

oracle执行计划的rows不对,Oracle执行计划——all_rows和first_rows(n)优化器模式

Oracle执行计划——all_rows和first_rows(n)优化器模式0. 环境创建[sql]SQL> create usertest identified by test2 default tablespace users3 temporary tablespace temp4 quota unlimited on users;User created.SQL> grant createsession, resource, alter session t…

从 MVC 到前后端分离

转载自&#xff1a;https://my.oschina.net/huangyong/blog/521891 从MVC到前后端分离 1.理解 MVC MVC是一种经典的设计模式&#xff0c;全名为Model-View-Controller&#xff0c;即模型-视图-控制器。其中&#xff0c;模型是用于封装数据的载体&#xff0c;例如&#xff0c;在…

在.NET中使用SMTP发送邮件

这是一篇转载&#xff0c;可能对大家很有用啊&#xff0c;放首页看看是否有参考价值。本文提到的方案仍然不能算是完全解决所有问题&#xff0c;最佳的dotNET下通过SMTP&#xff08;带验证&#xff09;发送邮件的机制是什么&#xff0c;不知道大家有什么好的看法&#xff01; …

LeetCode || Copy List with Random Pointer

A linked list is given such that each node contains an additional random pointer which could point to any node in the list or null. Return a deep copy of the list. 思路1&#xff1a;最傻瓜的方法是首先遍历一次建立next关系的新list。然后第二次遍历处理random关系…

京东布局消费物联网 聚合产业链共建生态

据Gartner发布的数据显示&#xff0c;到2020年&#xff0c;全球联网设备数量将达260亿台&#xff0c;物联网市场规模将达1.9万亿美元。如今&#xff0c;互联网已经从人与人的连接发展到人与物、物与物的连接&#xff0c;物联网时代带来。 5月9日&#xff0c;京东聚合三大运营商…

Shell编程 之 for 循环

1. 语法结构 2. 案例 2.1 批量解压缩 #!/bin/bashcd /root/test/ ls *.tar.gz > ls.log ls *.tgz >> ls.logfor i in $( cat ls.log )dotar -zxf $i &> /dev/nulldone rm -rf ls.log ~ …

8、linux上安装hbase

1.基本信息 版本1.2.4安装机器三台机器账号hadoop源路径/opt/software/hbase-1.2.4-bin.tar.gz目标路径/opt/hbase -> /opt/hbase-1.2.4依赖关系无2.安装过程 1).使用hadoop账号解压到/opt/hadoop目录下并设置软连接&#xff1a; [rootbgs-5p173-wangwenting opt]# su hadoo…

Mountain Number FZU-2109数位dp

Mountain NumberFZU-2109 题目大意&#xff1a;一个大于0的数字x&#xff0c;分写成xa[0]a[1]a[2][3]..a[n]的形式&#xff0c;&#xff08;比如x1234,a[0]1,a[1]2,a[3]3,a[3]4&#xff09;,Mountain Number要满足对于a[2*i1]要大于等于a[2*i]和a[2*i2]&#xff0c;给定范围l,r…

oracle虚拟机字符集,更改虚拟机上的oracle字符集

修改oracle上边的字符集,需要用到DBA数据库管理员的权限,再修改字符集时要注意到修改后的字符集只能范围变大(例如:当前的字符集是GBK,那你修改后可以是UTF-8就是说后者只能比前者大,不能小.因为字符集都是向下兼容的)步骤:第一步:使用DBA身份登录先以绕过日志的方式登录在以然…

mybaits自连接查询

看不太懂&#xff0c;先记录再查&#xff0c;有没有大大解释下 resultmap里的collection设置select字段&#xff0c;看着像递归&#xff0c;没见过这种用法&#xff0c;#{pid}从何而来&#xff1f; 转载于:https://www.cnblogs.com/haon/p/10808739.html

Ajax爬取豆瓣电影目录(Python)

下面的分析相当于一个框架&#xff0c;搞懂之后&#xff0c;对于类似的文字爬取&#xff0c;我们也可以实现。就算不能使用Ajax方法&#xff0c;我们也能够使用相同思想去爬取我们想要的数据。 豆瓣电影排行榜分析 网址&#xff1a;https://movie.douban.com/explore#!typemovi…

正面管教PHP沙龙,正面管教沙龙体会

接触到正面管教这个理念是我们南宁行动派伙伴圈 的圈主西西给大家带来的分享&#xff0c;谢谢西西[爱你]图片发自简书App同时也很感谢亲切温柔&#xff0c;知性优雅的Liliane老师&#xff0c;让我明白表扬和鼓励的区别&#xff0c;非暴力教育……教书育人这个道路上我需要学习的…

20175223 MySQL

目录 完成结果要求 1 &#xff1a;导入world.sql要求 2 &#xff1a;CityWanna.javaCityWanna.java要求 3 &#xff1a;CountryWanna.javaCountryWanna.java要求 4 &#xff1a;LifeWanna.javaLifeWanna.java过程中问题及解决1. XAMPP无法启用 MySQL 程序。目录 完成结果 要求 …

2020运动相机推荐_2020年超有价值入门级微单相机推荐,超高性价比几款入门级微单相机(选购指南)...

学习摄影专业已经3年多啦&#xff0c;自己喜欢拍摄照片&#xff0c;自己还帮助过一些想学习摄影的朋友快速入门&#xff0c;最近发现周围学习摄影的朋友也越来越多了&#xff0c;有一些朋友咨询关于入门微单相机的问题&#xff0c;想让推荐几款不错的入门的微单相机。这篇文章带…

ioslabel阴影,UILabel的内阴影

is it possible to create such a UILabel with inner and outer shadow?i only know shadowColor and shadowOffsetzoomed:thanks!解决方案The answer by dmaclach is only suitable for shapes that can easily be inverted. My solution is a custom view that works with …

Android Coding利器之掌握小技巧,助你Coding更上一层楼~

本文讲的是Android Coding利器之掌握小技巧&#xff0c;助你Coding更上一层楼~&#xff0c;话说前几天在网上浏览到一大牛写的关于Android布局优化的文章&#xff0c;看后感触很深&#xff0c;回过头看看自己写过的代码&#xff0c;发现还是有不少需要改进&#xff0c;今天找不…

linux系统报警怎么办,常见Linux系统故障和解决方法

常见Linux系统故障和解决方法发布时间&#xff1a;2020-06-06 14:48:19来源&#xff1a;亿速云阅读&#xff1a;212作者&#xff1a;Leah栏目&#xff1a;云计算这篇文章给大家分享的是常见的Linux系统故障和解决方法。在使用系统的过程中总会有各种各样的故障&#xff0c;所以…