Ownips+Coze海外社媒数据分析实战指南

目录

  • 一、引言
  • 二、ISP代理简介
  • 三、应用实践——基于Ownips和coze的社媒智能分析助手
    • 3.1、Twitter趋势数据采集
      • 3.1.1、Twitter趋势数据接口分析
      • 3.1.2、Ownips原生住宅ISP选取与配置
      • 3.1.3、数据采集
    • 3.2、基于Ownips和Coze的社媒智能助手
      • 3.2.1、Ownips数据采集插件集成
      • 3.2.2、创建Twitter Bot智能体
      • 3.2.3、Twitter 趋势分析效果
  • 四、最后

一、引言

在当今数字化浪潮中，社交媒体已深深融入人们的日常生活，并为企业、研究机构及个体研究者提供了宝贵的数据资源。从Twitter、Facebook、Instagram、LinkedIn等多元化平台高效采集数据，并进行深入分析，我们能够洞察用户行为、市场动向、公众情感等关键信息。这些信息对于市场分析、社会研究、品牌监控及其他各种分析工作至关重要。

本文旨在通过案例，探讨在社交媒体数据采集与分析的实战方法，为研究和工作提供坚实的数据支撑。

二、ISP代理简介

在这里插入图片描述
在采集社交媒体数据之前，我们首先要解决一个核心问题：社交媒体平台对IP的属性做判断，导致无法高效采集数据。一方面，社交媒体平台在推送时会确保所推送的内容与当地的文化和用户偏好相符合，另一方面，社交媒体平台会检测和阻止异常流量，一旦单次访问次数过多，便可能触发强制验证。

这时，ISP代理的引入就显得尤为重要。ISP代理首先能够模拟地区，有效保护在线隐私，减少被追踪和识别。其次，它能够确保用户顺畅地访问所需内容，提升数据获取的效率和便捷性。此外，ISP代理还提供了额外的安全层，能够过滤钓鱼网站和陷阱类的内容，有效防止恶意攻击和数据泄露的风险。在企业环境中，其还能够显著加快网页访问速度，降低带宽使用，同时通过负载均衡技术提升网络性能和稳定性。
在这里插入图片描述
Ownips就是这样一家专注于提供高质量静态IP代理服务的公司，其为全球用户提供独享原生静态ISP，具有高稳定性、高安全性，资源覆盖全球100+国家地区，可谓是全力满足伙伴们在跨境电商、社交营销等场景中的需求。

值得一提的是，Ownips专做高质量静态代理，根据业务场景选择不同等级的静态IP，使用更加灵活。Ownips通过提供纯净、稳定的静态IP资源，并结合其灵活的配置选项和专业的技术支持，为用户提供了代理体验，满足了不同业务场景下的需求。

三、应用实践——基于Ownips和coze的社媒智能分析助手

3.1、Twitter趋势数据采集

3.1.1、Twitter趋势数据接口分析

打开推特网页我们可以发现，整个趋势榜是一个div盒子。请添加图片描述
每一个项目都是一个子div，包含在主div下。而文字部分包含在其中的一个span下。于是可以得到结构如下：
在这里插入图片描述
其中，<div class="css-1750izr" aria-label="时间线：探索"> 这个

容器包含了所有的趋势数据。每个趋势项由类似于 <div class="css-1750izr"> ... <span>趋势内容 </span> ... </div> 的结构组成。例如， <span>Celtics</span> 表示一个趋势项，内容为“Celtics”。依据结构可以写出xpath如下： python //div[@aria-label="时间线：探索"]/div/div//div/div/div/div/div[2]/span

测试一下，可以发现确实选出了所有的项目，后期只要提取其中的文字即可。
在这里插入图片描述

3.1.2、Ownips原生住宅ISP选取与配置

访问Ownips 网站，打开住宅ISP代理页面，选择原生住宅ISP，即可开始添加需要地区的IP，选好以后点击购买即可。
在这里插入图片描述
下单完成后即可在个人中心看到之前选购的IP的状态，也可以进行管理和续费。
在这里插入图片描述
点击获取代理，即可使用刚才购买的IP，这里支持两种使用方式，一种是通过API自动获取，一种是通过设置账号定向访问。这里我们先选择API方式。选定国家和地区，点击生成链接即可在右侧得到登录链接。接下来我们尝试获取代理。点击账户认证获取，选择国家和地区，之后要选择认证账户，这里我们先去创建一个。
在这里插入图片描述
在账密认证中选择认证账户管理，选择添加。设置好账号密码即可。
在这里插入图片描述
回到账户获取代理中，选择刚才创建的账号，即可使用。
在这里插入图片描述

3.1.3、数据采集

这里我们采用python的request库获取网页，并通过xpath解析页面数据，最后保存为txt文件。

首先，导入必要的模块，包括requests用于发送HTTP请求，BeautifulSoup用于解析HTML，_thread用于多线程处理，和time用于时间延迟。之后需要设置模拟浏览器的请求头和目标URL。

import requests as rq
from bs4 import BeautifulSoup
import _thread
import timeheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0",}
api = 'https://api-proxy.ownips.com/getIsp?num=1&type=1&lb=1&sb=0&flow=1®ions=tw&attribute=native_isp'
url = 'https://x.com/explore/tabs/keyword'

procPage函数使用BeautifulSoup解析HTML内容，其中，首先通过BeautifulSoup(page, 'html.parser')来创建一个soup对象，这个对象会解析传入的HTML页面page，然后，使用xpath方法来定位具有特定aria-label属性的子元素。

def procPage(page):soup = BeautifulSoup(page, 'html.parser')divs = soup.xpath('//div[@aria-label="时间线：探索"]/div/div')r = []for i in range(2, len(divs)):r.append(divs[i].xpath('//div/div/div/div/div[2]/span//text()'))print("解析完毕")return r

testUrl函数定义了一个名为 proxy 的字典，用于设置代理服务器信息，通过代理发送GET请求到目标URL，这个请求包含了之前定义的 headers 字典，用于模拟浏览器发送请求，以避免被目标网站拒绝。最后，函数调用 procPage 函数来解析网页内容。它将 res.content（即响应内容的二进制数据）作为参数传递给 procPage ，并将结果写入一个文件。此处隐去ip消息。

def testUrl():proxy = {'http': 'http://yyyyyyy:yyy3214@38.182.xxx.xxx:2333','https': 'https://yyyyyyy:yyy3214@38.182.xxx.xxx:2333',}try:res = rq.get(url=url, headers=headers, proxies=proxy)print("获取成功，正在解析")d = procPage(res.content)with open('trend.txt', 'w', encoding='utf-8') as f:f.write(str(d))except Exception as e:print("访问失败", e)

主线程启动10个并发线程，每个线程调用testUrl，并在每个线程启动后延迟0.1秒，最终主线程延迟10秒以确保所有子线程完成任务。

for port in range(0, 10):_thread.start_new_thread(testUrl, ())time.sleep(0.1)time.sleep(10)

运行一下，得到结果如下：
在这里插入图片描述
完整代码如下：

import requests as rq
from bs4 import BeautifulSoup
import _thread
import timeheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0",}
api = 'https://api-proxy.ownips.com/getIsp?num=1&type=1&lb=1&sb=0&flow=1®ions=tw&attribute=native_isp'
url = 'https://x.com/explore/tabs/keyword'def procPage(page):soup = BeautifulSoup(page, 'html.parser')divs = soup.xpath('//div[@aria-label="时间线：探索"]/div/div')r = []for i in range(2, len(divs)):r.append(divs[i].xpath('//div/div/div/div/div[2]/span//text()'))print("解析完毕")return rdef testUrl():proxy = {'http': 'http://yyyyyyy:yyy3214@38.182.xxx.xxx:2333','https': 'https://yyyyyyy:yyy3214@38.182.xxx.xxx:2333',}try:res = rq.get(url=url, headers=headers, proxies=proxy)print("获取成功，正在解析")d = procPage(res.content)with open('trend.txt', 'w', encoding='utf-8') as f:f.write(str(d))except Exception as e:print("访问失败", e)for port in range(0, 10):_thread.start_new_thread(testUrl, ())time.sleep(0.1)time.sleep(10)

除了趋势数据，将url 替换后，还可以采集以下数据：

  • 查询tweet详细数据：https://twitter.com/i/api/graphql/4tzuTRu5-fpJTS7bDF6Nlg/TweetDetail?variables=
  • 查询用户screenName：https://twitter.com/i/api/graphql/cYsDlVss-qimNYmNlb6inw/UserByScreenName?variables=
  • 查询用户关注者：https://twitter.com/i/api/graphql/5jYTqZAy8gQiTPcAuNNXPg/Following?variables=
  • 查询用户追随者：https://twitter.com/i/api/graph

3.2、基于Ownips和Coze的社媒智能助手

3.2.1、Ownips数据采集插件集成

设计好数据采集流程后，我们可以登录https://www.coze.com/home，进入coze官网，创建插件：
请添加图片描述

插件就是一个支持调用的服务端接口，可以将自己的 API 通过参数配置的方式快速创建一个插件，然后集成到应用中使用。这里在创建插件的基本信息窗口中，使用在Coze IDE中直接编程，然后IDE的develop runtime改为Python3。
在这里插入图片描述
然后为插件创建Tool工具，并将以上已经写好的数据采集脚本放到Tool的核心代码区中并点击发布，从而构建插件的核心功能，插件通过合理使用Ownips 的ISP代理，可以更加实时高效和安全地采集Twitter社交媒体数据，为市场分析、学术研究、品牌监测等提供强有力的支持。
请添加图片描述

3.2.2、创建Twitter Bot智能体

创建好插件后，接下来创建Twitter Bot智能体，回到coze主页，点击Create bot创建智能体，然后选择在Personal工作区，使用AI生成图标，然后点击Confirm确认创建。
在这里插入图片描述
进入Bot操作界面后，首先在左侧为Twitter Bot智能体书写提示词，然后将刚刚创建好的插件配置上去，也可以添加一些工作流、图像流、触发器、开场白、Markdown 编辑器、用户问题建议、快捷指令等扩展功能。
在这里插入图片描述
以下是可以参考的提示词：

# 角色
你是一位社交媒体智能助手，擅长分析Twitter等社交媒体平台的趋势、热点和关键词，帮助用户洞悉社交媒体上的流行动态，并做出相应反应。## 技能
### 技能1：社交媒体分析
- 连接到Twitter等社交媒体平台的API，实时监测社交平台的主要趋势。### 技能2：数据分析
- 对采集的数据进行分析以识别热点和关键词。### 技能3：模式识别
- 识别并追踪在推特上的热门话题和流行模式。### 技能4：趋势预测
- 根据数据分析模型，预测未来可能出现的热点和趋势。## 条件
- 在进行社交媒体分析的过程中，全程遵守社交媒体平台的使用条款和法律规定，保护用户隐私权。 
- 提供用户界面，方便用户访问和操作。
- 用户可以自定义通知，当相关趋势出现时推送通知。你的目标是为用户节省时间，并提供效率高的信息流。适用于品牌营销、新闻媒体、市场研究等领域。你可以在启动智能助手之前，设置和配置连接到社交媒体平台的API，输入初始化数据，设定分析参数和关键词列表。并随后开启实时监测模式，获取首份趋势数据分析报告。

3.2.3、Twitter 趋势分析效果

创建好成功后，就可以开始使用了，这里可以针对Twitter采集的数据进行分析以识别热点和关键词，无论是市场趋势的预测，还是用户行为的洞察，coze都能为用户提供精准、及时的分析报告，效果如下：
在这里插入图片描述
借助Ownips IP代理的强大功能，用户们得以轻松访问并获取来自全球各地的全面且真实的数据；而coze的智能分析功能则能够帮助用户从这些数据中提炼出有价值的信息。Ownips与Coze智能分析功能的组合，为用户们提供了一个强大且全面的数据分析工具。无论是市场研究、舆情监测还是商业决策，这一组合都能够为用户提供准确、及时的数据支持，帮助他们更好地把握机遇，实现更大的价值。

四、最后

经过实践，可以发现，Ownips 静态ISP代理具备模拟不同地区用户的能力，这一功能对于跨地区趋势分析尤为实用。借助此功能，可以对比不同地区的Twitter趋势和热点话题，进而深入了解各地用户的兴趣偏好和社交习惯。这不仅为用户提供了访问Twitter内容的便捷途径，更重要的是，它协助用户更深刻地洞察Twitter上的社交动态，从而发现潜在的商业机遇或社会热点。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/18643.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Unity入门】认识Unity编辑器

【Unity入门】认识Unity编辑器

Unity 是一个广泛应用于游戏开发的强大引擎&#xff0c;从 1.0 版本开始到现在&#xff0c;其编辑器的基本框架一直保持稳定。其基于组件架构的设计&#xff0c;使得界面使用起来直观且高效。为了更好地理解 Unity 的界面&#xff0c;我们可以将其比喻为搭建一个舞台。以下是对…
阅读更多...
【AI+chat】推荐一款基于大模型的智能对话机器人，支持微信公众号、企业微信应用、飞书、钉钉接入

【AI+chat】推荐一款基于大模型的智能对话机器人，支持微信公众号、企业微信应用、飞书、钉钉接入

之前写了一篇文章&#xff0c; coze配置 kimichat集成到微信公众号聊天 【AIchat】手把手配置kimichat集成到微信公众号中对话聊天 。 有同学私信我有没有开源项目&#xff0c; 这里推荐一款chatgpt-on-wechat。 官方git地址&#xff1a;https://github.com/zhayujie/ch…
阅读更多...
Yann LeCun 和 Elon Musk 就 AI 监管激烈交锋

Yann LeCun 和 Elon Musk 就 AI 监管激烈交锋

&#x1f989; AI新闻 &#x1f680; Yann LeCun 和 Elon Musk 就 AI 监管激烈交锋 摘要&#xff1a;昨天&#xff0c;Yann LeCun 和Elon Musk 在社交媒体就人工智能的安全性和监管问题展开激烈辩论。LeCun 认为目前对 AI 的担忧和监管为时过早&#xff0c;主张开放和共享。而…
阅读更多...
Ps：消失点滤镜 - 透视平面和网格

Ps：消失点滤镜 - 透视平面和网格

Ps菜单&#xff1a;滤镜/消失点 Filter/Vanishing Point 快捷键&#xff1a;Ctrl Alt V “消失点”滤镜中的透视平面 Plane和网格 Grid用于在编辑图像时保持正确的透视效果。 只有定义了与图像透视对齐的矩形平面&#xff0c;才能在消失点中进行编辑。平面的精确度确定了能否…
阅读更多...
vue数字翻盘，翻转效果

vue数字翻盘，翻转效果

数字翻转的效果 实现数字翻转的效果上面为出来的样子 下面为代码&#xff0c;使用的时候直接引入&#xff0c;还有就是把图片的路径自己换成自己或者先用颜色替代&#xff0c;传入num和numlength即可 <template><div v-for"(item, index) in processedNums&quo…
阅读更多...
MOS管开关电路简单笔记

MOS管开关电路简单笔记

没错&#xff0c;这一篇还是备忘录&#xff0c;复杂的东西一律不讨论。主要讨论增强型的PMOS与NMOS。 PMOS 首先上场的是PMOS,它的导通条件&#xff1a;Vg-Vs<0且|Vg-Vs>Vgsth|&#xff0c;PMOS的电流流向是S->D,D端接负载&#xff0c;S端接受控电源。MOS管一般无法…
阅读更多...
Java Web集成开发环境Eclipse的安装及web项目创建

Java Web集成开发环境Eclipse的安装及web项目创建

第一步&#xff1a;下载安装JDK http://t.csdnimg.cn/RzTBXhttp://t.csdnimg.cn/RzTBX 第二步&#xff1a;下载安装Tomcat Tomcat下载安装以及配置_tomcat下载配置-CSDN博客文章浏览阅读2.5k次&#xff0c;点赞2次&#xff0c;收藏13次。Tomcat下载安装及其配置_tomcat下载配…
阅读更多...
【云原生】kubernetes中的认证、权限设置--RBAC授权原理分析与应用实战

【云原生】kubernetes中的认证、权限设置--RBAC授权原理分析与应用实战

✨✨ 欢迎大家来到景天科技苑✨✨ &#x1f388;&#x1f388; 养成好习惯&#xff0c;先赞后看哦~&#x1f388;&#x1f388; &#x1f3c6; 作者简介&#xff1a;景天科技苑 &#x1f3c6;《头衔》&#xff1a;大厂架构师&#xff0c;华为云开发者社区专家博主&#xff0c;…
阅读更多...
【云原生 | 59】Docker中通过docker-compose部署ELK

【云原生 | 59】Docker中通过docker-compose部署ELK

目录 1、组件介绍 2 、项目环境 2.1 各个环境版本 2.2 Docker-Compose变量配置 2.3 Docker-Compose服务配置 3、在Services中声明了四个服务 3.1 ElasticSearch服务 3.2 Logstash服务 3.3 Kibana服务 3.4 Filebeat服务 4、使用方法 4.1 方法一 4.2 方法二 5、启动…
阅读更多...
MySQL8报错Public Key Retrieval is not allowedz 怎么解决？

MySQL8报错Public Key Retrieval is not allowedz 怎么解决？

问题描述 当我们使用数据库管理工具连接mysql8的时候&#xff0c;可能遇到报错&#xff1a; Public Key Retrieval is not allowed 解决办法 1、在连接属性中配置allowPublicKeyRetrieval设置为true 2、在连接URL中加上配置allowPublicKeyRetrieval为true
阅读更多...
margin-left: auto；使元素靠右

margin-left: auto；使元素靠右

摘要&#xff1a; 今天写样式遇到一个东西&#xff0c;就是需要表单居右显示的&#xff0c;但是作用了弹性布局&#xff0c;其他的都不行的&#xff0c;一开始使用了浮动&#xff0c;但是使用了浮动后盒子就不继承父盒子的宽度了&#xff0c;移动端还行&#xff0c;自动回到100…
阅读更多...
被追着问UUID和自增ID做主键哪个好，为什么？

被追着问UUID和自增ID做主键哪个好，为什么？

之前无意间看到群友讨论到用什么做主键比较好 其实 UUID 和自增主键 ID 是常用于数据库主键的两种方式&#xff0c;各自具有独特的优缺点。 UUID UUID 是一个由 128 位组成的唯一标识符&#xff0c;通常以字符串形式表示。它可以通过不同的算法生成&#xff0c;例如基于时间…
阅读更多...
postgressql——Tuple学习（2）

postgressql——Tuple学习（2）

Tuple含义 作用 PG并没有像Oracle那样的undo来存放旧数据&#xff0c;而且PG没有真正意义上的delete&#xff0c;而是将旧版本直接存放于relation文件中&#xff0c;也就是成为了dead tuple。我们可以理解成“过期的数据”含义 tuple就相当于一个存储数据的小容器&#xff0c;…
阅读更多...
【机器学习】解锁AI密码：神经网络算法详解与前沿探索

【机器学习】解锁AI密码：神经网络算法详解与前沿探索

&#x1f440;传送门&#x1f440; &#x1f50d;引言&#x1f340;神经网络的基本原理&#x1f680;神经网络的结构&#x1f4d5;神经网络的训练过程&#x1f686;神经网络的应用实例&#x1f496;未来发展趋势&#x1f496;结语 &#x1f50d;引言 随着人工智能技术的飞速发…
阅读更多...
视频集中存储LntonCVS视频监控汇聚平台智慧园区应用方案

视频集中存储LntonCVS视频监控汇聚平台智慧园区应用方案

智慧园区&#xff0c;作为现代化城市发展的重要组成部分&#xff0c;承载着产业升级的使命&#xff0c;是智慧城市建设的重要体现。在当前产业园区竞争日益激烈的情况下&#xff0c;越来越多的用户关注如何将项目打造成完善的智慧园区。 在智慧园区的建设过程中&#xff0c;各类…
阅读更多...
【Linux】使用 s3fs 挂载 MinIO 桶

【Linux】使用 s3fs 挂载 MinIO 桶

s3fs&#xff08;S3 File System&#xff09;是一个基于FUSE&#xff08;Filesystem in Userspace&#xff09;的用户空间文件系统&#xff0c;可以将Amazon S3存储桶挂载到本地文件系统。通过s3fs&#xff0c;我们可以像操作本地文件一样&#xff0c;对S3存储桶中的数据进行读…
阅读更多...
【CALayer-CALayer的基本属性 Objective-C语言】

【CALayer-CALayer的基本属性 Objective-C语言】

一、接下来，我们来说这个Layer啊， 1.首先，Layer能接触到的，就是我们之前说截图啊，就是我们self.view里面，有一个layer属性， [self.view.layer renderInContext：（CGContextRef t）]； 那个里面，有一个layer属性，然后呢，是CALayer类型的， 接下来，我们就来学习一…
阅读更多...
Vim安装与配置教程（解决软件包Vim没有安装可候选）

Vim安装与配置教程（解决软件包Vim没有安装可候选）

一、Vim检测是否安装 1-输入vi查看是否安装&#xff1b; 2-按Tab键&#xff0c;显示以下字符为未安装&#xff1b; 3-显示以下字符为已安装&#xff08;可以看到有Vim&#xff09; 二、Vim安装过程 1. 打开终端&#xff0c;输入 sudo apt install vim; 2. 输入Y/y&#xff…
阅读更多...
来聊聊Redis简单动态字符串SDS

来聊聊Redis简单动态字符串SDS

写在文章开头 我们都知道redis基于单线程实现的一个高性能内存数据库，所以了解其底层设计，会让我们具备一个从微观的视角极致压榨redis性能的能力，这其中对于数据结构的设计也是非常巧妙，所以关于redis源码解析的系列将直接从最基本的字符串的设计说起。 Hi，我是 sharkCh…
阅读更多...
母婴商城购物网站，基于 SpringBoot+Vue+MySQL 开发的前后端分离的母婴商城购物网站设计实现

母婴商城购物网站，基于 SpringBoot+Vue+MySQL 开发的前后端分离的母婴商城购物网站设计实现

目录 一. 前言 二. 功能模块 2.1. 前台功能 2.2. 用户信息管理 2.3. 商品分类管理 2.4. 商品信息管理 2.5. 商品资讯管理 三. 部分代码实现 四. 源码下载 一. 前言 现代经济快节奏发展以及不断完善升级的信息化技术&#xff0c;让传统数据信息的管理升级为软件存储&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023