kettle实现爬虫

步骤概览

99afbada89fc1a530aa574a5b6118f41.png

获取请求

4e68abd735b556b897dc8638a2fde63a.png

请求地址

东方财富网股票请求

自定义常量数据

获取HTTP请求之前，必须先定义一个URL常量作为HTTP client的输入

d20d680b0644885118fd3ec8644048c9.png

34e1d49a44a159b51e3be1e694fe1a08.png

HTTP client

5a46b3bf02e8cca94a63c0066dba259f.png

注：此处得到的数据并不是原生的json字符串，自己可以用文本文件输出测试以下。如下图

27d9d554c1200e21ed5d1ef529285fa1.png

JavaScript脚本

此步骤用于清洗不符合格式的json字符串，并以返回变量

以下代码用于获取括号内的字符串

a2c9ee709b4f51fa77b87fbb70933d09.png

json输入

1b707bebb092fd5a21fd2e69012acdbf.png

路径的语法是jsonpath，获取data对象中的klines数组的每个元素

a958750d53ce44ac24dab75b3db78ff1.png

注：现在得到的数据是一行一行以逗号分隔的数据，需要将这一列拆分成多列

55dbbfd847b4a122b482e519510cdce2.png

拆分字段

fb2c19a46abe4e73a0f59ce96ce9b552.png

文本文件输出

665bb0c824598cbe3f10b01f078926a7.png

选一下分隔符

6767bb3e8d60e09c02ec6857cf292134.png

选一下字段

8d767e9a37cead398bebb32bf9c0ef73.png

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/59649.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

QT登陆注册界面练习

QT登陆注册界面练习

一、界面展示 二、主要功能界面代码 #include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QMainWindow(parent), ui(new Ui::Widget) {ui->setupUi(this);this->setFixedSize(540,410); //设置固定尺寸th…
阅读更多...
android Junit4编写自测用例

android Junit4编写自测用例

10多年的android开发经验，一直以来呢，也没有使用过android自带的测试代码编写。说来也惭愧。今天也花了点时间稍微研究了下。还挺简单。接下来就简单的说一下。 新建工程 直接默认新建一个工程，就会有两个目录androidTest和test(unitTest)两…
阅读更多...
CSS中如何改变鼠标指针样式（cursor）？

CSS中如何改变鼠标指针样式（cursor）？

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ CSS中改变鼠标指针样式（cursor）⭐ 示例：⭐ 写在最后 ⭐ 专栏简介 前端入门之旅：探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带你启航前端之旅 欢迎来到前端入门之旅…
阅读更多...
免费OCR图像识别文字识别API

免费OCR图像识别文字识别API

免费OCR图像识别文字识别API 一、OCR图像识别文字识别二、使用步骤1、接口2、请求参数3、请求参数示例4、接口 返回示例 三、温馨提示 一、OCR图像识别文字识别 光学字符识别（Optical Character Recognition, OCR）是指对文本资料的图像文件进行分析识别…
阅读更多...
Visual Studio 2022的MFC框架——AfxWinMain全局对象和InitInstance函数

Visual Studio 2022的MFC框架——AfxWinMain全局对象和InitInstance函数

我是荔园微风，作为一名在IT界整整25年的老兵，今天我们来重新审视一下Visual Studio 2022下开发工具的MFC框架知识。 在看这篇帖子前，请先看我的另一篇帖子《Visual Studio 2022的MFC框架——应用程序向导》。 当程序调用了CWinApp类的构造…
阅读更多...
No message found under code ‘-1‘ for locale ‘zh_CN‘.

No message found under code ‘-1‘ for locale ‘zh_CN‘.

导出中的报错：No message found under code -1 for locale zh_CN. 报错原因：页面中展示的数据和后端excel中的数据不一致导致 具体原因：
阅读更多...
【记录】Truenas scale｜NFSv4数据集的子目录或文件的ACL完全访问权限继承老是继承不了怎么回事

【记录】Truenas scale｜NFSv4数据集的子目录或文件的ACL完全访问权限继承老是继承不了怎么回事

我遇到了数据集下新建文件夹或文件，新建的文件夹或文件没有和数据集的ACL设置相符合的情况。其根本原因是NFSv4的完全访问权限要想继承的话，它的访问设置权限要设置“用户”和“组”的，就是，一定要选择中文的那个设置。纯owner和g…
阅读更多...
FairyGUI编辑器的弹窗操作【插件】

FairyGUI编辑器的弹窗操作【插件】

之前在FairyGUI编辑器菜单扩展中，我使用了App.Alert("复制失败")来提示操作是否成功。这篇则会说一下我们可以使用的弹窗提示，以及做到类似资源发布成功时的“发布成功”飘窗。 打开APP的API脚本，可以看到有很多公开方法&#xff…
阅读更多...
数字化技术无限延伸，VR全景点亮智慧生活

数字化技术无限延伸，VR全景点亮智慧生活

随着互联网的发展，我们无时无刻不再享受着互联网给我们带来的便利，数字化生活正在无限延伸，各行各业也开始积极布局智能生活。要说智慧生活哪个方面应用的比较多，那应该就是VR全景了，目前VR全景已经被各个行业广泛应用…
阅读更多...
HT for Web (Hightopo) 使用心得（6）- 3D场景环境配置（天空球，雾化，辉光，景深）

HT for Web (Hightopo) 使用心得（6）- 3D场景环境配置（天空球，雾化，辉光，景深）

在前一篇文章《Hightopo 使用心得（5）- 动画的实现》中，我们将一个直升机模型放到了3D场景中。同时，还利用动画实现了让该直升机围绕山体巡逻。在这篇文章中，我们将对上一篇的场景进行一些环境上的丰富与美化。让场景更…
阅读更多...
【C语言基础】变量类型，Static关键字的使用

【C语言基础】变量类型，Static关键字的使用

📢：如果你也对机器人、人工智能感兴趣，看来我们志同道合✨ 📢：不妨浏览一下我的博客主页【https://blog.csdn.net/weixin_51244852】 📢：文章若有幸对你有帮助，可点赞 👍…
阅读更多...
Leetcode 易错题整理（一）5. 7. 11. 15. 33. 34

Leetcode 易错题整理（一）5. 7. 11. 15. 33. 34

5. 最长回文子串 给你一个字符串 s，找到 s 中最长的回文子串。 如果字符串的反序与原始字符串相同，则该字符串称为回文字符串。 示例 1： 输入：s "babad" 输出："bab" 解释："aba&q…
阅读更多...
几个nlp的小任务（生成任务(摘要生成)）

几个nlp的小任务（生成任务(摘要生成)）

几个nlp的小任务生成任务——摘要生成 安装库选择模型加载数据集展示数据集数据预处理 tokenizer注意特殊的 token处理组成预处理函数调用map，对数据集进行预处理微调模型，设置参数设置数据收集器，将处理好的数据喂给模型封装测评方法将参数传给 trainer，开始训练安装库 选…
阅读更多...
vue uniapp 同意验证码滑块验证

vue uniapp 同意验证码滑块验证

前言 &#xff08;vue-puzzle-vcode&#xff09; 发送验证码以及登录的时候会做验证&#xff0c;防止机刷等 效果图 一、安装依赖 npm install vue-puzzle-vcode --save二、使用步骤 1.html使用 <Vcode :show"isShow" success"onSuccess"/>2.j…
阅读更多...
C++day7

C++day7

1. #include <iostream> #include <vector> #include <fstream> using namespace std; class Stu { public:string name;int id;int age;Stu(){}Stu(string n,int i,int a):name(n),id(i),age(a){}void show(){cout << "姓名&#xff1a; "…
阅读更多...
Jmeter 如何才能做好接口测试？

Jmeter 如何才能做好接口测试？

现在对测试人员的要求越来越高&#xff0c;不仅仅要做好功能测试&#xff0c;对接口测试的需求也越来越多&#xff01; 所以也越来越多的同学问&#xff0c;怎样才能做好接口测试&#xff1f; 要真正的做好接口测试&#xff0c;并且弄懂如何测试接口&#xff0c;需要从如下几…
阅读更多...
Vue2项目练手——通用后台管理项目第一节

Vue2项目练手——通用后台管理项目第一节

Vue2项目练手——通用后台管理项目 知识补充yarn和npm区别npm的缺点&#xff1a;yarn的优点 npm查看镜像和设置镜像 项目介绍项目的技术栈 项目搭建文件目录 创建路由&#xff0c;引入element-uirouter/index.jsmain.jspages/Users.vuepages/Main.vuepages/Home.vuepages/Login…
阅读更多...
启迪未来：学乐多光屏P90引领儿童智能学习革命

启迪未来：学乐多光屏P90引领儿童智能学习革命

在当今数字化时代&#xff0c;教育方式正经历着巨大的变革&#xff0c;智能硬件为教育领域带来了前所未有的机遇和挑战。学乐多光屏学习机作为一款创新的教育智能硬件产品&#xff0c;以其独特的特点和优势&#xff0c;引领着学习机领域的发展潮流。 1. 多功能融合&#xff1a;…
阅读更多...
Android 基础知识

Android 基础知识

一、Activity 1、onSaveInstanceState(),onRestoreInstanceState的调用时机 onSaveInstanceState 调用时机 从最近应用中选择运行其他程序时 但用户按下Home键时 屏幕方向切换时 按下电源案件时 从当前activity启动一个新的activity时 onRestorInstanceState调用时机 只…
阅读更多...
【线程同步】AQS抽象排队同步器(AbstractQueuedSynchronizer)

【线程同步】AQS抽象排队同步器(AbstractQueuedSynchronizer)

AQS(AbstractQueuedSynchronizer)抽象排队同步器 AbstractQueuedSynchronizer AQS就是AbstractQueuedSynchronizer类 AQS其实就是JUC包下的一个基类&#xff0c;JUC下的很多内容都是基于AQS实现了部分功能&#xff0c;比如ReentrantLock&#xff0c;ThreadPoolExecutor&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023