C#页面抓取信息

复制代码

//根据Url地址得到网页的html源码private string GetWebContent(string Url){string strResult="";try{HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url);//声明一个HttpWebRequest请求request.Timeout = 30000;//设置连接超时时间request.Headers.Set("Pragma", "no-cache");HttpWebResponse response = (HttpWebResponse)request.GetResponse();Stream streamReceive = response.GetResponseStream();Encoding encoding = Encoding.GetEncoding("GB2312");StreamReader streamReader = new StreamReader(streamReceive, encoding);strResult = streamReader.ReadToEnd();}catch{MessageBox.Show("出错");}return strResult;}
为了使用HttpWebRequest和HttpWebResponse,需填名字空间引用using System.Net;以下是程序具体实现过程:
private void button1_Click(object sender, EventArgs e){//要抓取的URL地址string Url = "http://list.mp3.baidu.com/topso/mp3topsong.html?id=1#top2";//得到指定Url的源码string strWebContent = GetWebContent(Url);richTextBox1.Text = strWebContent;//取出和数据有关的那段源码int iBodyStart = strWebContent.IndexOf("<body", 0);int iStart = strWebContent.IndexOf("歌曲TOP500", iBodyStart);int iTableStart = strWebContent.IndexOf("<table", iStart);int iTableEnd = strWebContent.IndexOf("</table>", iTableStart);string strWeb = strWebContent.Substring(iTableStart, iTableEnd - iTableStart + 8);//生成HtmlDocumentWebBrowser webb = new WebBrowser();webb.Navigate("about:blank");HtmlDocument htmldoc = webb.Document.OpenNew(true);htmldoc.Write(strWeb);HtmlElementCollection htmlTR = htmldoc.GetElementsByTagName("TR");foreach (HtmlElement tr in htmlTR){string strID = tr.GetElementsByTagName("TD")[0].InnerText;string strName = SplitName(tr.GetElementsByTagName("TD")[1].InnerText, "MusicName");string strSinger = SplitName(tr.GetElementsByTagName("TD")[1].InnerText, "Singer");strID = strID.Replace(".", "");//插入DataTableAddLine(strID, strName, strSinger,"0");string strID1 = tr.GetElementsByTagName("TD")[2].InnerText;string strName1 = SplitName(tr.GetElementsByTagName("TD")[3].InnerText, "MusicName");string strSinger1 = SplitName(tr.GetElementsByTagName("TD")[3].InnerText, "Singer");//插入DataTablestrID1 = strID1.Replace(".", "");AddLine(strID1, strName1, strSinger1,"0");string strID2 = tr.GetElementsByTagName("TD")[4].InnerText;string strName2 = SplitName(tr.GetElementsByTagName("TD")[5].InnerText, "MusicName");string strSinger2 = SplitName(tr.GetElementsByTagName("TD")[5].InnerText, "Singer");//插入DataTablestrID2 = strID2.Replace(".", "");AddLine(strID2, strName2, strSinger2,"0");}//插入数据库InsertData(dt);dataGridView1.DataSource = dt.DefaultView;
}
复制代码

转载于:https://www.cnblogs.com/IT1517/articles/4731148.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/290636.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C语言之unsigned char和uint8_t

1、问题 今天搞openssl里面的客户端和服务端生成的随机数时候&#xff0c;PC端用的uint8_t数据类型&#xff0c;我用的是unsigned char类型&#xff0c;特么这不日了狗&#xff0c;不一样&#xff0c;后来问了pc端的人&#xff0c;和到网上查了下他们的区别 2、解释 unsigned…

电子商务应用课程知识整理 第五章-搜索引擎优化(SEO)

文章目录一、认识SEOSEO概述SEO相关术语SEO黑帽SEO白帽PV&#xff08;Page View&#xff09;跳出率沙盒效应SPAM快照二、SEO常用技术1. 网页title的优化要点&#xff1a;2. 关键词的选取注意的问题&#xff1a;需要避免的问题&#xff1a;3. 元标签关键词的优化要点&#xff1a…

在 Linux 下使用 RAID(二):使用 mdadm 工具创建软件 RAID 0 (条带化)

RAID 即廉价磁盘冗余阵列&#xff0c;其高可用性和可靠性适用于大规模环境中&#xff0c;相比正常使用&#xff0c;数据更需要被保护。RAID 是一些磁盘的集合&#xff0c;是包含一个阵列的逻辑卷。驱动器可以组合起来成为一个阵列或称为&#xff08;组的&#xff09;集合。 创建…

【Maven实用技巧】03. Maven 编译打包时如何忽略测试用例

跳过测试阶段&#xff1a; mvn package -DskipTests 临时性跳过测试代码的编译&#xff1a; mvn package -Dmaven.test.skiptrue maven.test.skip同时控制maven-compiler-plugin和maven-surefire-plugin两个插件的行为&#xff0c;即跳过编译&#xff0c;又跳过测试。 指定测试…

如何使用windbg查看C#某个线程的栈大小 ?

每一个线程都有一个叫 TEB&#xff08;Thread Environment Block&#xff09; 的线程环境块数据结构&#xff0c;这个结构中有一个叫做 NT_TIB 的结构&#xff0c;它里面有两个字段分别为 StackBase 和 StackLimit&#xff0c;前面叫做栈基址,也就是栈顶&#xff0c;后者叫做 栈…

Android之解决ubuntu没有无线网卡和手机wifi实现adb wifi调试

1、问题 ubuntu没有无线网卡&#xff0c;但是在在wifi1是同一个网段&#xff0c;然后手机需要wifi adb调试 2、解决办法 1、连接上wifi1 2、手机下载“终端模拟器apk”安装在手机上 3、手机连接电脑&#xff0c;然后adb tcpip 5555 4、然后adb push dropbearmulti /sdcard…

struts2批量删除

2019独角兽企业重金招聘Python工程师标准>>> 2012-10-27 12:48 997人阅读 评论(0) 收藏 举报 逻辑代码 [java] view plain copy package com.stu2; import java.util.ArrayList; import java.util.List; import java.sql.*; import com.s…

如何使用jquery刷新当前页面

如何使用jquery刷新当前页面 下面介绍全页面刷新方法&#xff1a;有时候可能会用到 window.location.reload()刷新当前页面. parent.location.reload()刷新父亲对象&#xff08;用于框架&#xff09; opener.location.reload()刷新父窗口对象&#xff08;用于单开窗口&#xff…

电子商务应用课程知识整理 第六章-数据挖掘

文章目录一、概述二、关联分析概念&#xff1a;关联分析步骤&#xff1a;用于寻找频繁项集的算法算法一&#xff1a;蛮力法算法二&#xff1a;Apriopri算法&#xff08;先验算法&#xff09;三、分类与预测k近邻算法&#xff08;kNN&#xff09;四、聚类分析k均值算法&#xff…

C语言之如何输出uint32_t和uint64_t和16进制

1、输出uint32_t uint32_t a 888;printf("a is %ld", a); 2、输出uint64_t uint64_t b 888;printf("b is %lu", b);printf("b is %lld", b); 3、输出16进制 int c 16;printf("c is 0x%08x", c);

《统计会犯错——如何避免数据分析中的统计陷阱》—第2章置信区间的优势

本节书摘来自异步社区《统计会犯错——如何避免数据分析中的统计陷阱》一书中的第2章置信区间的优势&#xff0c;作者【美】Alex Reinhart&#xff08;亚历克斯莱因哈特&#xff09;,更多章节内容可以访问云栖社区“异步社区”公众号查看。 置信区间的优势与考虑试验结果的显著…

.NET Core 返回结果统一封装

本文使用.NET Core Webapi演示&#xff01;一:新建.NetCore webapi项目为了方便开发,简化代码,也为了与前端方便对接,需要对接口服务返回结果进行统一处理。二:定义返回结果结构我们需要定义一个统一返回结果泛型类ApiResultpublic class ApiResult<T>{/// <summary&g…

第40周一

晚上地铁回来的路上&#xff0c;回顾总结下今天&#xff0c;有点莫名的忧伤&#xff0c;感觉现在同事间的协作内耗很大&#xff0c;为什么一个简单的定制&#xff0c;就感觉涉及到多道流程多个不同负责人后就变的很复杂&#xff0c;进而组织的整体效率可想而知。一天大部分时间…

linux之nm命令

1、nm命令介绍 nm命令很好记&#xff0c;当时看到大神在我的电脑面前在open ssl编译的.a文件里面过滤SHA函数&#xff0c;nm你就这样记&#xff0c;nm 尼玛, 哈哈。我们可以通过nm命令查看后缀out文件和后缀a文件里面的函数和部分属性。比如我们过滤SHA函数&#xff0c;命令如下…

matlab练习程序(PCASVD)

clear all;close all;clc;img1imread(Corner.png);img2imread(Corner1.png);img3imread(Corner2.png); img1imresize(img1,[35 90]); %Matlab的svd不支持太大的数据&#xff0c;我把数据变小了.img2imresize(img2,[35 90]);img3imresize(img3,[35 90]); [height width]size(img…

.NET的两种部署模式,了解一下

前言以往部署程序一直是习惯性先安装运行时环境&#xff0c;然后再将发布打包好的程序运行起来&#xff1b;但当多个程序依赖不同版本框架平台时&#xff0c;如果部署在同一台机器上&#xff0c;那就需要在同一台机器上安装多个版本的运行时&#xff0c;总感觉有点不太方便&…

大型数据库课程知识整理

文章目录常见数据库有哪些&#xff1f;SQL和NOSQL区别和优缺点数据库系统可以从那些方面进行优化&#xff1f;1.应用层的优化2.数据库设计与配置优化3.数据库配置优化4.操作系统和硬件优化5.架构优化IOE概念Oracle体系结构物理结构内存结构后台服务进程Oracle扩展 RAC双机热备表…

Linux性能优化2.1 CPU性能统计信息

摘要 性能工具&#xff1a;系统CPU 本章概述了系统级的Linux性能工具。这些工具是你追踪性能问题时的第一道防线。它们能展示整个系统的性能情况和哪些部分表现不好。本章将讨论这些工具可以测量的统计信息&#xff0c;以及如何使用各种工具收集这些统计结果。阅读本章后&#…

Spring + hibernate + JPA 配置

最近对hibernate的JPA实现比较感兴趣&#xff0c;在此记录下配置方法&#xff0c;备查。先上maven依赖包配置&#xff0c;这里使用的是spring3.1.2和hibernate3.6.0<dependencies> <dependency><groupId>org.hibernate</groupId><artifactId…

C语言之sprintf使用总结

1、问题 在open ssl 里面输出16进制的随机数 uint8_t *client NULL;client ssl->s3->client_randomfor (int i 0; i < 32; i){printf("client_random is %02x\n", client[i]);} 但是这样输出都是一个一个的打印&#xff0c;我需要连接在一起的字符串 2…