爬虫实战——麻省理工学院新闻

文章目录

  • 发现宝藏
  • 一、 目标
  • 二、 浅析
  • 三、获取所有模块
  • 四、请求处理模块、版面、文章
    • 1. 分析切换页面的参数传递
    • 2. 获取共有多少页标签并遍历版面
    • 3.解析版面并保存版面信息
    • 4. 解析文章列表和文章
    • 5. 清洗文章
    • 6. 保存文章图片
  • 五、完整代码
  • 六、效果展示

发现宝藏

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。【宝藏入口】。

一、 目标

爬取news.mit.edu的字段,包含标题、内容，作者，发布时间，链接地址，文章快照 (可能需要翻墙才能访问)

二、 浅析

1.全部新闻大致分为4个模块
在这里插入图片描述

2.每个模块的标签列表大致如下

在这里插入图片描述
3.每个标签对应的文章列表大致如下

在这里插入图片描述

4.具体每篇文章对应的结构如下

在这里插入图片描述

三、获取所有模块

其实就四个模块，列举出来就好，然后对每个分别解析爬取每个模块

class MitnewsScraper:def __init__(self, root_url, model_url, img_output_dir):self.root_url = root_urlself.model_url = model_urlself.img_output_dir = img_output_dirself.headers = {'Referer': 'https://news.mit.edu/','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/122.0.0.0 Safari/537.36','Cookie': '替换成你自己的',}...def run():root_url = 'https://news.mit.edu/'model_urls = ['https://news.mit.edu/topic', 'https://news.mit.edu/clp','https://news.mit.edu/department', 'https://news.mit.edu/']output_dir = 'D:\imgs\mit-news'for model_url in model_urls:scraper = MitnewsScraper(root_url, model_url, output_dir)scraper.catalogue_all_pages()

四、请求处理模块、版面、文章

先处理一个模块（TOPICS）

1. 分析切换页面的参数传递

如图可知是get请求,需要传一个参数page

在这里插入图片描述

2. 获取共有多少页标签并遍历版面

实际上是获取所有的page参数，然后进行遍历获取所有的标签

在这里插入图片描述

 # 获取一个模块有多少版面def catalogue_all_pages(self):response = requests.get(self.model_url, headers=self.headers)soup = BeautifulSoup(response.text, 'html.parser')try:match = re.search(r'of (\d+) topics', soup.text)total_catalogues = int(match.group(1))total_pages = math.ceil(total_catalogues / 20)print('topics模块一共有' + match.group(1) + '个版面,' + str(total_pages) + '页数据')for page in range(0, total_pages):self.parse_catalogues(page)print(f"========Finished catalogues page {page + 1}========")except:self.parse_catalogues(0)

3.解析版面并保存版面信息

前三个模块的版面列表

在这里插入图片描述

第四个模块的版面列表

在这里插入图片描述

 # 解析版面列表里的版面def parse_catalogues(self, page):params = {'page': page}response = requests.get(self.model_url, params=params, headers=self.headers)if response.status_code == 200:soup = BeautifulSoup(response.text, 'html.parser')if self.root_url == self.model_url:catalogue_list = soup.find('div','site-browse--recommended-section site-browse--recommended-section--schools')catalogues_list = catalogue_list.find_all('li')else:catalogue_list = soup.find('ul', 'page-vocabulary--views--list')catalogues_list = catalogue_list.find_all('li')for index, catalogue in enumerate(catalogues_list):# 操作时间date = datetime.now()# 版面标题catalogue_title = catalogue.find('a').get_text(strip=True)print('第' + str(index + 1) + '个版面标题为:' + catalogue_title)catalogue_href = catalogue.find('a').get('href')# 版面idcatalogue_id = catalogue_href[1:]catalogue_url = self.root_url + catalogue_hrefprint('第' + str(index + 1) + '个版面地址为:' + catalogue_url)# 根据版面url解析文章列表response = requests.get(catalogue_url, headers=self.headers)soup = BeautifulSoup(response.text, 'html.parser')match = re.search(r'of (\d+)', soup.text)# 查找一个版面有多少篇文章total_cards = int(match.group(1))total_pages = math.ceil(total_cards / 15)print(f'{catalogue_title}版面一共有{total_cards}篇文章,' + f'{total_pages}页数据')for page in range(0, total_pages):self.parse_cards_list(page, catalogue_url, catalogue_id)print(f"========Finished {catalogue_title} 版面 page {page + 1}========")# 连接 MongoDB 数据库服务器client = MongoClient('mongodb://localhost:27017/')# 创建或选择数据库db = client['mit-news']# 创建或选择集合catalogues_collection = db['catalogues']# 插入示例数据到 catalogues 集合catalogue_data = {'id': catalogue_id,'date': date,'title': catalogue_title,'url': catalogue_url,'cardSize': total_cards}catalogues_collection.insert_one(catalogue_data)return Trueelse:raise Exception(f"Failed to fetch page {page}. Status code: {response.status_code}")

4. 解析文章列表和文章

在这里插入图片描述
在这里插入图片描述
寻找冗余部分并删除，例如

在这里插入图片描述

 # 解析文章列表里的文章def parse_cards_list(self, page, url, catalogue_id):params = {'page': page}response = requests.get(url, params=params, headers=self.headers)if response.status_code == 200:soup = BeautifulSoup(response.text, 'html.parser')card_list = soup.find('div', 'page-term--views--list')cards_list = card_list.find_all('div', 'page-term--views--list-item')for index, card in enumerate(cards_list):# 对应的版面idcatalogue_id = catalogue_id# 操作时间date = datetime.now()# 文章标题card_title = card.find('a', 'term-page--news-article--item--title--link').find('span').get_text(strip=True)# 文章简介card_introduction = card.find('p', 'term-page--news-article--item--dek').find('span').get_text(strip=True)# 文章更新时间publish_time = card.find('p', 'term-page--news-article--item--publication-date').find('time').get('datetime')updateTime = datetime.strptime(publish_time, '%Y-%m-%dT%H:%M:%SZ')# 文章地址temp_url = card.find('div', 'term-page--news-article--item--cover-image').find('a').get('href')url = 'https://news.mit.edu' + temp_url# 文章idpattern = r'(\w+(-\w+)*)-(\d+)'match = re.search(pattern, temp_url)card_id = str(match.group(0))card_response = requests.get(url, headers=self.headers)soup = BeautifulSoup(card_response.text, 'html.parser')# 原始htmldom结构html_title = soup.find('div', id='block-mit-page-title')html_content = soup.find('div', id='block-mit-content')# 合并标题和内容html_title.append(html_content)html_cut1 = soup.find('div', 'news-article--topics')html_cut2 = soup.find('div', 'news-article--archives')html_cut3 = soup.find('div', 'news-article--content--side-column')html_cut4 = soup.find('div', 'news-article--press-inquiries')html_cut5 = soup.find_all('div', 'visually-hidden')html_cut6 = soup.find('p', 'news-article--images-gallery--nav--inner')# 移除元素if html_cut1:html_cut1.extract()if html_cut2:html_cut2.extract()if html_cut3:html_cut3.extract()if html_cut4:html_cut4.extract()if html_cut5:for item in html_cut5:item.extract()if html_cut6:html_cut6.extract()# 获取合并后的内容文本html_content = html_title# 文章作者author_list = html_content.find('div', 'news-article--authored-by').find_all('span')author = ''for item in author_list:author = author + item.get_text()# 增加保留html样式的源文本origin_html = html_content.prettify()  # String# 转义网页中的图片标签str_html = self.transcoding_tags(origin_html)# 再包装成temp_soup = BeautifulSoup(str_html, 'html.parser')# 反转译文件中的插图str_html = self.translate_tags(temp_soup.text)# 绑定更新内容content = self.clean_content(str_html)# 下载图片imgs = []img_array = soup.find_all('div', 'news-article--image-item')for item in img_array:img_url = self.root_url + item.find('img').get('data-src')imgs.append(img_url)if len(imgs) != 0:# 下载图片illustrations = self.download_images(imgs, card_id)# 连接 MongoDB 数据库服务器client = MongoClient('mongodb://localhost:27017/')# 创建或选择数据库db = client['mit-news']# 创建或选择集合cards_collection = db['cards']# 插入示例数据到 catalogues 集合card_data = {'id': card_id,'catalogueId': catalogue_id,'type': 'mit-news','date': date,'title': card_title,'author': author,'card_introduction': card_introduction,'updatetime': updateTime,'url': url,'html_content': str(html_content),'content': content,'illustrations': illustrations,}cards_collection.insert_one(card_data)return Trueelse:raise Exception(f"Failed to fetch page {page}. Status code: {response.status_code}")

5. 清洗文章

 # 工具 转义标签def transcoding_tags(self, htmlstr):re_img = re.compile(r'\s*<(img.*?)>\s*', re.M)s = re_img.sub(r'\n @@##\1##@@ \n', htmlstr)  # IMG 转义return s# 工具 转义标签def translate_tags(self, htmlstr):re_img = re.compile(r'@@##(img.*?)##@@', re.M)s = re_img.sub(r'<\1>', htmlstr)  # IMG 转义return s# 清洗文章def clean_content(self, content):if content is not None:content = re.sub(r'\r', r'\n', content)content = re.sub(r'\n{2,}', '', content)content = re.sub(r' {6,}', '', content)content = re.sub(r' {3,}\n', '', content)content = re.sub(r'<img src="../../../image/zxbl.gif"/>', '', content)content = content.replace('<img border="0" src="****处理标记：[Article]时， 字段 [SnapUrl] 在数据源中没有找到! ****"/> ', '')content = content.replace(''' <!--/enpcontent<INPUT type=checkbox value=0 name=titlecheckbox sourceid="<Source>SourcePh " style="display:none">''','') \.replace(' <!--enpcontent', '').replace('<TABLE>', '')content = content.replace('<P>', '').replace('<\P>', '').replace('&nbsp;', ' ')return content

6. 保存文章图片

# 下载图片def download_images(self, img_urls, card_id):# 根据card_id创建一个新的子目录images_dir = os.path.join(self.img_output_dir, card_id)if not os.path.exists(images_dir):os.makedirs(images_dir)downloaded_images = []for index, img_url in enumerate(img_urls):try:response = requests.get(img_url, stream=True, headers=self.headers)if response.status_code == 200:# 从URL中提取图片文件名img_name_with_extension = img_url.split('/')[-1]pattern = r'^[^?]*'match = re.search(pattern, img_name_with_extension)img_name = match.group(0)# 保存图片with open(os.path.join(images_dir, img_name), 'wb') as f:f.write(response.content)downloaded_images.append([img_url, os.path.join(images_dir, img_name)])except requests.exceptions.RequestException as e:print(f'请求图片时发生错误：{e}')except Exception as e:print(f'保存图片时发生错误：{e}')return downloaded_images# 如果文件夹存在则跳过else:print(f'文章id为{card_id}的图片文件夹已经存在')return []

五、完整代码

import os
from datetime import datetime
import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient
import re
import mathclass MitnewsScraper:def __init__(self, root_url, model_url, img_output_dir):self.root_url = root_urlself.model_url = model_urlself.img_output_dir = img_output_dirself.headers = {'Referer': 'https://news.mit.edu/','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/122.0.0.0 Safari/537.36','Cookie': '_fbp=fb.1.1708485200443.423329752; _ga_HWFLFTST95=GS1.2.1708485227.1.0.1708485227.0.0.0; ''_hp2_id.2065608176=%7B%22userId%22%3A%228766180140632296%22%2C%22pageviewId%22%3A''%223284419326231258%22%2C%22sessionId%22%3A%228340313071591018%22%2C%22identity%22%3Anull%2C''%22trackerVersion%22%3A%224.0%22%7D; _ga_RP0185XJY9=GS1.1.1708485227.1.0.1708485301.0.0.0; ''_ga_PW4Z02MCFS=GS1.1.1709002375.3.0.1709002380.0.0.0; ''_ga_03E2REYYWV=GS1.1.1709002375.3.0.1709002380.0.0.0; _gid=GA1.2.2012514268.1709124148; ''_gat_UA-1592615-17=1; _gat_UA-1592615-30=1; ''_ga_342NG5FVLH=GS1.1.1709256315.12.1.1709259230.0.0.0; _ga=GA1.1.1063081174.1708479841; ''_ga_R8TSBG6RMB=GS1.2.1709256316.12.1.1709259230.0.0.0; ''_ga_5BGKP7GP4G=GS1.2.1709256316.12.1.1709259230.0.0.0',}# 获取一个模块有多少版面def catalogue_all_pages(self):response = requests.get(self.model_url, headers=self.headers)soup = BeautifulSoup(response.text, 'html.parser')try:match = re.search(r'of (\d+) topics', soup.text)total_catalogues = int(match.group(1))total_pages = math.ceil(total_catalogues / 20)print('topics模块一共有' + match.group(1) + '个版面,' + str(total_pages) + '页数据')for page in range(0, total_pages):self.parse_catalogues(page)print(f"========Finished catalogues page {page + 1}========")except:self.parse_catalogues(0)# 解析版面列表里的版面def parse_catalogues(self, page):params = {'page': page}response = requests.get(self.model_url, params=params, headers=self.headers)if response.status_code == 200:soup = BeautifulSoup(response.text, 'html.parser')if self.root_url == self.model_url:catalogue_list = soup.find('div','site-browse--recommended-section site-browse--recommended-section--schools')catalogues_list = catalogue_list.find_all('li')else:catalogue_list = soup.find('ul', 'page-vocabulary--views--list')catalogues_list = catalogue_list.find_all('li')for index, catalogue in enumerate(catalogues_list):# 操作时间date = datetime.now()# 版面标题catalogue_title = catalogue.find('a').get_text(strip=True)print('第' + str(index + 1) + '个版面标题为:' + catalogue_title)catalogue_href = catalogue.find('a').get('href')# 版面idcatalogue_id = catalogue_href[1:]catalogue_url = self.root_url + catalogue_hrefprint('第' + str(index + 1) + '个版面地址为:' + catalogue_url)# 根据版面url解析文章列表response = requests.get(catalogue_url, headers=self.headers)soup = BeautifulSoup(response.text, 'html.parser')match = re.search(r'of (\d+)', soup.text)# 查找一个版面有多少篇文章total_cards = int(match.group(1))total_pages = math.ceil(total_cards / 15)print(f'{catalogue_title}版面一共有{total_cards}篇文章,' + f'{total_pages}页数据')for page in range(0, total_pages):self.parse_cards_list(page, catalogue_url, catalogue_id)print(f"========Finished {catalogue_title} 版面 page {page + 1}========")# 连接 MongoDB 数据库服务器client = MongoClient('mongodb://localhost:27017/')# 创建或选择数据库db = client['mit-news']# 创建或选择集合catalogues_collection = db['catalogues']# 插入示例数据到 catalogues 集合catalogue_data = {'id': catalogue_id,'date': date,'title': catalogue_title,'url': catalogue_url,'cardSize': total_cards}catalogues_collection.insert_one(catalogue_data)return Trueelse:raise Exception(f"Failed to fetch page {page}. Status code: {response.status_code}")# 解析文章列表里的文章def parse_cards_list(self, page, url, catalogue_id):params = {'page': page}response = requests.get(url, params=params, headers=self.headers)if response.status_code == 200:soup = BeautifulSoup(response.text, 'html.parser')card_list = soup.find('div', 'page-term--views--list')cards_list = card_list.find_all('div', 'page-term--views--list-item')for index, card in enumerate(cards_list):# 对应的版面idcatalogue_id = catalogue_id# 操作时间date = datetime.now()# 文章标题card_title = card.find('a', 'term-page--news-article--item--title--link').find('span').get_text(strip=True)# 文章简介card_introduction = card.find('p', 'term-page--news-article--item--dek').find('span').get_text(strip=True)# 文章更新时间publish_time = card.find('p', 'term-page--news-article--item--publication-date').find('time').get('datetime')updateTime = datetime.strptime(publish_time, '%Y-%m-%dT%H:%M:%SZ')# 文章地址temp_url = card.find('div', 'term-page--news-article--item--cover-image').find('a').get('href')url = 'https://news.mit.edu' + temp_url# 文章idpattern = r'(\w+(-\w+)*)-(\d+)'match = re.search(pattern, temp_url)card_id = str(match.group(0))card_response = requests.get(url, headers=self.headers)soup = BeautifulSoup(card_response.text, 'html.parser')# 原始htmldom结构html_title = soup.find('div', id='block-mit-page-title')html_content = soup.find('div', id='block-mit-content')# 合并标题和内容html_title.append(html_content)html_cut1 = soup.find('div', 'news-article--topics')html_cut2 = soup.find('div', 'news-article--archives')html_cut3 = soup.find('div', 'news-article--content--side-column')html_cut4 = soup.find('div', 'news-article--press-inquiries')html_cut5 = soup.find_all('div', 'visually-hidden')html_cut6 = soup.find('p', 'news-article--images-gallery--nav--inner')# 移除元素if html_cut1:html_cut1.extract()if html_cut2:html_cut2.extract()if html_cut3:html_cut3.extract()if html_cut4:html_cut4.extract()if html_cut5:for item in html_cut5:item.extract()if html_cut6:html_cut6.extract()# 获取合并后的内容文本html_content = html_title# 文章作者author_list = html_content.find('div', 'news-article--authored-by').find_all('span')author = ''for item in author_list:author = author + item.get_text()# 增加保留html样式的源文本origin_html = html_content.prettify()  # String# 转义网页中的图片标签str_html = self.transcoding_tags(origin_html)# 再包装成temp_soup = BeautifulSoup(str_html, 'html.parser')# 反转译文件中的插图str_html = self.translate_tags(temp_soup.text)# 绑定更新内容content = self.clean_content(str_html)# 下载图片imgs = []img_array = soup.find_all('div', 'news-article--image-item')for item in img_array:img_url = self.root_url + item.find('img').get('data-src')imgs.append(img_url)if len(imgs) != 0:# 下载图片illustrations = self.download_images(imgs, card_id)# 连接 MongoDB 数据库服务器client = MongoClient('mongodb://localhost:27017/')# 创建或选择数据库db = client['mit-news']# 创建或选择集合cards_collection = db['cards']# 插入示例数据到 catalogues 集合card_data = {'id': card_id,'catalogueId': catalogue_id,'type': 'mit-news','date': date,'title': card_title,'author': author,'card_introduction': card_introduction,'updatetime': updateTime,'url': url,'html_content': str(html_content),'content': content,'illustrations': illustrations,}cards_collection.insert_one(card_data)return Trueelse:raise Exception(f"Failed to fetch page {page}. Status code: {response.status_code}")# 下载图片def download_images(self, img_urls, card_id):# 根据card_id创建一个新的子目录images_dir = os.path.join(self.img_output_dir, card_id)if not os.path.exists(images_dir):os.makedirs(images_dir)downloaded_images = []for index, img_url in enumerate(img_urls):try:response = requests.get(img_url, stream=True, headers=self.headers)if response.status_code == 200:# 从URL中提取图片文件名img_name_with_extension = img_url.split('/')[-1]pattern = r'^[^?]*'match = re.search(pattern, img_name_with_extension)img_name = match.group(0)# 保存图片with open(os.path.join(images_dir, img_name), 'wb') as f:f.write(response.content)downloaded_images.append([img_url, os.path.join(images_dir, img_name)])except requests.exceptions.RequestException as e:print(f'请求图片时发生错误：{e}')except Exception as e:print(f'保存图片时发生错误：{e}')return downloaded_images# 如果文件夹存在则跳过else:print(f'文章id为{card_id}的图片文件夹已经存在')return []# 工具 转义标签def transcoding_tags(self, htmlstr):re_img = re.compile(r'\s*<(img.*?)>\s*', re.M)s = re_img.sub(r'\n @@##\1##@@ \n', htmlstr)  # IMG 转义return s# 工具 转义标签def translate_tags(self, htmlstr):re_img = re.compile(r'@@##(img.*?)##@@', re.M)s = re_img.sub(r'<\1>', htmlstr)  # IMG 转义return s# 清洗文章def clean_content(self, content):if content is not None:content = re.sub(r'\r', r'\n', content)content = re.sub(r'\n{2,}', '', content)content = re.sub(r' {6,}', '', content)content = re.sub(r' {3,}\n', '', content)content = re.sub(r'<img src="../../../image/zxbl.gif"/>', '', content)content = content.replace('<img border="0" src="****处理标记：[Article]时， 字段 [SnapUrl] 在数据源中没有找到! ****"/> ', '')content = content.replace(''' <!--/enpcontent<INPUT type=checkbox value=0 name=titlecheckbox sourceid="<Source>SourcePh " style="display:none">''','') \.replace(' <!--enpcontent', '').replace('<TABLE>', '')content = content.replace('<P>', '').replace('<\P>', '').replace('&nbsp;', ' ')return contentdef run():root_url = 'https://news.mit.edu/'model_urls = ['https://news.mit.edu/topic', 'https://news.mit.edu/clp','https://news.mit.edu/department', 'https://news.mit.edu/']output_dir = 'D:\imgs\mit-news'for model_url in model_urls:scraper = MitnewsScraper(root_url, model_url, output_dir)scraper.catalogue_all_pages()if __name__ == "__main__":run()

六、效果展示

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/718595.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

MySQL面试题-日志（答案版）

MySQL面试题-日志（答案版）

日志 1、为什么需要 undo log&#xff1f; &#xff08;1&#xff09;实现事务回滚&#xff0c;保障事务的原子性。 事务处理过程中&#xff0c;如果出现了错误或者用户执 行了 ROLLBACK 语句&#xff0c;MySQL 可以利用 undo log 中的历史数据将数据恢复到事务开始之前的状态…
阅读更多...
ssh无法直接登入Linux超级用户root（23/3/3更新）

ssh无法直接登入Linux超级用户root（23/3/3更新）

说明&#xff1a;不允许ssh用超级用户的身份登入是为了安全性&#xff0c;如果只是学习使用对安全性没啥要求可以按以下操作解除限制 以普通用户登录到服务器后&#xff0c;执行以下命令以编辑 SSH 服务器配置文件 /etc/ssh/sshd_config sudo nano /etc/ssh/sshd_config 此时会…
阅读更多...
【C++练级之路】【Lv.10】【STL】priority_queue类和反向迭代器的模拟实现

【C++练级之路】【Lv.10】【STL】priority_queue类和反向迭代器的模拟实现

快乐的流畅&#xff1a;个人主页 个人专栏&#xff1a;《C语言》《数据结构世界》《进击的C》 远方有一堆篝火&#xff0c;在为久候之人燃烧&#xff01; 文章目录 一、仿函数1.1 仿函数的介绍1.2 仿函数的优势 二、priority_queue2.1 push2.2 pop2.3 top2.4 size2.5 empty 三、…
阅读更多...
【3D Slicer】心脏CT图像分割操作保姆级教程 Cardiac CT image segmentation

【3D Slicer】心脏CT图像分割操作保姆级教程 Cardiac CT image segmentation

心脏CT图像分割操作流程指南 1 安装3D Slicer软件2 打开文件2.1 从File->Add Data->Choose File2.2 直接拖入 3 进行分割操作4 切片填充 Fill between slices5 第二个例子6 数据保存7 打开保存后的文件 1 安装3D Slicer软件 方式二选一 1.官网&#xff1a;3D Slicer 2.百…
阅读更多...
无字母数字rce总结（自增、取反、异或、或、临时文件上传）

无字母数字rce总结（自增、取反、异或、或、临时文件上传）

目录 自增 取反 异或 或 临时文件上传 自增 自 PHP 8.3.0 起&#xff0c;此功能已软弃用 在 PHP 中&#xff0c;可以递增非数字字符串。该字符串必须是字母数字 ASCII 字符串。当到达字母 Z 且递增到下个字母时&#xff0c;将进位到左侧值。例如&#xff0c;$a Z; $a;将…
阅读更多...
Java中的Object类详解

Java中的Object类详解

Java中的Object类详解 1. equals(Object obj)2. hashCode()3. toString()4.getClass()5.notify() 和 notifyAll()6. wait() 和 wait(long timeout)7. clone()8.finalize() Java中的 Object 类是所有类的父类&#xff0c;可以被所有Java类继承并使用。下面先看下源码&#xff1a…
阅读更多...
google最新大语言模型gemma本地化部署

google最新大语言模型gemma本地化部署

Gemma是google推出的新一代大语言模型&#xff0c;构建目标是本地化、开源、高性能。 与同类大语言模型对比&#xff0c;它不仅对硬件的依赖更小&#xff0c;性能却更高。关键是完全开源&#xff0c;使得对模型在具有行业特性的场景中&#xff0c;有了高度定制的能力。 Gemma模…
阅读更多...
面试数据库篇（mysql）- 12分库分表

面试数据库篇（mysql）- 12分库分表

拆分策略 垂直分库 垂直分库：以表为依据，根据业务将不同表拆分到不同库中。 特点： 按业务对数据分级管理、维护、监控、扩展在高并发下，提高磁盘IO和数据量连接数垂直分表：以字段为依据，根据字段属性将不同字段拆分到不同表中。 特点： 1，冷热数据分离 2，减少IO过渡争…
阅读更多...
【Micropython基础】TCP客户端与服务器

【Micropython基础】TCP客户端与服务器

文章目录 前言一、连接Wifi1.1 创建STA接口1.2 激活wifi接口1.3 连接WIFI1.4 判断WIFI是否连接1.5 连接WIFI总体代码 二、创建TCP 客户端2.1 创建套接字2.2 设置TCP服务器的ip地址和端口2.3 连接TCP服务器2.3 发送数据2.4 接收数据2.5 断开连接2.6 示例代码 三、TCP服务器的创建…
阅读更多...
批量二维码的教程和优势：拓宽应用领域，提升效率与创新

批量二维码的教程和优势：拓宽应用领域，提升效率与创新

随着二维码技术的不断发展&#xff0c;批量二维码在多个领域展现出了显著的优势&#xff0c;为商业和行业带来了更多便捷和创新。以下是批量二维码的一些显著优势&#xff1a; 1. 高效快速生成&#xff1a; 批量二维码一次性生成多个二维码&#xff0c;相较于逐个生成的方式&…
阅读更多...
Linux之进程信号

Linux之进程信号

目录 一、概念引入 1、生活中的信号 2、Linux中的信号 二、信号处理常见方式 三、信号的产生 1、键盘产生信号 2、系统调用接口产生信号 3、软件条件产生信号 4、硬件异常产生信号 四、信号的保存 相关概念 信号保存——三个数据结构 信号集——sigset_t 信号集操…
阅读更多...
超简单的chatgpt-next-web部署教程！

超简单的chatgpt-next-web部署教程！

随着AI的应用变广&#xff0c;各类AI程序已逐渐普及&#xff0c;尤其是在一些日常办公、学习等与撰写/翻译文稿密切相关的场景&#xff0c;大家都希望找到一个适合自己的稳定可靠的ChatGPT软件来使用。 ChatGPT-Next-Web就是一个很好的选择。它是一个Github上超人气的免费开源…
阅读更多...
Docker基础教程 - 1 Docker简介

Docker基础教程 - 1 Docker简介

更好的阅读体验&#xff1a;点这里 &#xff08; www.doubibiji.com &#xff09; 1 Docker简介 Docker是一个强大的容器化平台&#xff0c;让你能够更轻松地构建、部署和运行应用程序。 下面我们来学习 Docker。 1.1 Docker是什么 1 现在遇到的问题 每次部署一台服务器&…
阅读更多...
彻底解决华为手机安装谷歌框架后出现未认证的弹窗问题

彻底解决华为手机安装谷歌框架后出现未认证的弹窗问题

引言 本人使用华为手机通过B站等平台学习如何安装谷歌框架与商店后&#xff0c;发现安装谷歌框架后出现未认证的弹窗问题少有解决办法&#xff0c;而且容易复发&#xff0c;在借鉴相关视频后找到解决办法&#xff0c;但视频中的华谷框架需要付费才能使用&#xff0c;本文将提出…
阅读更多...
spring注解驱动系列--自动装配

spring注解驱动系列--自动装配

Spring利用依赖注入&#xff08;DI&#xff09;&#xff0c;完成对IOC容器中中各个组件的依赖关系赋值&#xff1b;依赖注入是spring ioc的具体体现&#xff0c;主要是通过各种注解进行属性的自动注入。 一、Autowired&#xff1a;自动注入 一、注解介绍 1、默认优先按照类型去…
阅读更多...
高中数学：函数奇偶性

高中数学：函数奇偶性

一、定义 偶函数&#xff1a;定义域关于原点对称&#xff0c;图像关于Y轴对称 f(x)f(-x) 奇函数&#xff1a;定义域关于原点对称&#xff0c;图像关于原点中心对称 f(x)f(-x)0 等价于 f(-x)-f(x) 二、函数奇偶性的四种情况 注意&#xff1a; 即奇又偶的函数&#xff0c;只有…
阅读更多...
Linux入门到入土

Linux入门到入土

Linxu Linux 简介 Linux 内核最初只是由芬兰人林纳斯托瓦兹&#xff08;Linus Torvalds&#xff09;在赫尔辛基大学上学时出于个人爱好而编写的。 Linux 是一套免费使用和自由传播的类 Unix 操作系统&#xff0c;是一个基于 POSIX&#xff08;可移植操作系统接口&#xff09…
阅读更多...
【复现】宏景HCM 任意文件读取漏洞_63

【复现】宏景HCM 任意文件读取漏洞_63

目录 一.概述 二 .漏洞影响 三.漏洞复现 1. 漏洞一&#xff1a; 四.修复建议&#xff1a; 五. 搜索语法&#xff1a; 六.免责声明 一.概述 宏景HCM 将人才标签技术应用于员工招聘、人才选拔等环节&#xff0c;通过多维度的标签体系&#xff0c;形成不同专业序列的人才画…
阅读更多...
CV | 医学影像上的图像分割模型调研【更新于20240304】

CV | 医学影像上的图像分割模型调研【更新于20240304】

mamba相关的图像分割&#xff1a;VM-Unet,Manba-Unet,BRAU-Net,MDD-Unet,EGE-Unet,U-Mamba 2024.01.01_BRAU-Net Paper:BRAU-Net: U-Shaped Hybrid CNN-Transformer Network for Medical Image Segmentation https://arxiv.org/pdf/2401.00722.pdf 2024.01.09_U-Mamba Paper:U…
阅读更多...
猴子吃桃问题（python版）

猴子吃桃问题（python版）

文章预览&#xff1a; 题目python解法一&#xff1a;运行结果 python解法二&#xff1a;运行结果 python解法三&#xff1a;运行结果 题目 猴子吃桃问题&#xff1a;猴子第一天摘下若干个桃子&#xff0c;当即吃了一半&#xff0c;还不过瘾&#xff0c;又多吃了一个。 第二天早…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023