Vim实战：使用Vim实现图像分类任务（一）

文章目录

  • 摘要
  • 安装包
    • 安装timm
  • 数据增强Cutout和Mixup
  • EMA
  • 项目结构
  • 编译安装Vim环境
    • 环境
    • 安装过程
      • 安装库文件
  • 计算mean和std
  • 生成数据集

摘要

论文：https://arxiv.org/pdf/2401.09417v1.pdf
翻译：
近年来，随着深度学习的发展，视觉模型在许多任务中取得了显著的成功。然而，随着模型规模和复杂度的增加，计算和内存的消耗也急剧增长。这限制了模型在资源有限的环境中的使用，尤其是在处理高分辨率图像时。为了解决这个问题，一种新的视觉模型架构——Vim（Vision with Mamba）被提出。
Vim是一种基于状态空间模型（SSM）的视觉模型，利用了Mamba这种高效的硬件设计。SSM是一种动态系统模型，用于描述状态随时间的变化。Mamba则是针对SSM的一种硬件优化设计，可以提高计算效率和降低内存消耗。Vim通过将图像序列标记为位置嵌入，并使用双向SSM压缩视觉表示，从而实现了高效的视觉表示学习。
与传统的视觉模型相比，Vim具有更高的计算和内存效率。在ImageNet分类、COCO物体检测和ADE20K语义分割等任务上的实验表明，Vim的性能优于现有的视觉转换器模型，如DeiT。同时，Vim还具有更低的计算和内存消耗。例如，在批量推理时，Vim可以比DeiT快2.8倍，并节省86.8%的GPU内存，这使得它能够有效地处理高分辨率图像。
在这里插入图片描述

Vim作为一种高效的视觉模型，具有计算和内存效率高、处理高分辨率图像能力强等优点。这使得Vim成为下一代视觉基础模型的理想选择。

本文使用Vim模型实现图像分类任务，模型选择最小的vim_tiny_patch16_224_bimambav2_final_pool_mean_abs_pos_embed_rope_also_residual_with_cls_token（这个方法的名字比较长。。。。。），在植物幼苗分类任务ACC达到了93%+。

请添加图片描述

请添加图片描述

通过这篇文章能让你学到：

  1. 如何使用数据增强，包括transforms的增强、CutOut、MixUp、CutMix等增强手段？
  2. 如何实现Vim模型实现训练？
  3. 如何使用pytorch自带混合精度？
  4. 如何使用梯度裁剪防止梯度爆炸？
  5. 如何使用DP多显卡训练？
  6. 如何绘制loss和acc曲线？
  7. 如何生成val的测评报告？
  8. 如何编写测试脚本测试测试集？
  9. 如何使用余弦退火策略调整学习率？
  10. 如何使用AverageMeter类统计ACC和loss等自定义变量？
  11. 如何理解和统计ACC1和ACC5？
  12. 如何使用EMA？

如果基础薄弱，对上面的这些功能难以理解可以看我的专栏：经典主干网络精讲与实战
这个专栏，从零开始时，一步一步的讲解这些，让大家更容易接受。

安装包

安装timm

使用pip就行，命令：

pip install timm

mixup增强和EMA用到了timm

数据增强Cutout和Mixup

为了提高成绩我在代码中加入Cutout和Mixup这两种增强方式。实现这两种增强需要安装torchtoolbox。安装命令：

pip install torchtoolbox

Cutout实现，在transforms中。

from torchtoolbox.transform import Cutout
# 数据预处理
transform = transforms.Compose([transforms.Resize((224, 224)),Cutout(),transforms.ToTensor(),transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])])

需要导入包：from timm.data.mixup import Mixup，

定义Mixup，和SoftTargetCrossEntropy

  mixup_fn = Mixup(mixup_alpha=0.8, cutmix_alpha=1.0, cutmix_minmax=None,prob=0.1, switch_prob=0.5, mode='batch',label_smoothing=0.1, num_classes=12)criterion_train = SoftTargetCrossEntropy()

Mixup 是一种在图像分类任务中常用的数据增强技术，它通过将两张图像以及其对应的标签进行线性组合来生成新的数据和标签。
参数详解：

mixup_alpha (float): mixup alpha 值，如果 > 0，则 mixup 处于活动状态。

cutmix_alpha (float)：cutmix alpha 值，如果 > 0，cutmix 处于活动状态。

cutmix_minmax (List[float])：cutmix 最小/最大图像比率，cutmix 处于活动状态，如果不是 None，则使用这个 vs alpha。

如果设置了 cutmix_minmax 则cutmix_alpha 默认为1.0

prob (float): 每批次或元素应用 mixup 或 cutmix 的概率。

switch_prob (float): 当两者都处于活动状态时切换cutmix 和mixup 的概率 。

mode (str): 如何应用 mixup/cutmix 参数（每个’batch’，‘pair’（元素对），‘elem’（元素）。

correct_lam (bool): 当 cutmix bbox 被图像边框剪裁时应用。 lambda 校正

label_smoothing (float)：将标签平滑应用于混合目标张量。

num_classes (int): 目标的类数。

EMA

EMA（Exponential Moving Average）是指数移动平均值。在深度学习中的做法是保存历史的一份参数，在一定训练阶段后，拿历史的参数给目前学习的参数做一次平滑。具体实现如下：


import logging
from collections import OrderedDict
from copy import deepcopy
import torch
import torch.nn as nn_logger = logging.getLogger(__name__)class ModelEma:def __init__(self, model, decay=0.9999, device='', resume=''):# make a copy of the model for accumulating moving average of weightsself.ema = deepcopy(model)self.ema.eval()self.decay = decayself.device = device  # perform ema on different device from model if setif device:self.ema.to(device=device)self.ema_has_module = hasattr(self.ema, 'module')if resume:self._load_checkpoint(resume)for p in self.ema.parameters():p.requires_grad_(False)def _load_checkpoint(self, checkpoint_path):checkpoint = torch.load(checkpoint_path, map_location='cpu')assert isinstance(checkpoint, dict)if 'state_dict_ema' in checkpoint:new_state_dict = OrderedDict()for k, v in checkpoint['state_dict_ema'].items():# ema model may have been wrapped by DataParallel, and need module prefixif self.ema_has_module:name = 'module.' + k if not k.startswith('module') else kelse:name = knew_state_dict[name] = vself.ema.load_state_dict(new_state_dict)_logger.info("Loaded state_dict_ema")else:_logger.warning("Failed to find state_dict_ema, starting from loaded model weights")def update(self, model):# correct a mismatch in state dict keysneeds_module = hasattr(model, 'module') and not self.ema_has_modulewith torch.no_grad():msd = model.state_dict()for k, ema_v in self.ema.state_dict().items():if needs_module:k = 'module.' + kmodel_v = msd[k].detach()if self.device:model_v = model_v.to(device=self.device)ema_v.copy_(ema_v * self.decay + (1. - self.decay) * model_v)

加入到模型中。

#初始化
if use_ema:model_ema = ModelEma(model_ft,decay=model_ema_decay,device='cpu',resume=resume)# 训练过程中，更新完参数后，同步update shadow weights
def train():optimizer.step()if model_ema is not None:model_ema.update(model)# 将model_ema传入验证函数中
val(model_ema.ema, DEVICE, test_loader)

针对没有预训练的模型，容易出现EMA不上分的情况，这点大家要注意啊！

项目结构

Vim_Demo
├─data1
│  ├─Black-grass
│  ├─Charlock
│  ├─Cleavers
│  ├─Common Chickweed
│  ├─Common wheat
│  ├─Fat Hen
│  ├─Loose Silky-bent
│  ├─Maize
│  ├─Scentless Mayweed
│  ├─Shepherds Purse
│  ├─Small-flowered Cranesbill
│  └─Sugar beet
├─models
│  ├─models_mamba.py
│  └─rope.py
├─vim_tiny_73p1.pth
├─mean_std.py
├─makedata.py
├─train.py
└─test.py

mean_std.py：计算mean和std的值。
makedata.py：生成数据集。
train.py:训练RevCol模型
models：来源官方代码，对面的代码做了一些适应性修改。
vim_tiny_73p1.pth：预训练权重

编译安装Vim环境

环境

系统：ubuntu22.04
CUDA：12.1
python：3.11
显卡驱动：545
在这里插入图片描述

安装过程

系统、CUDA和python的安装过程忽略，这些都能找到。

安装库文件

下载https://github.com/hustvl/Vim源码。
进入vim中，找到vim_requirements.txt文件，如下图：
在这里插入图片描述打开vim_requirements.txt文件，按照要求安装缺失的库文件，如下：

addict==2.4.0
aiohttp==3.9.1
aiosignal==1.3.1
alembic==1.13.0
async-timeout==4.0.3
attrs==23.1.0
blinker==1.7.0
# causal-conv1d @ file:///home/zhulianghui/VisionProjects/mamba/lib/causal_conv1d-1.0.0%2Bcu118torch2.1cxx11abiFALSE-cp310-cp310-linux_x86_64.whl#sha256=79a4bab633ebff031e615d5e8ba396b0dc0c046f4406980ee238fb86a9090038
certifi==2023.11.17
charset-normalizer==3.3.2
click==8.1.7
cloudpickle==3.0.0
contourpy==1.2.0
cycler==0.12.1
databricks-cli==0.18.0
datasets==2.15.0
dill==0.3.7
docker==6.1.3
einops==0.7.0
entrypoints==0.4
filelock==3.13.1
Flask==3.0.0
fonttools==4.46.0
frozenlist==1.4.0
fsspec==2023.10.0
gitdb==4.0.11
GitPython==3.1.40
greenlet==3.0.2
gunicorn==21.2.0
huggingface-hub==0.19.4
idna==3.6
importlib-metadata==7.0.0
itsdangerous==2.1.2
Jinja2==3.1.2
joblib==1.3.2
kiwisolver==1.4.5
Mako==1.3.0
# mamba-ssm @ file:///home/zhulianghui/VisionProjects/mamba/lib/mamba_ssm-1.0.1%2Bcu118torch2.1cxx11abiFALSE-cp310-cp310-linux_x86_64.whl#sha256=71ad1b1eafb05a6e8a41fd82e046fe85511d6378fa3a583e55215b6aa1d65ab9
Markdown==3.5.1
MarkupSafe==2.1.3
matplotlib==3.8.2
mlflow==2.9.1
mmcv==1.3.8
mmsegmentation==0.14.1
mpmath==1.3.0
multidict==6.0.4
multiprocess==0.70.15
networkx==3.2.1
ninja==1.11.1.1
numpy==1.26.2
# nvidia-cublas-cu12==12.1.3.1
# nvidia-cuda-cupti-cu12==12.1.105
# nvidia-cuda-nvrtc-cu12==12.1.105
# nvidia-cuda-runtime-cu12==12.1.105
# nvidia-cudnn-cu12==8.9.2.26
# nvidia-cufft-cu12==11.0.2.54
# nvidia-curand-cu12==10.3.2.106
# nvidia-cusolver-cu12==11.4.5.107
# nvidia-cusparse-cu12==12.1.0.106
# nvidia-nccl-cu12==2.18.1
# nvidia-nvjitlink-cu12==12.3.101
# nvidia-nvtx-cu12==12.1.105
oauthlib==3.2.2
opencv-python==4.8.1.78
packaging==23.2
pandas==2.1.3
Pillow==10.1.0
platformdirs==4.1.0
prettytable==3.9.0
protobuf==4.25.1
pyarrow==14.0.1
pyarrow-hotfix==0.6
PyJWT==2.8.0
pyparsing==3.1.1
python-dateutil==2.8.2
python-hostlist==1.23.0
pytz==2023.3.post1
PyYAML==6.0.1
querystring-parser==1.2.4
regex==2023.10.3
requests==2.31.0
safetensors==0.4.1
scikit-learn==1.3.2
scipy==1.11.4
six==1.16.0
smmap==5.0.1
SQLAlchemy==2.0.23
sqlparse==0.4.4
sympy==1.12
tabulate==0.9.0
threadpoolctl==3.2.0
timm==0.4.12
tokenizers==0.15.0
tomli==2.0.1
# torch==2.1.1+cu118
# torchvision==0.16.1+cu118
tqdm==4.66.1
transformers==4.35.2
triton==2.1.0
typing_extensions==4.8.0
tzdata==2023.3
urllib3==2.1.0
wcwidth==0.2.12
websocket-client==1.7.0
Werkzeug==3.0.1
xxhash==3.4.1
yapf==0.40.2
yarl==1.9.4
zipp==3.17.0

进入causal-conv1d文件夹，如下图：
在这里插入图片描述
执行命令：

pyhton setup.py install

进入mamba文件夹下面，如下图：
在这里插入图片描述
执行命令：

pyhton setup.py install

最终就可以完成编译了！

计算mean和std

为了使模型更加快速的收敛，我们需要计算出mean和std的值，新建mean_std.py,插入代码：

from torchvision.datasets import ImageFolder
import torch
from torchvision import transformsdef get_mean_and_std(train_data):train_loader = torch.utils.data.DataLoader(train_data, batch_size=1, shuffle=False, num_workers=0,pin_memory=True)mean = torch.zeros(3)std = torch.zeros(3)for X, _ in train_loader:for d in range(3):mean[d] += X[:, d, :, :].mean()std[d] += X[:, d, :, :].std()mean.div_(len(train_data))std.div_(len(train_data))return list(mean.numpy()), list(std.numpy())if __name__ == '__main__':train_dataset = ImageFolder(root=r'data1', transform=transforms.ToTensor())print(get_mean_and_std(train_dataset))

数据集结构：

image-20220221153058619

运行结果：

([0.3281186, 0.28937867, 0.20702125], [0.09407319, 0.09732835, 0.106712654])

把这个结果记录下来，后面要用！

生成数据集

我们整理还的图像分类的数据集结构是这样的

data
├─Black-grass
├─Charlock
├─Cleavers
├─Common Chickweed
├─Common wheat
├─Fat Hen
├─Loose Silky-bent
├─Maize
├─Scentless Mayweed
├─Shepherds Purse
├─Small-flowered Cranesbill
└─Sugar beet

pytorch和keras默认加载方式是ImageNet数据集格式，格式是

├─data
│  ├─val
│  │   ├─Black-grass
│  │   ├─Charlock
│  │   ├─Cleavers
│  │   ├─Common Chickweed
│  │   ├─Common wheat
│  │   ├─Fat Hen
│  │   ├─Loose Silky-bent
│  │   ├─Maize
│  │   ├─Scentless Mayweed
│  │   ├─Shepherds Purse
│  │   ├─Small-flowered Cranesbill
│  │   └─Sugar beet
│  └─train
│      ├─Black-grass
│      ├─Charlock
│      ├─Cleavers
│      ├─Common Chickweed
│      ├─Common wheat
│      ├─Fat Hen
│      ├─Loose Silky-bent
│      ├─Maize
│      ├─Scentless Mayweed
│      ├─Shepherds Purse
│      ├─Small-flowered Cranesbill
│      └─Sugar beet

新增格式转化脚本makedata.py,插入代码：

import glob
import os
import shutilimage_list=glob.glob('data1/*/*.png')
print(image_list)
file_dir='data'
if os.path.exists(file_dir):print('true')#os.rmdir(file_dir)shutil.rmtree(file_dir)#删除再建立os.makedirs(file_dir)
else:os.makedirs(file_dir)from sklearn.model_selection import train_test_split
trainval_files, val_files = train_test_split(image_list, test_size=0.3, random_state=42)
train_dir='train'
val_dir='val'
train_root=os.path.join(file_dir,train_dir)
val_root=os.path.join(file_dir,val_dir)
for file in trainval_files:file_class=file.replace("\\","/").split('/')[-2]file_name=file.replace("\\","/").split('/')[-1]file_class=os.path.join(train_root,file_class)if not os.path.isdir(file_class):os.makedirs(file_class)shutil.copy(file, file_class + '/' + file_name)for file in val_files:file_class=file.replace("\\","/").split('/')[-2]file_name=file.replace("\\","/").split('/')[-1]file_class=os.path.join(val_root,file_class)if not os.path.isdir(file_class):os.makedirs(file_class)shutil.copy(file, file_class + '/' + file_name)

完成上面的内容就可以开启训练和测试了。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/661979.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

JUC并发编程01——进程，线程（详解），并发和并行

JUC并发编程01——进程，线程（详解），并发和并行

目录 1.进程和线程的概念及对比1.进程概述 2.线程3.对比 2.并行与并发1.并发2.并行 3.线程详解3.1.创建和运行线程3.1.1.Thread3.1.2.Runnable结合Thread 创建线程3.1.3.Callable 3.2线程方法APIrun startsleep yieldjoininterrupt打断线程打断 park终止模式 daemon不推荐使用的…
阅读更多...
基于Java SSM框架实现校园快领服务系统项目【项目源码+论文说明】计算机毕业设计

基于Java SSM框架实现校园快领服务系统项目【项目源码+论文说明】计算机毕业设计

基于java的SSM框架实现校园快领服务系统演示 摘要 随着科学技术的飞速发展，各行各业都在努力与现代先进技术接轨，通过科技手段提高自身的优势；对于校园快领服务系统当然也不能排除在外，随着网络技术的不断成熟，带动了…
阅读更多...
骨传导耳机的技术原理是什么？和传统耳机相比有哪些优点？

骨传导耳机的技术原理是什么？和传统耳机相比有哪些优点？

骨传导耳机通过人体骨骼来传递声音，可以绕过耳道和耳膜直接传达音频到听者的内耳，开放双耳的佩戴方式可以在享受音乐或通话的同时保持对周围环境的感知，这种设计在户外活动或运动等场景下的使用尤为实用，可以避免堵塞耳朵&#xf…
阅读更多...
CHS_08.2.3.6_1+生产者-消费者问题

CHS_08.2.3.6_1+生产者-消费者问题

CHS_08.2.3.6_1生产者-消费者问题 问题描述问题分析思考：能否改变相邻P、V操作的顺序？知识回顾 在这个小节中 我们会学习一个经典的进程同步互斥的问题 问题描述 并且尝试用上个小节学习的p v操作 也就是信号量机制来解决这个生产者消费者问题 问题的描…
阅读更多...
大力说视频号第三课：视频小店

大力说视频号第三课：视频小店

自从腾讯推出视频号之后，大家非常明显的感觉到，视频号正以势不可挡的姿势走向独立发展。那么，依托于微信生态的视频号，未来将迎来哪些精彩发展呢？ 让我们一同来揭开“视频号小店”的神秘面纱，了解一下玩法…
阅读更多...
有色金属矿山采选智能工厂数字孪生可视化，推进矿采选业数字化转型

有色金属矿山采选智能工厂数字孪生可视化，推进矿采选业数字化转型

有色金属矿山采选智能工厂数字孪生可视化，推进矿采选业数字化转型。随着科技的不断发展，数字化转型已经成为各行各业发展的必然趋势。有色金属矿采选业作为传统工业的重要组成部分，也面临着数字化转型的挑战。为了更好地推进有色金属矿采选业…
阅读更多...
百无聊赖之JavaEE从入门到放弃（十七）时间处理相关类

百无聊赖之JavaEE从入门到放弃（十七）时间处理相关类

目录 一.Date 时间类 二.DateFormat 类和 SimpleDateFormat 类 三.Calendar 日历类 “时间如流水，一去不复返”，时间是一维的。所以，我们需要一把刻度尺来表达和度 量时间。在计算机世界，我们把 1970 年 1 月 1 日 00:00:00 定…
阅读更多...
张维迎《博弈与社会》多重均衡与制度和文化（4）路径依赖的困惑

张维迎《博弈与社会》多重均衡与制度和文化（4）路径依赖的困惑

在前述计算机产品标准化的问题中，有两个纳什均衡：都生产有5.25英寸软盘驱动器的计算机和都生产有3.5英寸软盘驱动器的计算机。假设一开始企业只能生产有5.25英寸软盘驱动器的计算机，生产3.5英寸软盘驱动器计算机的技术随后出现，企…
阅读更多...
Next.js如何正确处理跨域问题？

Next.js如何正确处理跨域问题？

以前一直使用Vue来写前端。去年下半年接手了一个基于React Next.js的项目，于是顺带学习了一下Next.js。由于Next.js的特点，这个项目的前后端是放在一起的。一开始没什么问题，看了半天文档就上手了。 上周我们需要在另一个网页项目中&#x…
阅读更多...
C#，桌面游戏编程，数独游戏（Sudoku Game）的算法与源代码

C#，桌面游戏编程，数独游戏（Sudoku Game）的算法与源代码

本文包括以下内容： （1）数独游戏的核心算法； （2）数独游戏核心算法的源代码； （3）数独游戏的部分题目样本； （4）适老版《数独》的设计原则…
阅读更多...
C#，哥伦布数（Golomb Number）的算法与源代码

C#，哥伦布数（Golomb Number）的算法与源代码

1 哥伦布数（Golomb Number） 哥伦布数（Golomb Number）是一个自然数的非减量序列，使得n在序列中正好出现G（n）次。前几个15的G（n）值为：1 2 2 3 3 4 4 4 5 5 5 6…
阅读更多...
计算机图形学 实验

计算机图形学 实验

题目要求 1.1 实验一：图元的生成：直线、圆椭区域填充 你需要完成基本的图元生成算法，包括直线和椭圆。 在区域填充中，要求你对一个封闭图形进行填充。你需要绘制一个封 闭图形（例如多边形），并选…
阅读更多...
Hadoop3.x基础（3）- MapReduce

Hadoop3.x基础（3）- MapReduce

来源: B站尚硅谷 目录 MapReduce概述MapReduce定义MapReduce优缺点优点缺点 MapReduce核心思想MapReduce进程常用数据序列化类型MapReduce编程规范WordCount案例实操本地测试提交到集群测试 Hadoop序列化序列化概述自定义bean对象实现序列化接口（Writable&#xff…
阅读更多...
新手不会Git也能玩Github吗？

新手不会Git也能玩Github吗？

新手不会Git也能玩Github吗？ 前言使用Github的准备步骤使用一种访问外网资源的方法（这一步才是新手最容易）注册账号 创建一个自己的仓库创建完仓库后的界面 搜索你想要的代码类型以搜索坦克大战为例以下载烟花代码为例 总结 前言 说到Github&…
阅读更多...
人工智能福利站，初识人工智能，机器学习，第四课

人工智能福利站，初识人工智能，机器学习，第四课

🏆作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。 🎉欢迎 👍点赞✍评论…
阅读更多...
我已经入驻多多

我已经入驻多多

我已经入驻多多面包多平台 啦! 作为一位专注于帮助人们部署Python环境、探索人工智能和JavaEE技术，并创作计算机课程设计相关作品的创作者。我的作品类型涵盖了各种技术领域，旨在为学习者提供实用的资源和指导。 在CSDN拥有1100个粉丝的基础上&#x…
阅读更多...
arcgis javascript api4.x加载非公开或者私有的arcgis地图服务

arcgis javascript api4.x加载非公开或者私有的arcgis地图服务

需求： 加载arcgis没有公开或者私有的地图服务，同时还想实现加载时不弹出登录窗口 提示：​ 下述是针对独立的arcgis server，没有portal的应用场景； 如果有portal可以参考链接：https://mp.weixin.qq.com/s/W…
阅读更多...
MapStruct 使用

MapStruct 使用

MapStruct最详细的使用教程，别在用BeanUtils.copyProperties () mapstruct使用和详解 项目背景 之前查看网上别人写的文章，很多都提到了BeanUtils(org.springframework.beans) 利用反射性能比较差。大家都推荐使用 MapStruct。因为这个组件使用 Java 原…
阅读更多...
zookeeper 应该这样学

zookeeper 应该这样学

ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，是 Hadoop 和 Hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分…
阅读更多...
C# 使用 MailKit 接收邮件（附demo）

C# 使用 MailKit 接收邮件（附demo）

C# 使用 MailKit 接收邮件（附demo） 介绍安装包（依赖）案例简单代码 获取附件核心代码完整代码 介绍一下POP3 介绍 MailKit 是一个开源的 C# 邮件处理库，用于在应用程序中发送和接收电子邮件。它提供了一个强大且易于使…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023