Isaac Sim+SKRL机器人并行强化学习

   

目录

Isaac Sim介绍

OmniIssacGymEnvs安装

SKRL安装与测试

基于UR5的机械臂Reach强化学习测评

机器人控制

OMNI GYM环境编写

SKRL运行文件

训练结果与速度对比

结果分析

运行体验与建议


Isaac Sim介绍

  Isaac Sim是英伟达出的一款机器人仿真平台,适用于做机器人仿真。同类产品包括mujoco,vrep和pybullt等,它的主要优势就是可以做并行强化学习仿真,这对于提高训练效率是非常有好处的。

     作者使用的版本是 :ISAAC SIM 2023.1,因为isaac sim每次版本的迭代变化都很大,而isaac 4.0 又是大更改,因此我还是在2023.1版本上进行测试的。

     之前使用isaac sim没有进行并行化训练,原因就是如果想用并行化训练单纯使用isaac sim是搞不出来的,还要搭配另外的环境,例如2023.1就要使用OmniIsaacGymEnvs,或者ORbit。如果是4.0的用户就是使用isaac lab了。

OmniIssacGymEnvs安装

IsaacGymEnvs的安装非常简单,按照官方仓库readme安装即可

GitHub - isaac-sim/OmniIsaacGymEnvs: Reinforcement Learning Environments for Omniverse Isaac Gym

 OmniIsaacGymEnvs 提供了很多经典的强化学习训练场景,最典型的就是Cartpole环境了。

安装步骤:

1.  git clone https://github.com/NVIDIA-Omniverse/OmniIsaacGymEnvs.git 下载仓库

2. 将默认执行的python设置为Isaac sim环境执行的python

For Linux: alias PYTHON_PATH=~/.local/share/ov/pkg/isaac_sim-*/python.sh
For Windows: doskey PYTHON_PATH=C:\Users\user\AppData\Local\ov\pkg\isaac_sim-*\python.bat $*
For IsaacSim Docker: alias PYTHON_PATH=/isaac-sim/python.sh

3.安装 omniisaacgymenvs 模块

PYTHON_PATH -m pip install -e .

按照官方的指示,这样就可以把仓库安装好了,然后执行,就可以测试官方给的例程。

PYTHON_PATH scripts/rlgames_train.py task=Cartpole

但是注意到,这里用的是rlgames作为强化学习的库,这并不是一个常见的库,实际上英伟达自己在论坛上在推行一个叫做SKRL的库。

SKRL安装与测试

SKRL网址:Examples - skrl (1.3.0)

SKRL是英伟达自己推荐的一个强化学习库,它的优势在于可以无缝衔接英伟达自己的并行仿真环境,虽然说训练效果可能不如SB3好,但是它适配了啊。并且在使用多智能体的时候训练速度也是挺快的。

pip install skrl["torch"]

SKRL的安装按照官方的教程直接装就可以了。

这里需要特别注意的是OIGE的配置文件和rlgame是不一样的,具体可以参考官方给出的example,在yaml文件中要做一些修改。

把skrl官方提供的yaml文件下载下来,并使用它给出的python文件运行,就可以将官方给的demo跑起来了。 

这里作者使用的GPU是4060TI 16G的版本

在环境中设置了4096个agent,运行起来还是非常顺畅的,训练了1600个回合,只花了1分钟左右

另外,官方提供了headless可选性,当headless设置成True时,就不会显示界面,这时候运行速度会更加快,1600个回合只需要15秒钟不到的时间即可完成。 

可以看到,SKRL与omni isaac gym的衔接还是比较OK的,至少官方给出的例程运行起来是没什么问题的。

基于UR5的机械臂Reach强化学习测评

机器人控制

在测试完官方给出的环境后,肯定是希望可以测试下自己的环境。作者自己使用的是UR5机械臂,isaac sim中本身已经提供了这一款机械臂了,所以模型直接下载下来就可以,是usd格式的模型。

在机器人控制方面,官方提供的是RMPFLOW的轨迹规划库,但是RMPFLOW本身要配置很多东西,官方只提供了UR10的配置文件,因此这里我选用了最简单的控制方法。在网上下载了UR5的urdf文件,然后使用ikpy函数库读取urdf文件,并进行逆运动学求解,把求解出来的关节角度再下发到模型中。这里提供我写的UR5函数控制类作为参考:


from typing import Optionalimport carb
import numpy as np
import torch
from omni.isaac.core.robots.robot import Robot
from omni.isaac.core.utils.nucleus import get_assets_root_path
from omni.isaac.core.utils.stage import add_reference_to_stage
from omni.isaac.core.articulations import ArticulationView,Articulation
from omni.isaac.core.utils.types import ArticulationAction, ArticulationActions
from common import MatrixProcess as mp
from omni.isaac.core.prims import RigidPrim, RigidPrimView,XFormPrimView
import common.robot.Urik as urik
from common.robot.Ur5ik import Kinematic
import logging
class UR5(Robot):def __init__(self,prim_path: str,ik_urdfPath:str,name: Optional[str] = "UR5",tcpOffset_pose=np.array([0,0,0]),tcpOffset_ori=np.array([1,0,0,0]),usd_path: Optional[str] = None,translation: Optional[np.ndarray] = None,orientation: Optional[np.ndarray] = None,) -> None:self._usd_path = usd_pathself._name = nameif self._usd_path is None:self._usd_path = "C:\\Users\\Administrator\\AppData\\Local\\ov\\pkg\\gym\\OmniIsaacGymEnvs\\omniisaacgymenvs\\robots\\myrobots\\model\\ur5_modify.usd"print("=== _usd_path=", self._usd_path)add_reference_to_stage(self._usd_path, prim_path)super().__init__(prim_path=prim_path,name=name,translation=translation,orientation=orientation,articulation_controller=None,)self.robot_position=torch.tensor([translation[0],translation[1],translation[2]]).to("cuda")self.tcpoffset_pose = tcpOffset_poseself.tcpOffset_quaternion = tcpOffset_oriself._iksolver = Kinematic()def initView(self):self._ur5_view=ArticulationView(prim_paths_expr="/World/envs/.*/UR5", name="ur5_view", reset_xform_properties=False)self._ur5_ee_view=RigidPrimView(prim_paths_expr="/World/envs/.*/UR5/tool0", name="ur5_ee", reset_xform_properties=False)def get_view(self):return self._ur5_viewdef get_joints(self):joints=self._ur5_view.get_joint_positions()#print("joint",np.round(joints.cpu().numpy(),2))return jointsdef get_TCP_pose(self,isworld):pose,rot=self._ur5_ee_view.get_local_poses()#获取机器人坐标系下的坐标,xyzw?if isworld==True:pose=pose+self.robot_position# 加上机器人坐标系距离原点的位移#print("pose",np.round(pose.cpu().numpy(),4))return pose,rotdef set_joints(self,Joints6D,indices):self._ur5_view.set_joint_positions(Joints6D, indices=indices)def apply_joints(self,Joints6D,indices):joints = ArticulationActions(Joints6D)self._ur5_view.apply_action(joints,indices=indices)def set_pose(self, position, oriention,desire_joints, apply=False, isworldpose=True):"""apply=True时,使用applay actionisworldpose=True时,转化至世界坐标系"""position=position.cpu().numpy()oriention=oriention.cpu().numpy()desire_joints=desire_joints.cpu().numpy()robot_position=self.robot_position.cpu().numpy()if (isworldpose == True):position = position - robot_position####根据tcp坐标,反求末端坐标,然后求解ikTbase_tcp = positionQbase_tcp = mp.qua_wxyz2xyzw_array(oriention)  # xyzwTend_tcp = self.tcpoffset_poseQend_tcp = mp.qua_wxyz2xyzw(self.tcpOffset_quaternion)# 计算末端姿态Q_TCP_inv = mp.quaternion_conjugate(Qend_tcp)Q_end = mp.quaternion_multiply_array(Qbase_tcp, Q_TCP_inv)# 计算末端位置T_TCP_transformed = mp.rotate_vectors_array(Qbase_tcp, Tend_tcp)T_end = Tbase_tcp - T_TCP_transformedposition = T_endoriention = mp.qua_xyzw2wxyz_array(Q_end)##### 1,根据pose6d 计算IK jointresult=self.get_iks(position,oriention,desire_joints)joints=torch.tensor(result).float().to("cuda")if (apply == False):self._ur5_view.set_joint_positions(joints)else:joints = ArticulationAction(joints)self._ur5_view.apply_action(joints)def get_iks(self, positions, orientions,q_desires):len=positions.shape[0]joints=[]for i in range(len):position=positions[i]oriention=orientions[i]q_desire=q_desires[i]joint=self.get_ik(position,oriention,q_desire)joints.append(joint)#print(np.round(joint,2))return np.array(joints)def get_ik(self, pose, ori,q_desire):"""输入机器人末端的目标位置,计算逆运动学关节,返回计算用于apply action的ArticulationActionArgs:pose: 目标位置ori: 目标方向initjoint: 用于求逆运动学的初始关节Returns:计算用于apply action的ArticulationAction"""try:joint=self._iksolver.inverse_kinematic_Q(pose=pose,ori=ori,q_desire=q_desire)return jointexcept:return q_desire

OMNI GYM环境编写

以及自己写的reach gym环境。这个环境编写的教程现在官方的手册是看不到的,如果你还是跟我一样使用2023.1版本,那么你可以看下旧版本的手册是如何教你写这个的。

import logging
import math
import randomimport numpy as np
import torch
from omni.isaac.core.articulations import ArticulationView
from omni.isaac.core.utils.prims import get_prim_at_path
from omniisaacgymenvs.tasks.base.rl_task import RLTask
from omniisaacgymenvs.robots.articulations.cartpole import Cartpole
from omniisaacgymenvs.robots.myrobots.ur5 import UR5
from omni.isaac.core.utils.stage import add_reference_to_stage
from omni.isaac.core.prims import RigidPrim, RigidPrimView,XFormPrimViewclass Ur5_InsertTask(RLTask):def __init__(self, name, sim_config, env, offset=None) -> None:self.update_config(sim_config)self._max_episode_length = 150self._num_observations = 3self._num_actions = 3self._reset_pose=torch.tensor(np.array([0, math.radians(-90), math.radians(-90), math.radians(-90), math.radians(90), math.radians(0)]), dtype=torch.float32).to("cuda")RLTask.__init__(self, name, env)def update_config(self, sim_config):# extract task config from main config dictionaryself._sim_config = sim_configself._cfg = sim_config.configself._task_cfg = sim_config.task_config# parse task config parametersself._num_envs = self._task_cfg["env"]["numEnvs"]self._env_spacing = self._task_cfg["env"]["envSpacing"]self._cartpole_positions = torch.tensor([0.0, 0.0, 0.65])def set_up_scene(self, scene) -> None:# first create a single environmentself.get_ur5()self.get_table()self.get_cube()super().set_up_scene(scene)self.ur5.initView()scene.add(self.ur5.get_view())self._cubes = XFormPrimView(prim_paths_expr="/World/envs/.*/prop/.*", name="prop_view", reset_xform_properties=False)scene.add(self._cubes)def pre_physics_step(self, actions) -> None:if not self.world.is_playing():returnreset_env_ids = self.reset_buf.nonzero(as_tuple=False).squeeze(-1)#只获取没有复位的环境if len(reset_env_ids) > 0:self.reset_idx(reset_env_ids)#TODO:复位的环境动作清零#获取当前位置joints = self.ur5.get_joints()self.cube_pos, self.cube_rot = self._cubes.get_local_poses()self.tcp_pos,self.tcp_rot=self.ur5.get_TCP_pose(isworld=True)#设置动作增量target=self.tcp_pos+actions*0.05#执行动作self.ur5.set_pose(target, self.cube_rot, joints, apply=True)#self.ur5.set_pose(self.cube_pos, self.cube_rot, joints, apply=True)def get_observations(self) -> dict:cube_pos, cube_rot = self._cubes.get_local_poses()self.tcp_pos,self.tcp_rot=self.ur5.get_TCP_pose(isworld=True)#计算与目标的误差,作为关节角度pos_error= cube_pos - self.tcp_pospos_error=torch.clip_(pos_error,-1,1)self.obs_buf[:,0] = pos_error[:,0]self.obs_buf[:,1] = pos_error[:,1]self.obs_buf[:,2] = pos_error[:,2]observations = {self.ur5.get_view().name: {"obs_buf": self.obs_buf}}return observationsdef calculate_metrics(self) -> None:# assign rewards to the reward bufferdistances=torch.norm(self.cube_pos-self.tcp_pos,dim=1)#reward=torch.where(distances<0.002,50,0)#reward = torch.where(distances >= 0.002, -distances, reward)#reward = torch.where(distances >0.1, -50, reward)#reward=torch.where(distances >= 0.002, -distances, 100)#reward=-distances# reward = torch.where(distances < 0.01, 1, -distances)# reward = torch.where(distances < 0.002, 100, reward)# reward+=-0.1reward=-distancesreward = torch.where(distances < 0.005, 50, 0)#logging.warning(reward)#reward=50self.rew_buf[:] = rewarddef is_done(self) -> None:distances = torch.norm(self.cube_pos - self.tcp_pos, dim=1)distance_x=abs(self.cube_pos[:,0]-self.tcp_pos[:,0])distance_y=abs(self.cube_pos[:,1]-self.tcp_pos[:,1])distance_z = abs(self.cube_pos[:, 2] - self.tcp_pos[:, 2])resets=torch.where(distances<0.005,1,0)reset_env_ids = resets.nonzero(as_tuple=False).squeeze(-1)#只获取没有复位的环境if(len(reset_env_ids)>0):logging.warning(msg=("成功个数:",len(reset_env_ids)))resets = torch.where((distance_x > 0.11) | (distance_y > 0.11) | (distance_z > 0.11),torch.tensor(1, dtype=resets.dtype), resets)resets = torch.where(self.progress_buf >= self._max_episode_length, torch.tensor(1, dtype=resets.dtype), resets)self.reset_buf[:] = resetsreturndef post_reset(self):reset_tensor = self._reset_pose.repeat(self._num_envs, 1)#(6->(envs,6))self.ur5.set_joints(reset_tensor, indices=torch.arange(self._num_envs))def reset_idx(self, env_ids):self.update_cube(env_ids)num_resets = len(env_ids)random_array = np.random.rand(num_resets, 3)# 将其缩放到 [-0.2, 0.2)noise = (random_array - 0.5) * 0.2cube_pose=self.cube_posegoal=cube_pose+torch.tensor(noise).cuda()goal=goal-self.ur5.robot_positionintijoint=np.repeat(self._reset_pose.cpu().numpy()[np.newaxis, :], num_resets, axis=0)joints=self.ur5.get_iks(goal.cpu().numpy(),self.origin_cube_orientation.cpu().numpy(),intijoint)joints=torch.tensor(joints, dtype=torch.float32).cuda()indices = env_ids.to(dtype=torch.int32)self.ur5.set_joints(joints, indices=indices)# bookkeepingself.reset_buf[env_ids] = 0self.progress_buf[env_ids] = 0################################def get_cartpole(self):# add a single robot to the stagecartpole = Cartpole(prim_path=self.default_zero_env_path + "/Cartpole", name="Cartpole", translation=self._cartpole_positions)# applies articulation settings from the task configuration yaml fileself._sim_config.apply_articulation_settings("Cartpole", get_prim_at_path(cartpole.prim_path), self._sim_config.parse_actor_config("Cartpole"))def get_ur5(self):self.ur5=UR5(prim_path=self.default_zero_env_path + "/UR5", name="UR5", translation=self._cartpole_positions,ik_urdfPath="E:\\1_Project\\py\\paper3\\sim-force2-real\\model\\ur5new\\ur_description-main\\ur_description-main\\urdf\\ur5.urdf")def get_table(self):usdpath="C:\\Users\\Administrator\\AppData\\Local\\ov\\pkg\\gym\\OmniIsaacGymEnvs\\omniisaacgymenvs\\robots\\myrobots\\model\\table\\table.usd"add_reference_to_stage(usdpath, prim_path=self.default_zero_env_path + "/table")def get_cube(self):from omni.isaac.core.objects import VisualCuboidcube_pose=np.array([0.5, 0.3, 1.00])cube_orientation=np.array([0.0000000000, 1, 0, 0.0000000])self.origin_cube_pose=torch.tensor(np.tile(cube_pose, (self.num_envs, 1))).cuda()self.origin_cube_orientation=torch.tensor(np.tile(cube_orientation, (self.num_envs, 1))).cuda()VisualCuboid(prim_path=self.default_zero_env_path + "/prop/prop_0",name="fancy_cube",position=cube_pose,orientation=cube_orientation,scale=np.array([0.05015, 0.05015, 0.05015]),color=np.array([0, 0, 1.0]),)def update_cube(self,indices):n = len(indices)# Generate (n, 3) random numbers in the range (-0.3, 0.3)random_offsets = (torch.rand((n, 3)) * 0.5 - 0.3).cuda()self.cube_pose=self.origin_cube_pose[indices]+random_offsetsself._cubes.set_local_poses(self.cube_pose,self.origin_cube_orientation,indices)def set_task_parameters(self):self.init_error_xyz=0.05

SKRL运行文件

接着是SKRL运行的主程序文件:

import torch
import torch.nn as nn# import the skrl components to build the RL system
from skrl.agents.torch.sac import SAC, SAC_DEFAULT_CONFIG
from skrl.envs.loaders.torch import load_omniverse_isaacgym_env
from skrl.envs.wrappers.torch import wrap_env
from skrl.memories.torch import RandomMemory
from skrl.models.torch import DeterministicMixin, GaussianMixin, Model
from skrl.resources.preprocessors.torch import RunningStandardScaler
from skrl.trainers.torch import SequentialTrainer
from skrl.utils import set_seed# seed for reproducibility
set_seed()  # e.g. `set_seed(42)` for fixed seed# define models (stochastic and deterministic models) using mixins
class StochasticActor(GaussianMixin, Model):def __init__(self, observation_space, action_space, device, clip_actions=False,clip_log_std=True, min_log_std=-2, max_log_std=2):Model.__init__(self, observation_space, action_space, device)GaussianMixin.__init__(self, clip_actions, clip_log_std, min_log_std, max_log_std)self.net = nn.Sequential(nn.Linear(self.num_observations, 256),nn.ELU(),nn.Linear(256, 256),nn.ELU())self.mean_layer = nn.Sequential(nn.Linear(256, self.num_actions),nn.Tanh())self.log_std_parameter = nn.Parameter(torch.zeros(self.num_actions))def compute(self, inputs, role):action=self.mean_layer(self.net(inputs["states"]))log=self.log_std_parameteroutput={}return action,log,outputclass Critic(DeterministicMixin, Model):def __init__(self, observation_space, action_space, device, clip_actions=False):Model.__init__(self, observation_space, action_space, device)DeterministicMixin.__init__(self, clip_actions)self.net = nn.Sequential(nn.Linear(self.num_observations + self.num_actions, 256),nn.ELU(),nn.Linear(256, 1),nn.ELU())def compute(self, inputs, role):return self.net(torch.cat([inputs["states"], inputs["taken_actions"]], dim=1)), {}# load and wrap the Omniverse Isaac Gym environment
env = load_omniverse_isaacgym_env(task_name="Ur5Insert")
env = wrap_env(env)device = env.device# instantiate a memory as rollout buffer (any memory can be used for this)
memory = RandomMemory(memory_size=1000000, num_envs=env.num_envs, device=device)# instantiate the agent's models (function approximators).
# SAC requires 5 models, visit its documentation for more details
# https://skrl.readthedocs.io/en/latest/api/agents/sac.html#models
models = {}
models["policy"] = StochasticActor(env.observation_space, env.action_space, device)
models["critic_1"] = Critic(env.observation_space, env.action_space, device)
models["critic_2"] = Critic(env.observation_space, env.action_space, device)
models["target_critic_1"] = Critic(env.observation_space, env.action_space, device)
models["target_critic_2"] = Critic(env.observation_space, env.action_space, device)# configure and instantiate the agent (visit its documentation to see all the options)
# https://skrl.readthedocs.io/en/latest/api/agents/sac.html#configuration-and-hyperparameters
cfg = SAC_DEFAULT_CONFIG.copy()
cfg["gradient_steps"] = 1
cfg["batch_size"] = 4096
cfg["discount_factor"] = 0.99
cfg["polyak"] = 0.005
cfg["actor_learning_rate"] = 5e-4
cfg["critic_learning_rate"] = 5e-4
cfg["random_timesteps"] = 80
cfg["learning_starts"] = 80
cfg["grad_norm_clip"] = 0
cfg["learn_entropy"] = True
cfg["entropy_learning_rate"] = 5e-3
cfg["initial_entropy_value"] = 1.0
cfg["state_preprocessor"] = RunningStandardScaler
cfg["state_preprocessor_kwargs"] = {"size": env.observation_space, "device": device}
# logging to TensorBoard and write checkpoints (in timesteps)
cfg["experiment"]["write_interval"] = 800
cfg["experiment"]["checkpoint_interval"] = 8000
cfg["experiment"]["directory"] = "runs/torch/Ur5InsertSAC"agent = SAC(models=models,memory=memory,cfg=cfg,observation_space=env.observation_space,action_space=env.action_space,device=device)# configure and instantiate the RL trainer
cfg_trainer = {"timesteps": 160000, "headless": True}
trainer = SequentialTrainer(cfg=cfg_trainer, env=env, agents=agent)# start training
trainer.train()

训练结果与速度对比

在这里,我使用的是SAC,并且在yaml配置文件里面改了很多参数,最终才把整个程序跑起来并成功训练。不得不吐槽一下,SKRL对于这么一个简单的任务,竟然对超参数那么敏感,我使用PPO甚至训练了5W步都不收敛,跟SB3比还是有点差距的。

这里我只设置了32个agent,SAC大概在1000步左右就学会了怎么reach。1000步的时间大概花了1分半钟。不得不说,这个速度相比官方的cartpole例程,1024个agent相比是要慢非常多的。这其中是什么原因我也不知道,速度慢了差不多30倍。

但是尽管如此,omni Isaac gym的并行强化学习还是非常强,仅仅需要1分钟就把任务学会了。

另外我也对比了只是用1个agent的效果:

首先训练速度并没有快很多,1分钟1600步左右,其次这个训练结果跟并行训练比确实差很多。

32个agent在1000回合左右reward就已经上去了,并且有智能体已经能够陆续完成任务。但是只有一个agent的时候,甚至训练到了 5000步都还没有一次成功,更别说reward上去了。

然后,可以测试下把机器人的数量加到512是个什么情况,把机器人加到512后,软件启动有了明显的卡顿,等了1分钟界面才显示出来。

并且训练速度也是一言难尽,1分钟左右才100个回合。

综上而言,OMNI isaac gym在并行训练上确实是有很强大的效果,并且效率提升很大。但是在自己编写环境时,速度远远不及官方的例程好,甚至会有点卡顿。

结果分析

这里我分析可能存在的问题:

1. 机器人模型是多关节的,而cartpole只是2关节的,关节数会对仿真速度造成影响。

2.尽管OMNI ISAAC GYM环境给你并行出来很多个机器人,但是你在做数据处理的时候,也非常考验你的编程能力。例如这里我没有使用官方的控制库rmpflow,而是选择了自己求解IK,我写的是for循环求解IK,那么每多一个机器人,就会多求一次ik,这里就会造成大量的时间消耗。目前我还没有找到可以批量求IK的库。此外不单是IK,如果涉及到图像处理,例如想使用opencv做一些边缘提取的话,那么这种for循环更是灾难。

3.但尽管如此,看到只有1个机器人的时候,运行速度也远不如官方给的carpole例程

运行体验与建议

1. Isaac sim实际上nvida很早就推出了,近些年也一直有在更新。但每次更新出来bug都很多,并且每次版本迭代API变化都很大。并行仿真环境一开始先是isaac gym,然后到了omni isaac gym,接着又是orbit。现在4.0之后,前面三个版本直接弃用,全部移植到isaac lab里面。需要仔细移植。

2. Isaac sim的优势在于视觉的仿真,正如官方给出的demo,视觉的仿真可以做到非常的逼真,这对于做视觉操作任务的研究无疑是非常好的,特别是在做视觉的sim2real以及数据合成这一块。但是力传感器的仿真一直存在问题,不知道4.0会不会好一些。

希望这些建议能帮助 NVIDIA 不断完善 Isaac Sim,使其成为更加优秀的仿真平台。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/60718.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python学习------第八天

函数 函数的传入参数 掌握函数返回值的作用 掌握函数返回值的定义语法 函数的嵌套调用&#xff1a; 函数的局部变量和全局变量 局部变量的作用&#xff1a;在函数体内部&#xff0c;临时保存数据&#xff0c;即当函数调用完成后&#xff0c;则销毁局部变量。 money 5000000 n…

机器学习基础04

目录 1.朴素贝叶斯-分类 1.1贝叶斯分类理论 1.2条件概率 1.3全概率公式 1.4贝叶斯推断 1.5朴素贝叶斯推断 1.6拉普拉斯平滑系数 1.7API 2.决策树-分类 2.1决策树 2.2基于信息增益的决策树建立 2.2.1信息熵 2.2.2信息增益 2.2.3信息增益决策树建立步骤 2.3基于基…

The Internals of PostgreSQL 翻译版 持续更新...

为了方便自己快速学习&#xff0c;整理了翻译版本&#xff0c;目前翻译的还不完善&#xff0c;后续会边学习边完善。 文档用于自己快速参考&#xff0c;会持续修正&#xff0c;能力有限,无法确保正确!!! 《The Internals of PostgreSQL 》 不是 《 PostgreSQL14 Internals 》…

Android 无签名系统 debug 版本APK push到设备引起的开机异常问题分析(zygote进程)

问题背景 前置操作&#xff1a; 替换原system/priv-app 目录下已有的应用包未未签名的debug版本&#xff0c;然后重启。 现象&#xff1a; 无法正常开机&#xff0c;卡在开机动画&#xff0c;并且pm没有起来&#xff0c;因为执行adb install 命令是返回“cmd: Cant find se…

深度学习推荐系统的工程实现

参考自《深度学习推荐系统》——王喆&#xff0c;用于学习和记录。 介绍 之前章节主要从理论和算法层面介绍了推荐系统的关键思想。但算法和模型终究只是“好酒”&#xff0c;还需要用合适的“容器”盛载才能呈现出最好的味道&#xff0c;这里的“容器”指的就是实现推荐系统…

attention 注意力机制 学习笔记-GPT2

注意力机制 这可能是比较核心的地方了。 gpt2 是一个decoder-only模型&#xff0c;也就是仅仅使用decoder层而没有encoder层。 decoder层中使用了masked-attention 来进行注意力计算。在看代码之前&#xff0c;先了解attention-forward的相关背景知识。 在普通的self-atten…

Java 内存区域详解

对于 Java 程序员来说&#xff0c;在虚拟机自动内存管理机制下&#xff0c;不再需要像 C/C程序开发程序员这样为每一个 new 操作去写对应的 delete/free 操作&#xff0c;不容易出现内存泄漏和内存溢出问题。正是因为 Java 程序员把内存控制权利交给 Java 虚拟机&#xff0c;一…

FluentUI使用

首先向Qt Qml FluentUI组件库的作者zhuzichu520致敬&#xff01; 一、源码下载地址&#xff1a; 1&#xff09;GitHub - zhuzichu520/FluentUI: FluentUI for QML 2&#xff09;GitCode - 全球开发者的开源社区,开源代码托管平台 二、Qt6下载地址&#xff1a; qt-online-i…

【UE5】在材质Custom写函数的方法

UE材质的Custom本身会构建为函数&#xff0c;所以并不能在Custom定义函数&#xff0c;但当然还是有办法的 总结一些在custom写函数的方法 常规办法 常规办法就是使用结构体作为函数使用 以一个Lerp功能函数演示 让我们看看写法&#xff1a; struct VolBlendFunc //定义结…

分享 pdf 转 word 的免费平台

背景 找了很多 pdf 转 word 的平台都骗进去要会员&#xff0c;终于找到一个真正免费的&#xff0c;遂分享。 网址 PDF转Word转换器 - 100%免费市面上最优质的PDF转Word转换器 - 免费且易于使用。无附加水印 - 快速将PDF转成Word。https://smallpdf.com/cn/pdf-to-word

【LeetCode】每日一题 2024_11_14 统计好节点的数目(图/树的 DFS)

前言 每天和你一起刷 LeetCode 每日一题~ LeetCode 启动&#xff01; 题目&#xff1a;统计好节点的数目 代码与解题思路 先读题&#xff1a;题目要求我们找出好节点的数量&#xff0c;什么是好节点&#xff1f;“好节点的所有子节点的数量都是相同的”&#xff0c;拿示例一…

【模块化大作战】Webpack如何搞定CommonJS与ES6混战(3)

在前端开发中&#xff0c;模块化是一个重要的概念&#xff0c;不同的模块化标准有不同的特点和适用场景。webpack 同时支持 CommonJS 和 ES6 Module&#xff0c;因此需要理解它们在互操作时 webpack 是如何处理的。 同模块化标准 如果导出和导入使用的是同一种模块化标准&…

SystemVerilog学习笔记(十):进程/细粒度进程控制

进程 进程或线程是作为独立实体执行的任何代码片段。fork-join块创建并行运行的不同线程。在下面的图-1中&#xff0c;可以看到进程的类型和进程控制。 序号进程描述1.fork-join只有所有子线程执行完毕时&#xff0c;父线程才会执行。2.fork-join_any只有任何一个子线程执行完…

javascript用来干嘛的?赋予网站灵魂的语言

javascript用来干嘛的&#xff1f;赋予网站灵魂的语言 在互联网世界中&#xff0c;你所浏览的每一个网页&#xff0c;背后都有一群默默工作的代码在支撑着。而其中&#xff0c;JavaScript就像是一位技艺精湛的魔术师&#xff0c;它赋予了网页生命力&#xff0c;让原本静态的页…

Golang | Leetcode Golang题解之第553题最优除法

题目&#xff1a; 题解&#xff1a; func optimalDivision(nums []int) string {n : len(nums)if n 1 {return strconv.Itoa(nums[0])}if n 2 {return fmt.Sprintf("%d/%d", nums[0], nums[1])}ans : &strings.Builder{}ans.WriteString(fmt.Sprintf("%d…

宝塔 docker 部署onlyoffice 服务

1.宝塔安装docker,直接下载安装就行 2.docker拉取onlyoffice镜像 docker pull onlyoffice/documentserver:5.3.1.26 5.4或更高的版本已经解决了连接数限制方法的Bug 3.创建容器 docker run -d --name onlyoffice --restartalways -p 暴露端口号:80 onlyoffice/documentserv…

InternVL 多模态模型部署微调实践

目录 0 什么是MLLM 1 开发机创建与使用 2 LMDeploy部署 2.1 环境配置 2.2 LMDeploy基本用法介绍 2.3 网页应用部署体验 3 XTuner微调实践 3.1 环境配置 3.2.配置文件参数解读 3.3 开始微调 4.体验模型美食鉴赏能力 0 什么是MLLM 多模态大语言模型 ( Multimodal Larg…

pgSQL-timescaledb复制表出现的问题

今日在工作中&#xff0c;需要复制一张timescaledb表&#xff0c;pgAdmin上复制一直未成功&#xff0c;或者我找错位置了。 1.我使用Navicate连接pgSQL&#xff0c;连上后选中相应表&#xff0c;右键复制结构即可 2.复制结构后&#xff0c;到pgAdmin中&#xff0c;将对应表下的…

Docker:技术架构的演进之路

前言 技术架构是指在软件开发和系统构建中&#xff0c;为了满足业务需求和技术要求&#xff0c;对系统的整体结构、组件、接口、数据流以及技术选型等方面进行的详细设计和规划。它是软件开发过程中的重要组成部分&#xff0c;为开发团队提供了明确的指导和规范&#xff0c;确…

A029-基于Spring Boot的物流管理系统的设计与实现

&#x1f64a;作者简介&#xff1a;在校研究生&#xff0c;拥有计算机专业的研究生开发团队&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的网站项目。 代码可以查看文章末尾⬇️联系方式获取&#xff0c;记得注明来意哦~&#x1f339; 赠送计算机毕业设计600…