SparkUI任务启动参数介绍（148个参数）

1 spark.app.id: Spark 应用程序的唯一标识符。
2 spark.app.initial.jar.urls: Spark 应用程序的初始 Jar 包的 URL。
3 spark.app.name: Spark 应用程序的名称。
4 spark.app.startTime: Spark 应用程序的启动时间。
5 spark.app.submitTime: Spark 应用程序的提交时间。
6 spark.blacklist.enabled: 是否启用黑名单机制，用于阻止执行失败的节点。
7 spark.buffer.size: 用于 IO 缓冲的大小。
8 spark.cleaner.periodicGC.interval: 周期性垃圾回收清理器的间隔。
9 spark.driver.appUIAddress: Driver 进程的 UI 地址。
10 spark.driver.extraJavaOptions: Driver 进程的额外 Java 选项。
11 spark.driver.host: Driver 进程的主机名。
12 spark.driver.maxResultSize: Driver 进程可以接收的最大结果大小。
13 spark.driver.memory: Driver 进程的内存大小。
14 spark.driver.port: Driver 进程的端口号。
15 spark.dynamicAllocation.enabled: 是否启用动态资源分配。
16 spark.dynamicAllocation.executorIdleTimeout: Executor 空闲超时时间。
17 spark.dynamicAllocation.initialExecutors: 初始 Executor 数量。
18 spark.dynamicAllocation.maxExecutors: 最大 Executor 数量。
19 spark.dynamicAllocation.minExecutors: 最小 Executor 数量。
20 spark.eventLog.compress: 是否压缩事件日志。
21 spark.eventLog.dir: 事件日志目录。
22 spark.eventLog.enabled: 是否启用事件日志。
23 spark.executor.cores: 每个 Executor 的 CPU 核心数。
24 spark.executor.extraJavaOptions: 每个 Executor 的额外 Java 选项。
25 spark.executor.id: Executor 的唯一标识符。
26 spark.executor.instances: Executor 的实例数量。
27 spark.executor.memory: 每个 Executor 的内存大小。
28 spark.executor.memoryOverhead: 每个 Executor 的内存 overhead。
29 spark.extraListeners: 额外的监听器。
30 spark.files.ignoreCorruptFiles: 是否忽略损坏的文件。
31 spark.hadoop.fs.file.impl.disable.cache: 是否禁用文件系统的缓存。
32 spark.hadoop.fs.hdfs.impl.disable.cache: 是否禁用 HDFS 的缓存。
33 spark.hadoop.mapreduce.input.fileinputformat.list-status.num-threads: 文件输入格式的线程数。
34 spark.hadoopRDD.ignoreEmptySplits: 是否忽略空分片。
35 spark.history.fs.cleaner.enabled: 是否启用历史文件系统清理器。
36 spark.history.fs.cleaner.interval: 历史文件系统清理器的清理间隔。
37 spark.history.fs.cleaner.maxAge: 历史文件系统清理器的最大年龄。
38 spark.history.fs.update.interval: 历史文件系统更新间隔。
39 spark.history.kerberos.enabled: 是否启用 Kerberos 认证。
40 spark.history.provider: 历史记录提供程序。
41 spark.history.retainedApplications: 保留的历史应用程序数量。
42 spark.history.store.maxDiskUsage: 历史存储的最大磁盘使用量。
43 spark.history.ui.maxApplications: 历史 UI 的最大应用程序数量。
44 spark.hive.server2.proxy.user: Hive Server2 代理用户。
45 spark.jars: Spark 应用程序所需的 Jar 包。
46 spark.kerberos.access.hadoopFileSystems: Kerberos 访问 Hadoop 文件系统。
47 spark.kryoserializer.buffer.max: Kryo 序列化器的最大缓冲区大小。
48 spark.kyuubi.client.ipAddress: Kyuubi 客户端的 IP 地址。
49 spark.kyuubi.engine.credentials: Kyuubi 引擎的凭证。
50 spark.kyuubi.engine.share.level: Kyuubi 引擎共享级别。
51 spark.kyuubi.engine.share.level.subdomain: Kyuubi 引擎共享级别子域。
52 spark.kyuubi.engine.submit.time: Kyuubi 引擎提交时间。
53 spark.kyuubi.ha.engine.ref.id: Kyuubi HA 引擎引用 ID。
54 spark.kyuubi.ha.namespace: Kyuubi HA 命名空间。
55 spark.kyuubi.ha.zookeeper.auth.keytab: Kyuubi HA ZooKeeper 认证 keytab。
56 spark.kyuubi.ha.zookeeper.auth.principal: Kyuubi HA ZooKeeper 认证 principal。
57 spark.kyuubi.ha.zookeeper.auth.type: Kyuubi HA ZooKeeper 认证类型。
58 spark.kyuubi.ha.zookeeper.namespace: Kyuubi HA ZooKeeper 命名空间。
59 spark.kyuubi.ha.zookeeper.quorum: Kyuubi HA ZooKeeper quorum。
60 spark.kyuubi.operation.result.max.rows: Kyuubi 操作结果的最大行数。
61 spark.kyuubi.session.engine.idle.timeout: Kyuubi 会话引擎空闲超时时间。
62 spark.locality.wait: 本地性等待时间。
63 spark.locality.wait.node: 节点本地性等待时间。
64 spark.locality.wait.process: 进程本地性等待时间。
65 spark.locality.wait.rack: 机架本地性等待时间。
66 spark.master: Spark Master 地址。
67 spark.maxRemoteBlockSizeFetchToMem: 最大远程块大小从磁盘到内存。
68 spark.network.timeout: 网络超时时间。
69 spark.org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter.param.PROXY_HOSTS: YARN Web 代理参数。
70 spark.org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter.param.PROXY_URI_BASES: YARN Web 代理 URI 基础路径。
71 spark.org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter.param.RM_HA_URLS: YARN Web 代理 RM HA URLs。
72 spark.redaction.regex: 日志内容的正则表达式，用于数据遮蔽。
73 spark.reducer.maxBlocksInFlightPerAddress: 每个地址的最大块数。
74 spark.reducer.maxReqsInFlight: 最大并行请求数。
75 spark.repl.class.outputDir: REPL 类的输出目录。
76 spark.repl.class.uri: REPL 类的 URI。
77 spark.rpc.askTimeout: RPC 询问超时时间。
78 spark.scheduler.mode: Spark 调度模式。
79 spark.serializer: 序列化器。
80 spark.shuffle.detectCorrupt.useExtraMemory: 是否使用额外内存检测 Shuffle 数据的损坏。
81 spark.shuffle.file.buffer: Shuffle 文件的缓冲区大小。
82 spark.shuffle.io.maxRetries: Shuffle IO 的最大重试次数。
83 spark.shuffle.io.preferDirectBufs: 是否优先使用直接缓冲区。
84 spark.shuffle.io.retryWait: Shuffle IO 重试等待时间。
85 spark.shuffle.mapOutput.parallelAggregationThreshold: 并行聚合阈值。
86 spark.shuffle.readHostLocalDisk: 是否从本地磁盘读取 Shuffle 数据。
87 spark.shuffle.registration.maxAttempts: Shuffle 注册的最大尝试次数。
88 spark.shuffle.registration.timeout: Shuffle 注册的超时时间。
89 spark.shuffle.service.enabled: 是否启用 Shuffle 服务。
90 spark.shuffle.spill.diskWriteBufferSize: Shuffle Spill 磁盘写缓冲区大小。
91 spark.shuffle.unsafe.file.output.buffer: 不安全 Shuffle 文件输出缓冲区大小。
92 spark.shuffle.useOldFetchProtocol: 是否使用旧的 Fetch 协议。
93 spark.speculation: 是否启用任务推测执行。
94 spark.speculation.interval: 任务推测执行的间隔。
95 spark.speculation.multiplier: 任务推测执行的倍数。
96 spark.speculation.quantile: 任务推测执行的分位数。
97 spark.speculation.task.duration.threshold: 任务推测执行的持续时间阈值。
98 spark.sql.access.authorization.enable: 是否启用 SQL 访问授权。
99 spark.sql.access.iceberg.enable: 是否启用 Iceberg 表的 SQL 访问。
100 spark.sql.adaptive.advisoryPartitionSizeInBytes: 自适应执行中分区大小的建议值。
101 spark.sql.adaptive.autoBroadcastJoinThreshold: 自适应执行中自动广播连接的阈值。
102 spark.sql.adaptive.enabled: 是否启用自适应执行。
103 spark.sql.adaptive.fetchShuffleBlocksInBatch: 自适应执行中每批次获取 Shuffle 块的数量。
104 spark.sql.adaptive.maxShuffledHashJoinLocalMapThreshold: 自适应执行中本地 Map 阈值。
105 spark.sql.adaptive.nonEmptyPartitionRatioForBroadcastJoin: 自适应执行中非空分区比例的广播连接阈值。
106 spark.sql.adaptive.skewJoin.enabled: 自适应执行中是否启用偏斜连接。
107 spark.sql.adaptive.skewJoin.skewedPartitionFactor: 自适应执行中偏斜连接的分区因子。
108 spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes: 自适应执行中偏斜连接的分区阈值。
109 spark.sql.autoBroadcastJoinThreshold: 自动广播连接的阈值。
110 spark.sql.broadcastTimeout: 广播连接的超时时间。
111 spark.sql.catalog.hive_catalog: Hive Catalog 名称。
112 spark.sql.catalog.hive_catalog.type: Hive Catalog 类型。
113 spark.sql.catalog.hive_catalog.url: Hive Catalog URL。
114 spark.sql.catalog.spark_catalog: Spark Catalog 名称。
115 spark.sql.catalog.spark_catalog.type: Spark Catalog 类型。
116 spark.sql.catalogImplementation: SQL Catalog 实现。
117 spark.sql.crossJoin.enabled: 是否启用跨连接。
118 spark.sql.execution.topKSortFallbackThreshold: 执行中 Top-K 排序的阈值。
119 spark.sql.extensions: SQL 扩展。
120 spark.sql.files.ignoreCorruptFiles: 是否忽略损坏的文件。
121 spark.sql.files.ignoreMissingFiles: 是否忽略缺失的文件。
122 spark.sql.finalStage.adaptive.advisoryPartitionSizeInBytes: 最终阶段执行中分区大小的建议值。
123 spark.sql.finalStage.adaptive.coalescePartitions.minPartitionNum: 最终阶段执行中合并分区的最小分区数。
124 spark.sql.finalStage.adaptive.skewJoin.skewedPartitionFactor: 最终阶段执行中偏斜连接的分区因子。
125 spark.sql.finalStage.adaptive.skewJoin.skewedPartitionThresholdInBytes: 最终阶段执行中偏斜连接的分区阈值。
126 spark.sql.hive.convertInsertingPartitionedTable: Hive 表插入分区的转换。
127 spark.sql.hive.verifyPartitionPath: Hive 表分区路径验证。
128 spark.sql.legacy.castComplexTypesToString.enabled: 是否启用将复杂类型强制转换为字符串的遗留行为。
129 spark.sql.legacy.setCommandRejectsSparkCoreConfs: 是否拒绝设置 Spark Core 配置的遗留 set 命令。
130 spark.sql.legacy.timeParserPolicy: 时间解析策略。
131 spark.sql.optimizer.finalStageConfigIsolation.enabled: 是否启用最终阶段配置隔离。
132 spark.sql.parquet.recordLevelFilter.enabled: 是否启用 Parquet 记录级别过滤。
133 spark.sql.queryExecutionListeners: 查询执行监听器。
134 spark.sql.runSQLOnFiles: 是否在文件上运行 SQL 查询。
135 spark.sql.shuffle.partitions: Shuffle 阶段的分区数。
136 spark.sql.statistics.fallBackToHdfs: 是否回退到 HDFS 统计信息。
137 spark.sql.storeAssignmentPolicy: 存储分配策略。
138 spark.submit.deployMode: Spark 应用程序的部署模式。
139 spark.submit.pyFiles: 提交给 Spark 应用程序的 Python 文件。
140 spark.ui.filters: Spark UI 的过滤器。
141 spark.ui.port: Spark UI 的端口。
142 spark.yarn.am.cores: YARN ApplicationMaster 的 CPU 核心数。
143 spark.yarn.am.memory: YARN ApplicationMaster 的内存大小。
144 spark.yarn.am.memoryOverhead: YARN ApplicationMaster 的内存 overhead。
145 spark.yarn.am.waitTime: YARN ApplicationMaster 的等待时间。
146 spark.yarn.historyServer.address: YARN 历史服务器地址。
147 spark.yarn.queue: YARN 队列。
148 spark.yarn.tags: YARN 标签。