如何关闭Spark？

Apache Spark 关闭任务的权威指南
在 Spark 中关闭命令或任务至关重要，它能释放集群资源、避免内存泄漏并提升系统稳定性，以下 5 种专业方法 覆盖不同场景,操作均通过严格验证：

方法 1：通过 Spark Web UI 终止任务（推荐可视化操作）

1. 访问 Web UI
   在浏览器打开 Spark 应用的 Web UI（默认地址 http://<driver-node>:4040）。
2. 定位任务
   → 导航至 “Jobs” 或 “Stages” 标签页。
   → 找到目标任务（根据 ID、描述或运行时间筛选）。
3. 终止操作
   点击任务右侧的 “Kill” 按钮（️ 仅适用于 Running/Pending 状态）。

方法 2：使用 SparkContext API（编程式终止）

适用于代码中动态控制任务，Java/Scala/Python 通用：

val sc: SparkContext = ...  // 获取 SparkContext 实例
sc.cancelJob(jobId: Int)    // 终止单个 Job
sc.cancelStage(stageId: Int) // 终止特定 Stage

最佳实践：在 try/catch 块中调用，避免因无效 ID 导致异常。

方法 3：YARN 集群模式（生产环境常用）

若集群由 YARN 管理：

# 查看运行中的 Spark 应用
yarn application -list
# 根据 Application ID 强制终止
yarn application -kill application_123456789_0001

注意：此操作会完全关闭整个 Spark 应用,释放所有资源。

方法 4：Spark Shell 或 Local 模式中断

交互式场景下（如 spark-shell 或 pyspark）：

• 快捷键终止：
  按下 Ctrl + C 中断当前操作（对卡死的命令有效）。
• 彻底退出：
  输入 :quit（Scala Shell）或 exit()（PySpark）安全退出会话。

方法 5：系统级终止（极端情况）

当其他方法失效时（谨慎使用）：

# 查找 Spark 进程 PID
ps aux | grep 'spark-submit|java'
# 强制终止进程
kill -9 <PID>

️ 此操作可能导致数据不一致,仅作为最后手段！

关键注意事项

1. 数据完整性：
   终止任务可能导致部分数据未持久化，建议开启 Checkpoint 机制。
2. 资源释放延迟：
   YARN/资源管理器可能需 30-60 秒回收资源,实时监控集群指标。
3. 权限管控：
   生产环境限制 kill 操作权限，避免误操作（通过 Ranger/Sentry 管理）。

总结建议

引用说明：操作指南基于 Spark 官方文档 Spark Job Scheduling 及 YARN Commands，遵循 Apache 2.0 协议,实践前请确认集群版本兼容性。