spark Container Exit code is 143 解决办法

olivee 3年前 ⋅ 1296 阅读

1. 异常信息

Container killed on request. Exit code is 143

是因为spark分配的内存不足造成的，解决办法有二种

spark-submit的时候加上--driver-memory 2g --executor-memory 2g
修改spark-defaults.conf，添加以下内容

spark.driver.memory              2g  
spark.executor.memory            2g

yarn中的container是一个独立的进程，可以在yarn的界面总找到container的ID：

再到服务上根据ID找到对应的进程：

由下图可以看到这是的最大内存已经生效了：

#spark