1、启动内存不足报错

报错信息如下,在构建session之前打印信息正常

本地local环境启动spark报错解决_spark

解决方式:在build时增加config信息 .config("spark.testing.memory","943718400")

val spark = SparkSession.builder()

.config("spark.testing.memory","943718400")

.appName("test").master("local").getOrCreate()

2、出现Command line is too long. Shorten command line for SparkDemo or also for Application default configuration.报错

本地local环境启动spark报错解决_内存不足_02

此报错为环境配置原因:

修改项目下 .idea\workspace.xml

找到标签 ,在标签里加一行 问题即可解决 :

<property name="dynamic.classpath" value="true" />

欢迎留言常见错误,能快速帮助一些需要之人!!!


阿里云国内75折 回扣 微信号:monov8
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6