本地local环境启动spark报错解决
阿里云国内75折 回扣 微信号:monov8 |
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6 |
1、启动内存不足报错
报错信息如下,在构建session之前打印信息正常
解决方式:在build时增加config信息 .config("spark.testing.memory","943718400")
val spark =
SparkSession.builder()
.config("spark.testing.memory","943718400")
.appName("test").master("local").getOrCreate()
2、出现Command line is too long. Shorten command line for SparkDemo or also for Application default configuration.报错
此报错为环境配置原因:
修改项目下 .idea\workspace.xml
找到标签 ,在标签里加一行 问题即可解决 :
<property name="dynamic.classpath" value="true" />
欢迎留言常见错误,能快速帮助一些需要之人!!!
阿里云国内75折 回扣 微信号:monov8 |
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6 |