遇到这个问题也是一脸懵逼,刚开始以为是自己的环境问题,但是pyspark没问题,后来在StackOverFlow找到了解决方案 StackOverflow:https://stackoverflow.com/questions/69669524/spark-illegal-character-in-path 两种解决方案
- 是spark降级3.0.*没有这种情况
- 启动两个spark, 一个master,然后用spark-shell连接master
spark-class org.apache.spark.deploy.master.Master # 打开另一个cmd, x上一步输出master地址 spark-shell --master spark://x.x.x.x:7077