关键词:

java.io.NotSerializableException: org.apache.spark.unsafe.types.UTF8String$IntWrapper

spark-2.2.0

 

 

 

在使用本机部署的spark-2.2.0时,

 

折腾了很长时间啊,本地的系统又重装一遍都没好。

 

最后发现,这是个系统bug,在2017.7.18修复。

https://github.com/apache/spark/pull/18660#issue-243560413

 

而spark-2.2.0的发布版是2017.7.11。

 

最后,

退回spark-2.1.2,问题就没有了。