JAVA版本问题
master进程以jdk7运行，worker以jdk6运行。
产生原因
集群中的机器曾由jdk6升级至jdk7，升级后未卸载jdk6。由未知原因（初步推测ssh配置的问题），导致ssh host "java -version"命令结果显示为jdk6，但ssh至host后再运行java -version命令则显示jdk7。而spark运行worker是通过ssh来启动的，所以导致worker全部以jdk6启动。
解决方法
在spark执行用户下的.bashrc中加入$JAVA_HOME, $PATH等环境变量，然后重启集群。
pid文件问题
运行$SPARK_HOME/sbin/下的各种stop开头的sh文件都会显示类似下方错误：
|
1 2 |
spark9.et2: no org.apache.spark.deploy.worker.Worker to stop no org.apache.spark.deploy.master.Master to stop |
产生原因
spark默认将master和worker的pid文件放在/tmp目录下，linux系统默认每30天清理一次/tmp目录下的文件。pid文件丢失将导致无法正确关闭相应进程。
解决方法
修改集群所有$SPARK_HOME/conf/spark-env.sh文件，加入环境变量SPARK_PID_DIR：
|
1 |
export SPARK_PID_DIR=/home/root/spark/ |
对于已丢失pid文件的spark集群，可在$SPARK_PID_DIR目录下手动创建pid文件并写入正确的pid，然后运行$SPARK_HOME/sbin/stop-all.sh即可关闭集群；或者手动kill master和worker进程。
master pid文件名：spark-push-org.apache.spark.deploy.master.Master-1.pid (可参考logs下面的日志名称)
worker pid文件名：spark-push-org.apache.spark.deploy.worker.Worker-1.pid (可参考logs下面的日志名称)
写hbase问题
spark任务无法写hbase，报错如下：
|
1 |
java.lang.IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString |
产生原因
hbase bug导致，详见jira：https://issues.apache.org/jira/browse/HBASE-10304
解决方法1
集群所有$SPARK_HOME/conf/spark-defaults.conf文件中添加：
|
1 2 |
spark.driver.extraClassPath $SOME_PATH/hbase-protocol-0.98.1-cdh5.1.0.jar spark.executor.extraClassPath $SOME_PATH/hbase-protocol-0.98.1-cdh5.1.0.jar |
并将hbase-protocol-0.98.1-cdh5.1.0.jar文件分发到集群中每台机器相应的路径下（$SOME_PATH），然后重启集群。
解决方法2
集群不方便重启的情况下，可通过修改提交作业命令来解决：
|
1 |
bin/spark-submit --class com.Service --master spark://master:7077 --conf "spark.driver.extraClassPath=/home/root/hbase-protocol-0.98.1-cdh5.1.0.jar" --conf "spark.executor.extraClassPath=/home/root/hbase-protocol-0.98.1-cdh5.1.0.jar" --jars /home/root/hbase-protocol-0.98.1-cdh5.1.0.jar --total-executor-cores 12 --executor-memory 10G demo.jar |
同样需要将hbase-protocol-0.98.1-cdh5.1.0.jar文件分发到集群中每台机器相应的路径下。
班门弄斧一下： ssh host cmd 和直接ssh上后cmd结果不一样是因为ssh直接运行远程命令是非交互非登录模式与ssh上去得到一个登录交互式Shell二者加载的环境变量不一样。