spark-submit提交Spark Streaming+Kafka程序

2019 Java 开发者跳槽指南.pdf (吐血整理)….>>>

点击上方'伦少的博客'关注与您一起成长

spark-submit提交Spark Streaming+Kafka程序

前言

Spark Streaming本身是没有Kafka相关的jar包和API的,如果想利用Spark Streaming获取Kafka里的数据,需要自己将依赖添加SBT或Maven项目中,添加依赖更新项目之后,就可以在Eclipse等IDE里直接运行Spark Streamming+Kafka的程序了,可参考Spark Streaming连接Kafka入门教程,但是如果需要在集群通过spark-submit提交jar包的方式来运行程序的话,会抛出异常:

1Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/StringDeserializer

这是因为Spark本身没有Kafka相关的jar,所以需要将与Kafka相关的jar添加Spark环境中

1、相关jar包

总共需要两个jar,可以在SBT和Maven下载的目录里找到,分别为org.apache.spark/spark-streaming-kafka-0-10_2.11/jars/spark-streaming-kafka-0-10_2.11-2.3.0.jar和org.apache.kafka/kafka-clients/jars/kafka-clients-0.10.0.1.jar,具体的名字会因你的kafka版本和spark版本而有所不同

2、方法一(仅在执行spark-submit的节点上即可)

第一个方法也是我觉得最简单的方法,将这两个jar拷贝到$SPARK_HOME/jars目下即可
如果用ambari安装的spark2,则对应的目录为

1/usr/hdp/current/spark2-client/jars/

拷贝命令

1cp spark-streaming-kafka-0-10_2.11-2.3.0.jar kafka-clients-0.10.0.1.jar /usr/hdp/current/spark2-client/jars/

然后通过如下命令提交jar即可(只是最简单的配置,实际还需要配置Executor的数量,内存大小等等)

1spark-submit --master yarn --class com.dkl.leanring.spark.kafka.KafaDemo spark-scala_2.11-1.0.jar

3、方法二

通过--jars指定需要的jar,多个jar需要以逗号分隔

1spark-submit --master yarn --class com.dkl.leanring.spark.kafka.KafaDemo --jars jars/kafka-clients-0.10.0.1.jar,jars/spark-streaming-kafka-0-10_2.11-2.3.0.jar spark-scala_2.11-1.0.jar

这种方式如果依赖的jar很多的话就不方便了

关于spark-submit添加依赖jar更详细说明可参考spark-submit报错:Exception in thread "main" java.sql.SQLException:No suitable driver

参考

https://www.cnblogs.com/zhangXingSheng/p/6646879.html

关注我


spark-submit提交Spark Streaming+Kafka程序



原文始发于微信公众号(伦少的博客):spark-submit提交Spark Streaming+Kafka程序