Kafka | 程序员的自我修养 | 关注Java、大数据、机器学习

def createDirectStream[
    K: ClassTag,
    V: ClassTag,
    KD <: Decoder[K]: ClassTag,
    VD <: Decoder[V]: ClassTag] (
      ssc: StreamingContext,
      kafkaParams: Map[String, String],
      topics: Set[String]
  ): InputDStream[(K, V)] {...}

def createDirectStream[

K: ClassTag,

V: ClassTag,

KD <: Decoder[K]: ClassTag,

VD <: Decoder[V]: ClassTag] (

ssc: StreamingContext,

kafkaParams: Map[String, String],

topics: Set[String]

): InputDStream[(K, V)] {...}

这个方法只有3个参数，使用起来最为方便，但是每次启动的时候默认从Latest offset开始读取，或者设置参数auto.offset.reset="smallest"后将会从Earliest offset开始读取。

显然这2种读取位置都不适合生产环境。
（更多…）

查看全文

分类：Apache Kafka, Apache Spark, Scala语言

标签：Kafka, Scala, Spark

Anonymous:
Anonymous:
Anonymous:
zzg: 请问zz你问题核实了没� ��我也遇到了这个奇葩� ��问题，我们也是基�...
Anonymous:
kuyuzasur: what do i tell doctor to get viagra. edhelprie.mdhelpserv.com – how long we can take viagra,
Anonymous: 这个问题可以忽略。不影响
Anonymous:
Anonymous: 牛
Anonymous: 楼主你好，我偶尔也会遇到Reconnect due to socket error: java.nio.channels.ClosedCha...
Anonymous: sdfs
Anonymous:
Anonymous: java.io.NotSerializableExcepti on: DStream checkpointing has been enabled but the DStreams with their...
wick: HI,请问一下，U,S,V得到� ��，怎么得到近似矩阵� ��(用spark java)，谢谢。
Michael Whitaker: Thank you for this blog, it was very helpful in troubleshooting my own issues. It seems that no...
Anonymous:
Anonymous:
Anonymous:
洋流: 哥们，我问个问题，你把testOnborrow去掉了。。如果得到的jedis资源�...
洋流: 哥们，我问个问题，你把testOnborrow去掉了。。如果得到的jedis资源�...