flink-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Kien Truong <duckientru...@gmail.com>
Subject Re: Consumer offsets not visible in Kafka
Date Thu, 19 Apr 2018 14:07:47 GMT
Hi,

That tool only shows active consumer-groups that make use of the 
automatic partitions assignment API.

Flink use the manual partitions assignment API, so it will now show up 
there.


The best way to monitor kafka offset with Flink is using Flink's own 
metrics system.

Otherwise, you can scan the __committed_offset  topics and search for 
the committed offset,

however this result can be outdated, since Flink only commits offset on 
checkpoint

bin/kafka-console-consumer.sh --consumer.config config/consumer.properties
--from-beginning --topic __consumer_offsets --zookeeper zookeeper:2181
--formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"


Best regards,

Kien


On 4/19/2018 4:37 PM, Bernd.Winterstein@Dev.Helaba.de wrote:
> Hi
> We are using Kafka 0.11  consumers with Flink 1.4 and Confluence Kafka 
> 4.0.0. Checkpointing is enabled and enableCommitOnCheckpoints ist set 
> to true.
> However there are no offsets from Flink jobs visible in Kafka when 
> checking with the kafka-consumer-groups tool.
> Any ideas
> Regards
> Bernd
>
> _________________________________ _
>
>
> Landesbank Hessen-Thueringen Girozentrale
> Anstalt des oeffentlichen Rechts
> Sitz: Frankfurt am Main / Erfurt
> Amtsgericht Frankfurt am Main, HRA 29821 / Amtsgericht Jena, HRA 102181
>
> Bitte nutzen Sie die E-Mail-Verbindung mit uns ausschliesslich zum 
> Informationsaustausch. Wir koennen auf diesem Wege keine 
> rechtsgeschaeftlichen Erklaerungen (Auftraege etc.) entgegennehmen.
>
> Der Inhalt dieser Nachricht ist vertraulich und nur fuer den 
> angegebenen Empfaenger bestimmt. Jede Form der Kenntnisnahme oder 
> Weitergabe durch Dritte ist unzulaessig. Sollte diese Nachricht nicht 
> fur Sie bestimmt sein, so bitten wir Sie, sich mit uns per E-Mail oder 
> telefonisch in Verbindung zu setzen.
>
> Please use your E-mail connection with us exclusively for the exchange 
> of information. We do not accept legally binding declarations (orders, 
> etc.) by this means of communication.
>
> The contents of this message is confidential and intended only for the 
> recipient indicated. Taking notice of this message or disclosure by 
> third parties is not
> permitted. In the event that this message is not intended for you, 
> please contact us via E-mail or phone.

Mime
View raw message