Mon cas d'utilisation est la suivante:
J'ai un sujet de kafka Je veux lire de tels messages de L'ensemble des services est statique, je n'ai pas à gérer l'addition / l'enlèvement pour le moment.
J'espérais utiliser J'ai vu Je sais aussi My question est: y a-t-il un moyen d'atteindre ce sujet d'expédition avec des outils natifs de Kafka sans écrire un consommateur de Kafka / producteur moi-même?
PS: Si quelqu'un pense que A avec des messages "logiquement" appartenant à différents "services", je ne traite pas ni le système n'envoie les messages à a .
A et l'envoyer à un ensemble de sujets de service sur le même cluster (appelons-les a_1, ..., a_n ), basé sur une colonne décrivant le service (le format est le style CSV, mais cela n'a pas d'importance).
kafkaconnect pour effectuer une telle tâche mais, surprenante, il n'y a pas de source de Kafka / éviers (je ne trouve pas les billets, mais ils ont été rejetés).
midypaker2 mais cela ressemble à une overcilleuse pour mon article (simple).
kafkastreams mais je préfère ne pas écrire et gérer le code juste pour cela.
Midressaker2 pourrait être un bon ajustement que je suis intéressé, je ne connais pas très bien l'outil très bien.
3 Réponses :
Mirror Maker est pour faire ... Mirrorage. C'est utile lorsque vous souhaitez refléter un cluster d'un centre de données à l'autre avec les mêmes sujets. Votre cas d'utilisation est différent.
KAFKA Connect est de synchroniser différents systèmes (données de bases de données par exemple) via des sujets de Kafka, mais je ne le vois pas pour ce cas d'utilisation non plus.
J'utiliserais une application de flux de Kafka pour cela.
Quant à mes connaissances, il n'y a pas de moyen simple de brancher des messages de sujet entrant dans une liste de sujets basés sur les messages entrants. Vous devez écrire un code personnalisé pour y parvenir.
contexte.forward (clé, valeur, to.child ("sujet sélectionné"))
Toutes les autres réponses ont raison, au moment de la rédaction, j'ai trouvé une solution "config-seule" dans le boîouil de Kafka.
Qu'est-ce que l'astuce a finalement été l'affaire était d'utiliser donc une fois que vous avez le "nom de la rubrique cible" disponible dans un champ (Dites connexesh , Comme son "plugin de sortie kafka" prend en charge les variables de Jinja dans Topic-ID paramètre. Service_Name ) C'est aussi simple que ceci: