Ρύθμιση του Κάφκα: 4 βήματα

2024 Συγγραφέας: John Day | [email protected]. Τελευταία τροποποίηση: 2024-01-30 08:35

Εισαγωγή:

Το Apache Kafka είναι ένα σύστημα ανταλλαγής μηνυμάτων ανοιχτού κώδικα με δυνατότητα επέκτασης και υψηλής απόδοσης που αναπτύχθηκε από το Foundationδρυμα Λογισμικού Apache γραμμένο στην Scala. Το Apache Kafka έχει σχεδιαστεί ειδικά για να επιτρέπει σε ένα μόνο σύμπλεγμα να χρησιμεύσει ως κεντρική ραχοκοκαλιά δεδομένων για ένα μεγάλο περιβάλλον. Έχει πολύ υψηλότερη απόδοση σε σύγκριση με άλλα συστήματα μεσιτών μηνυμάτων όπως το ActiveMQ και το RabbitMQ. Είναι σε θέση να χειρίζεται αποτελεσματικά μεγάλο όγκο δεδομένων σε πραγματικό χρόνο. Μπορείτε να αναπτύξετε τον Kafka σε έναν διακομιστή Apache ή σε κατανεμημένο περιβάλλον.

Χαρακτηριστικά:

Τα γενικά χαρακτηριστικά του Κάφκα είναι τα εξής:

Επιμείνετε μήνυμα στο δίσκο που παρέχει σταθερή απόδοση χρόνου.

Υψηλή απόδοση με δομές δίσκου που υποστηρίζουν εκατοντάδες χιλιάδες μηνύματα ανά δευτερόλεπτο.

Το κατανεμημένο σύστημα κλιμακώνεται εύκολα χωρίς χρόνο διακοπής.

Υποστηρίζει πολλούς συνδρομητές και εξισορροπεί αυτόματα τους καταναλωτές κατά την αποτυχία.

Αυτό το σεμινάριο δείχνει πώς να εγκαταστήσετε και να διαμορφώσετε το Apache Kafka σε διακομιστή Ubuntu 16.04.

Απαιτήσεις

Ένας διακομιστής Ubuntu 16.04.

Μη ριζικός λογαριασμός χρήστη με εξαιρετικά δικαιώματα χρήστη που έχουν ρυθμιστεί στον διακομιστή σας.

Βήμα 1: Έναρξη και εγκατάσταση Java

1) Ας αρχίσουμε να διασφαλίζουμε ότι ο διακομιστής σας Ubuntu 16.04 είναι πλήρως ενημερωμένος

Μπορείτε να ενημερώσετε τον διακομιστή σας εκτελώντας τις ακόλουθες εντολές:-

sudo apt -get ενημέρωση -y

sudo apt -get upgrade -y

2) Εγκατάσταση Java

Ελέγξτε εάν το μηχάνημά σας έχει ήδη εγκατεστημένη java ή έχει προεπιλεγμένη έκδοση java με την ακόλουθη εντολή:-

java -εκτροπή

Ακόμα κι αν έχετε java αλλά χαμηλότερη έκδοση, θα πρέπει να την αναβαθμίσετε.

Μπορείτε να εγκαταστήσετε τη Java μέσω:-

sudo apt-get install default-jdk

Ή

Μπορείτε να εγκαταστήσετε το Oracle JDK 8 χρησιμοποιώντας το αποθετήριο PPA της ομάδας Webupd8.

Για να προσθέσετε το αποθετήριο, εκτελέστε την ακόλουθη εντολή:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Βήμα 2: Εγκαταστήστε το Zookeeper

Τι είναι το Zookeeper;

Το Zookeeper είναι μια κεντρική υπηρεσία για τη διατήρηση πληροφοριών διαμόρφωσης, την ονομασία, την παροχή κατανεμημένου συγχρονισμού και την παροχή υπηρεσιών ομάδας. Όλα αυτά τα είδη υπηρεσιών χρησιμοποιούνται με κάποια μορφή από κατανεμημένες εφαρμογές. Κάθε φορά που εφαρμόζονται υπάρχει πολλή δουλειά που επιδιώκεται να διορθώσει τα σφάλματα και τις συνθήκες αγώνα που είναι αναπόφευκτες. Λόγω της δυσκολίας υλοποίησης τέτοιου είδους υπηρεσιών, οι εφαρμογές συνήθως τις εξοικονομούν, πράγμα που τις καθιστά εύθραυστες παρουσία αλλαγών και δύσκολες στη διαχείριση. Ακόμη και όταν γίνονται σωστά, διαφορετικές υλοποιήσεις αυτών των υπηρεσιών οδηγούν σε πολυπλοκότητα διαχείρισης όταν αναπτύσσονται οι εφαρμογές.

Πριν εγκαταστήσετε το Apache Kafka, θα χρειαστεί να έχετε διαθέσιμο και να εκτελείτε το zookeeper. Το ZooKeeper είναι μια υπηρεσία ανοιχτού κώδικα για τη διατήρηση πληροφοριών διαμόρφωσης, την παροχή κατανεμημένου συγχρονισμού, την ονομασία και την παροχή υπηρεσιών ομάδας.

1) Από προεπιλογή, το πακέτο Zookeeper είναι διαθέσιμο στο προεπιλεγμένο αποθετήριο του Ubuntu

Μπορείτε να το εγκαταστήσετε εκτελώντας την ακόλουθη εντολή:-

sudo apt-get install zookeeperd

Μόλις ολοκληρωθεί η εγκατάσταση, θα ξεκινήσει αυτόματα ως δαίμονας. Από προεπιλογή, το Zookeeper θα λειτουργεί στη θύρα 2181.

Μπορείτε να το δοκιμάσετε εκτελώντας την ακόλουθη εντολή:

netstat -ant | grep: 2181

Το out put θα σας δείξει ότι ακούγεται η θύρα 2181.

Βήμα 3: Εγκατάσταση και εκκίνηση του διακομιστή Kafka

Τώρα που έχουν εγκατασταθεί Java και ZooKeeper, ήρθε η ώρα να κάνετε λήψη και εξαγωγή του Kafka από τον ιστότοπο του Apache.

1) Μπορείτε να χρησιμοποιήσετε το curl ή το wget για λήψη του Kafka: (Έκδοση Kafka 0.10.1.1)

Εκτελέστε την ακόλουθη εντολή για να κατεβάσετε τη ρύθμιση kafka:-

μπούκλα -O

Ή

wget

2) Δημιουργήστε έναν κατάλογο για τον Κάφκα

Στη συνέχεια, δημιουργήστε έναν κατάλογο για την εγκατάσταση του Kafka:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Αποσυμπιέστε το φάκελο που έχετε κατεβάσει

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Αλλάξτε το όνομα χρήστη σύμφωνα με το όνομα χρήστη σας

4) Ξεκινήστε τον διακομιστή kafka

Το επόμενο βήμα είναι να ξεκινήσετε τον διακομιστή Kafka, μπορείτε να τον ξεκινήσετε εκτελώντας το σενάριο kafka-server-start.sh που βρίσκεται στον κατάλογο /opt/kafka/kafka_2.11-0.10.1.1/bin/ χρησιμοποιώντας την ακόλουθη εντολή:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Ελέγξτε αν ο διακομιστής Kafka λειτουργεί καλά

Τώρα έχετε έναν διακομιστή Kafka που τρέχει και ακούει στη θύρα 9092.

Τώρα, μπορούμε να ελέγξουμε τις θύρες ακρόασης:

- ZooKeeper: 2181

- Κάφκα: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Βήμα 4: Δοκιμάστε τον διακομιστή σας Kafka

Τώρα, ήρθε η ώρα να επαληθεύσουμε ότι ο διακομιστής Kafka λειτουργεί σωστά.

1) Δημιουργήστε ένα νέο θέμα

Για να δοκιμάσετε τον Κάφκα, δημιουργήστε ένα δείγμα θέματος με όνομα "δοκιμή" στο Apache Kafka χρησιμοποιώντας την ακόλουθη εντολή:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --δημιουργία-θεματική δοκιμή --zozoeper localhost: 2181-διαμερίσματα 1-παράγοντας επανάληψη 1

2) Ελέγξτε εάν το θέμα σας δημιουργήθηκε με επιτυχία

Τώρα, ζητήστε από τον Zookeeper να παραθέσει διαθέσιμα θέματα στο Apache Kafka εκτελώντας την ακόλουθη εντολή:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh-λίστα --zookeeper localhost: 2181

3) Δημοσιεύστε ένα μήνυμα χρησιμοποιώντας το θέμα που δημιουργήσατε

ηχώ "γεια σου κόσμο" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost: 9092 --τοπικές δοκιμές

4) Λάβετε το μήνυμα σχετικά με το θέμα που δημιουργήθηκε

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --τοπικός έλεγχος-από την αρχή

5) Για να στείλετε ένα αρχείο χρησιμοποιώντας kafka για ένα θέμα

kafka-console-producer.sh --broker-list localhost: 9092 –τοπικές δοκιμές