ibaPDA-Data-Store-Kafka

Daten Streaming zu Apache Kafka-Cluster

Ausgabe 1.3

Messsysteme für Industrie und Energie

www.iba-ag.com

Hersteller

iba AG

Support +49 911 97282-14

Technik +49 911 97282-13

E-Mail [email protected]

Web www.iba-ag.com

Weitergabe sowie Vervielfälgung dieser Unterlage, Verwertung und Mieilung ihres Inhalts

sind nicht gestaet, soweit nicht ausdrücklich zugestanden. Zuwiderhandlungen verpichten zu

Schadenersatz.

© iba AG 2023, alle Rechte vorbehalten.

Der Inhalt dieser Druckschri wurde auf Übereinsmmung mit der beschriebenen Hard- und

Soware überprü. Dennoch können Abweichungen nicht ausgeschlossen werden, so dass für

Windows® ist eine Marke und eingetragenes Warenzeichen der Microso Corporaon. Andere

in diesem Handbuch erwähnte Produkt- und Firmennamen können Marken oder Handelsnamen

der jeweiligen Eigentümer sein.

ibaPDA-Data-Store-Kaa Inhalt

Diese Dokumentaon beschreibt die Funkon und Anwendung der Datenaufzeichnung

ibaPDA-Data-Store-Kaa.

Diese Dokumentaon ist eine Ergänzung zum ibaPDA-Handbuch. Informaonen über alle wei-

teren Eigenschaen und Funkonen von ibaPDA nden Sie im ibaPDA-Handbuch bzw. in der

Online-Hilfe.

Grundlegende Informaonen zur Datenaufzeichnung in ibaPDA nden Sie im ibaPDA-Handbuch

Teil 5.

Diese Dokumentaon wendet sich an ausgebildete Fachkräe, die mit dem Umgang mit elekt-

rage-Technologie befasst sind. Für den Umgang mit ibaPDA-Data-Store-Kaa sind folgende Vor-

kenntnisse erforderlich bzw. hilfreich:

■ Betriebssystem Windows

■ Grundkenntnisse ibaPDA

■ Grundkenntnisse Datenbanken, Cloud- bzw. Cluster-Storage-Technologie

ibaPDA-Data-Store-Kaa Zu diesem Handbuch

In dieser Dokumentaon werden folgende Schreibweisen verwendet:

Akon Schreibweise

Menübefehle Menü Funkonsplan

Aufruf von Menübefehlen Schri 1 – Schri 2 – Schri 3 – Schri x

Beispiel: <Alt> + <Strg>

Grasche Tasten (Buons) <Tastenname>

Beispiel: <OK>; <Abbrechen>

Dateinamen, Pfade Dateiname, Pfad

Beispiel: Test.docx

Zu diesem Handbuch ibaPDA-Data-Store-Kaa

Wenn in dieser Dokumentaon Sicherheitshinweise oder andere Hinweise verwendet werden,

dann bedeuten diese:

Für unterschiedliche Zwecke und Methoden der Datenspeicherung stehen verschiedene Arten

der Datenaufzeichnung in ibaPDA zur Verfügung. Je nachdem, welche Lizenzen im Lizenzcont-

Die vorliegende Dokumentaon beschreibt den Aufzeichnungstyp "Kaa-Cluster zeitbasierte

sogenannten Topics.

Topics können in mehrere im Cluster verteilte Paronen aufgeteilt und repliziert werden. Als

Producer sind Anwendungen, die Nachrichten in einen Kaa-Cluster schreiben. Dabei werden

die Nachrichten an den Leader gesendet, die Replikaon mit den Followern erledigen die Broker

untereinander. Consumer sind Anwendungen, die Nachrichten vom Kaa-Cluster lesen.

ibaPDA hat in einer Kaa-Umgebung die Rolle eines Producers: Die Datenaufzeichnung sendet

Nachrichten an den Cluster.

Weiterführende Informaonen zu Apache Kaa nden Sie unter

■ hps://kaa.apache.org/

■ hps://www.conuent.io/what-is-apache-kaa

Einleitung ibaPDA-Data-Store-Kaa

Folgende Systemvoraussetzungen sind für die Verwendung der Datenaufzeichnung in einem

Apache Kaa-Cluster erforderlich:

Die Lizenzen sind gestaelt nach der Anzahl der Signale, die in den Kaa-Cluster geschrieben

werden sollen. Die Anzahl der genutzten Datenaufzeichnungen ist nicht beschränkt.

3 KonguraonderDatenaufzeichnung

16 1.3

Konguraon der Datenaufzeichnung ibaPDA-Data-Store-Kaa

3.2.2 TypEventHub

Folgende Einstellungen sind für den Typ EventHub erforderlich:

Für die SSL-Verikaon ist das aktuelle CA-Root-Zerkat "DigiCert Global Root G2" erforderlich,

da Azure-Dienste Zerkate damit signieren. Bei der Installaon von ibaPDA wird dieses Zer-

kat automasch im Zerkatsspeicher abgelegt.

Die Datenaufzeichnung nutzt einen Speicherpuer und zusätzlich einen oponal akvierbaren

Dateipuer.

Die Beschreibung gilt für alle Typen von Datenaufzeichnungen, die Daten zu externen Systemen

transferieren und bei denen es zu temporären Problemen bei der Erreichbarkeit und verfügba-

ren Bandbreite kommen kann, wie zum Beispiel:

Daten, die an das Zielsystem gesendet werden sollen, durchlaufen immer den ibaPDA-inter-

nen Speicherpuer. Bei bestehender Verbindung zum Zielsystem werden die Daten aus dem

Speicherpuer sofort dorthin gesendet. Geht die Verbindung verloren oder können die Daten

nicht schnell genug verschickt werden, dann bleiben die Daten im Speicherpuer erhalten. Der

Speicherpuer liegt im RAM des ibaPDA-Rechners, ist daher limiert und üchg. Wird z. B. die

Erfassung neu gestartet, gehen die gepuerten Daten verloren. Wächst der Speicherpuer bei

1.3 17

ibaPDA-Data-Store-Kaa Konguraon der Datenaufzeichnung

laufender Erfassung über die kongurierte Größe hinaus an, werden die ältesten Werte gelöscht

und gehen somit verloren.

Laufwerks des ibaPDA-Servers gespeichert. Bei akviertem Dateipuer werden Daten aus dem

überlaufenden Speicherpuer in den Dateipuer übertragen. Wird die Erfassung beendet oder

neu gestartet (z. B. durch Anwenden einer geänderten IO-Konguraon), werden Daten, die sich

mat bei Wiederherstellung der Verbindung gesendet.

Im Knoten Puer der jeweiligen Datenaufzeichnung nehmen Sie die Konguraon der Puerung

vor. Die nachfolgende Abbildung zeigt die Puerkonguraon am Beispiel der DB/Cloud zeitba-

sierten Datenaufzeichnung.

Der Speicherpuer ist immer akviert. Er kann nicht deakviert werden, da zu übertragende Da-

ten immer den Puer durchlaufen, bevor sie an das Zielsystem weitergegeben werden.

18 1.3

Konguraon der Datenaufzeichnung ibaPDA-Data-Store-Kaa

Geben Sie hier die maximale Gesamtgröße für im Speicher gepuerte Elemente ein. Wenn die

maximale Größe überschrien wird, gibt es 2 Möglichkeiten:

■ Wenn die Dateipuerung deakviert ist, wird das älteste Element im Speicher gelöscht (und

ist damit für immer verloren).

schen 10 s und 600 s liegen.

Mit dieser Opon können Sie erreichen, dass möglichst wenig Daten bei einem Systemausfall

verloren gehen.

Anzeige, welche Zeitspanne ungefähr mit den kongurierten Einstellungen im Speicherpuer

zwischengespeichert werden kann. Angabe in d.hh:mm:ss.

Standardmäßig wird der Dateipuer nicht verwendet. Hier können Sie die Dateipuerung ak-

vieren.

kongurierte Dateiverzeichnis muss sich auf einer lokalen Festplae des ibaPDA-Server-Rech-

ners benden.

Das gleiche Dateiverzeichnis kann für mehrere Datenaufzeichnungen verwendet werden, da die

Puerdateien einer Datenaufzeichnung einen eindeugen Namen haben. Dateien aus verschie-

denen Datenaufzeichnungen können somit anhand ihres Namens unterschieden werden.

Sie können die maximale Gesamtgröße der Puerdateien einer Datenaufzeichnung kongurie-

ren. Die Puerdateien selbst haben die Dateierweiterung .buf, die Index-Datei zur Verwaltung

der Puerdateien hat die Endung .info. Die maximale Größe ist die Gesamtgröße aller dieser Da-

teien. Wenn die maximale Puergröße überschrien wird, wird die älteste Puerdatei gelöscht.

1.3 19

ibaPDA-Data-Store-Kaa Konguraon der Datenaufzeichnung

Wert zwischen 1 und 1000 Stunden eingeben.

Im Dateipuer werden Elemente, die an das Zielsystem übertragen wurden, nicht sofort ge-

löscht. Erst wenn eine Puerdatei vollständig gelesen ist, wird sie gelöscht. Es ist also möglich,

dass nur ein Teil einer Puerdatei noch nicht übertragene Daten enthält. Der Füllstand bezieht

sich auf die vorhandenen Puerdateien, der "unverarbeitete Anteil" gibt dagegen den prozentu-

alen Anteil der noch nicht übertragenen Daten im Dateipuer wieder.

20 1.3

Konguraon der Datenaufzeichnung ibaPDA-Data-Store-Kaa

Im Kaa-Cluster sind in der Regel mehrere Topics deniert, die vom Cluster-Administrator er-

stellt werden. Es ist nicht möglich Topics von ibaPDA aus im Cluster anzulegen oder zu löschen.

Wenn Sie den Knoten Topics markieren, wird die Liste der Topics angezeigt, die von der Daten-

aufzeichnung beschrieben werden sollen.