WSWin Daten in MySQL-Datenbank

[r2602]

Hallo Werner,

.... ganz persönliche Lösung ....

vielen Dank für Deinen ausführlichen Bericht! Deine ganz persönliche Lösung ist doch schon richtig gut. Sie funktioniert und hat eine gewisse Redundanz für auftretende Fehler.

Ich denke, die größte Herausforderung liegt darin, eine Methodik zu entwickeln, welche maximal fehlertolerant ist. Sie sollte automatisch mit verschiedenen auftretenden Fehlerzuständen umgehen können.
Von daher handelt es sich um ein sehr spannendes und interessantes Thema.

Vielleicht meldet sich ja noch jemand, der noch mehr zu grundsätzlichen Vorgehensweisen weiß. Die Aktualisierung von Webserver-Datenbanken ist ja eigentlich ein Standardproblem.

Gruß
Roland

[rf-leo]

Hallo,

da ich auch eine DB auf meinem im Internet stehenden Server fülle, möchte auch ich meine Vorgehensweise einmal kurz schildern.

- ich lasse von Wswin die Datei "ws_newdata.csv" mitschreiben.
- mittels eines Master-Batch-Sriptes, alle 15 Minuten gestartet aus Wswin heraus (Datei/Optionen/Zeitsteuerung/Aufzeichnung), wird diese Datei per Kommandozeile mit Hilfe von WinSCP auf den Server übertragen.
- in dem Master-Batch-Script wird aber zuvor geprüft, ob die vorherige "ws_newdata.csv" noch existent ist. --> wenn ja, wird verucht diese zuerst in die DB einzulesen. Wenn dieses scheitert bricht das Master-Batch-Script alles weitere ab. --> wenn nein, upload der neuen "ws_newdata.csv" und Verarbeitung in die DB.
- die Verarbeitung der "ws_newdata.csv" in die DB wird auch aus dem Master-Batch-File heraus getriggert. (Also ohne Einsatz eines Cron-Jobs).
Mittels dem Befehl: 'wget -q -t3 --secure-protoco=auto --delete-after https://www.krentruperhagen.de/xxx/xxx/query.php'
- in der "query.php" wird der Inhalt der "ws_newdata.csv" eingelsen und direkt in die DB geschrieben.

Wenn in der Übertragung und Verarbeitung doch mal was schief geht (toi toi toi, was sehr sehr selten geschieht) so kann ich mit Hilfe von Wswin mit "Datei/Exportieren .../Alle Monatsdateien exportieren .../ausgewählte Sensoren" eine Datendatei eines kompletten Monats erzeugen lassen. Die Struktur ist gleich der "ws_newdata.csv".
Wenn ich diese Monatsdatei nun in ein bestimmtes Verzeichnis bei mir kopiere, so wird diese Datei von dem Master-Batch-Script erkannt und mit auf dem Server gebracht.
Mittels der "query.php" wird sie dann automatisiert mit verarbeitet.
Somit ist bei mir sichergestellt, dass ich Ergänzungen und/oder auch Berichtigungen jederzeit mit sehr geringen Aufwand auch in die DB bekomme.

Den gesamten Prozess habe ich mir selber entwickelt und ist, wie auch beim Werner, ganz auf meine Infrastruktur zugeschnitten. Das beinhaltet das Master-Batch-Script, die "query.php und natürlich auch die Datenbank, einfach alles!
Dieses Vorgehen läuft bei mit schon seit Jahren, und das mit großem Erfolg und sehr sehr störungsarm.

Vielleicht kann der eine oder andere hierraus auch noch ein paar Ideen für sich selber ableiten.


Gruß
Rainer

[wneudeck]

Hallo Rainer,
das ist natürlich deutlich perfektioniert. Da sollte dann normal nicht mehr viel schiefgehen können. 

[sani3]

Wer nur bestimmte Daten, oder nach Kategorien (Sensor-IDs) getrennte dateien haben will, kann auch das hier nutzen:

Dateien erweitern/anhängen          %customfileappend=anhangen.txt%                            V2.85.8
Damit kann man sich z.B. eine eigene Export-Datei erstellen, die laufend selbsttätig
erweitert wird.

Hallo Tex, das hört sich ja interesant an. Wie kann man das Konstruieren. Muss ich die Textdatei %customfileappend=anhangen.txt% als csv Datei ausgeben lassen, so dass sie über den Import als dynamisches Diagramm in einer Excell-Tabelle fortgeschrieben werden kann, oder wie muss ich da ran gehen. Vielleicht könntest du eine kleine Hilfestellung geben.

[rf-leo]

Hallo Rainer,
das ist natürlich deutlich perfektioniert. Da sollte dann normal nicht mehr viel schiefgehen können. 

So ist es Werner. 
Wie schon geschrieben, dieses läuft bei mir sehr robust.
Und in Verbindung mit ...
https://www.pc-wetterstation.de/forum/viewtopic.php?t=9643&highlight=
läuft die Station auch wochenlang durch. 


Gruß Rainer

[r2602]

Hallo Rainer,

.... möchte auch ich meine Vorgehensweise einmal kurz schildern. ....

vielen Dank für Deinen ausführlichen Bericht. Deine Vorgehensweise ist in hohem Maße fehlertolerant, was nach meiner Ansicht einer der wichtigsten Punkte ist. Und wenn dann mal was schief geht, dann kann der Fehlerzustand mit wenig Aufwand wieder behoben werden. Sehr schön.

Ich hätte da noch eine Frage zu Deinem sogenannten Master-Batch-Script: Wenn ich Dich richtig verstanden habe, dann bezeichnet dies ein Windows-Shell-Script (PowerShell?) welches, von WsWin gestartet, in einem Kommandozeilenfenster abläuft?

Gruß
Roland

[rf-leo]

Hallo Roland,

Ich hätte da noch eine Frage zu Deinem sogenannten Master-Batch-Script: Wenn ich Dich richtig verstanden habe, dann bezeichnet dies ein Windows-Shell-Script (PowerShell?) welches, von WsWin gestartet, in einem Kommandozeilenfenster abläuft?

Das Master-Batch-Script ist eine ganz normale .cmd, also ein Batch-File, keine Powershell.
Ja, es wird aus Wswin heraus gestartet sobald die Aufzeichnung beendet ist. Da ich zu unterschiedlichen Zeiten unterschiedliche Prozesse in Wswin laufen habe bleibt sichergestellt, dass das Master-Batch-Script nicht schon vorher gestartet wird. (Wie z.B. bei einem Start über die Aufgabenplanung).

Das Master bezieht sich darauf, das darin noch einiges andere mehr geprüft und/oder angestoßen wird. Verschiedene andere Aufgaben haben dann ein eigenes Batch-Script und werden über ERRORLEVEL-Auswertung überwacht. So bleibt das Ganze für mich ein wenig übersichtlicher.


Gruß
Rainer