neue CMX Option: selbst konfigurierbarer Daten-Export (CSV)von CumulusMX monatlich oder täglich

für User von CumulusMX
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: neue CMX Option: selbst konfigurierbarer Daten-Export (CSV)von CumulusMX monatlich oder täglich

#11

Beitrag von LSchenk »

So, das hat sich geklärt, im daily file wird nur ein Eintrag / Tag um Mitternacht ausgeführt.

Siehe https://cumulus.hosiene.co.uk/viewtopic ... 26#p168826

Hierbei noch wichtig, dass dies dann keine Tagesmittelwerte sind, sondern die 0:00 Uhr-Werte für den jeweiligen Parameter, sofern man die Tags wie zuvor gezeigt, benutzt.

Will man dort Mittelwerte haben, muss man wohl andere Webtags verwenden, sofern es dafür welche gibt.
(Habe ich jetzt noch nicht gecheckt)

So werde ich wohl die Monatsdatei nutzen müssen. Habe dazu auch schon eine Idee, per "External Programs", über die ich bisher das cmxmerge laufen habe, die Datei per Xcopy in ein anderes Verzeichnis zu kopieren und dabei auch gleich umzubenennen. Habe das auch schon getestet, funktioniert soweit.

Allerdings muss ich da noch schauen, ob das auch dann noch klappt, wenn irgendwann mal mehrere Monatsdateien vorhanden sind. Also irgendwie ausschließen, dass dann ggf. ältere Monatsdateien umkopiert werden.

VG Lutz
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: neue CMX Option: selbst konfigurierbarer Daten-Export (CSV)von CumulusMX monatlich oder täglich

#12

Beitrag von LSchenk »

Ich kann Erfolg vermelden :mrgreen:

Aktuell laufen bei mir zwei Instanzen von WsWin, mein normales System arbeitet noch mit den Werten aus der cmxmerge, die Testinstanz greift bereits auf das CostomLog zu. Ich musste ja für den neuen Datensatz auch die wswin_x-csv_import.cfg anpassen. So kann ich diese erst mal testen ob alles korrekt gemappt ist, bevor ich sie auf mein Hauptsystem loslasse.

Das Ganze geht sehr praktisch, da man in CMX mehrere Externe Programme per Intervall laufen lassen kann.
Die cmxmerge läuft auf der Realtime-Schiene und Xcopy per Intervall:
ExtProgSettings.JPG
ExtProgSettings.JPG (51.11 KiB) 679 mal betrachtet
Durch den Einsatz des CustomLogs entfällt dann zukünftig der Schritt über cmxmerge. Darüber hinaus reduziert sich die Datenmenge der zu überwachenden Daten von bisher 119 Datenfeldern aus Dayfile + ExtraDayfile auf die aktuell von mir nur 22 benötigten Datenfelder incl. Datum und Zeit.

Das machte bisher Rtg. Monatsende bei der immer voller werdenden LogAll.csv dann schon einige Sekunden der Abarbeitung aus. Gut, da hätte man cmxmerge noch optimieren können in der Weise, dass es nicht immer die kompletten files neu zusammensetzt, sondern nur den Neuesten Satz dazu schreibt, was aber nun hinfällig ist.

Zu Xcopy habe ich getestet wie dieses sich verhält. Glücklicherweise greift es auf die neueste Datei zu. Schiebe ich aber testweise eine Datei mit dem Name eines zukünftigen Monats dazu, stoppt Xcopy und tut garnichts, auch wenn die aktuelle Monatsdatei nach dem nächsten Interval wieder die Neueste ist. Es sollte aber in der Praxis nicht vorkommen, dass eine zukünftige Datei geschrieben wird. So sollte auch ein Monatswechsel unproblematisch verlaufen, da ja dann die neue Monatsdatei auch automatisch die neueste Datei im Verzeichnis ist.

Damit das klappt, muss man für die Quelldatei einen Wildcard (*) vor den Datumsteil setzen und die Zieldatei muss sich im Name zum Teil vor der Wildcard der Quelldatei unterscheiden. Dazu noch /y damit das Überschreiben der Zieldatei automatisch läuft. Der /d-Parameter mit Datum, wie in der Grafik noch gezeigt, ist nicht notwendig.

Soviel von mir dazu.

VG Lutz
Frosch
Offline
Beiträge: 2
Registriert: 09 Nov 2022, 17:48

Re: neue CMX Option: selbst konfigurierbarer Daten-Export (CSV)von CumulusMX monatlich oder täglich

#13

Beitrag von Frosch »

Hallo Gyvate,
Würde diese neue Funktion von CumulusMX auch gerne nutzen, weiß aber nicht so recht wo und was ich einstellen muss, damit es funktioniert. Habe die Version 3.27.0 b3257.
Danke Gerhard
Benutzeravatar
Gyvate
Offline
Beiträge: 2479
Registriert: 10 Aug 2021, 23:41
Wohnort: Saarbrücken
Hat sich bedankt: 12 mal
Danksagung erhalten: 375 mal
Kontaktdaten:

Re: neue CMX Option: selbst konfigurierbarer Daten-Export (CSV)von CumulusMX monatlich oder täglich

#14

Beitrag von Gyvate »

Frosch hat geschrieben: 07 Nov 2023, 10:56 Hallo Gyvate,
Würde diese neue Funktion von CumulusMX auch gerne nutzen, weiß aber nicht so recht wo und was ich einstellen muss, damit es funktioniert. Habe die Version 3.27.0 b3257.
Danke Gerhard
Schon mal
Settings --> Custom logs angeschaut ?
Dort gibt es, wenn auch kurze, Beispiele.
http://IP-Adresse:8998/customlogs.html
"IP-Adresse" ist die IP des Servers (Rechners), auf dem Dein CMX läuft

Du musst Dir eine Folge von Webtags erstellen. Als Ergebnis wird dann im Speicherintervall von CMX eine CSV-Datei erstellt.
Du kannst ja mit dem Mini-Beispiel anfangen. Welche WebTags es gibt, findet man im Cumulus-WiKi:
https://www.cumuluswiki.org/a/Full_list_of_Webtags
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge RPi4B-2GB/(16)32GB SLC 3165, Weewx 4.5.1/4.10.2, CumulusMX 3.28.4 b3282, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
lenti
Offline
Beiträge: 17
Registriert: 15 Nov 2023, 09:16
Hat sich bedankt: 8 mal
Danksagung erhalten: 2 mal

Re: neue CMX Option: selbst konfigurierbarer Daten-Export (CSV)von CumulusMX monatlich oder täglich

#15

Beitrag von lenti »

Hallo zusammen,

ich versuche gerade auch einen Daten-Export von der Ecowitt-Schiene über CumulusMX nach wswin hinzubekommen. Ein erster Test mit den CustomLogs hat schon mal geklappt und es wurde eine txt-Datei generiert, allerdings mit einer zusätzlichen Endung aus Jahr und Monat, die ich für die Dateiüberwachung in wswin nicht brauchen kann. Um diese Endung wegzubekommen habe ich in CumulusMX das von LSchenk oben abgebildete Menü "External Programs" gesucht und leider nur unter "Settings...Program Settings ... Startup Options .... Startup Task" etwas ähnliches gefunden, was aber mit Xcopy irgendwie keine Kopie hinbekommt. Kann mir jemand schreiben wo ich das oben abgebildete Menü "External Programs" finden kann?
Benutzeravatar
Gyvate
Offline
Beiträge: 2479
Registriert: 10 Aug 2021, 23:41
Wohnort: Saarbrücken
Hat sich bedankt: 12 mal
Danksagung erhalten: 375 mal
Kontaktdaten:

Re: neue CMX Option: selbst konfigurierbarer Daten-Export (CSV)von CumulusMX monatlich oder täglich

#16

Beitrag von Gyvate »

versuchs mal unter Settings --> Internet settings 8-)
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge RPi4B-2GB/(16)32GB SLC 3165, Weewx 4.5.1/4.10.2, CumulusMX 3.28.4 b3282, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
Antworten