CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.
Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.
Moin,
hat jetzt auch bei mir geklappt
Leider fehlen ja zwei Wochen Daten und das Zusammenführen dauert länger als 10 Minuten.
Es wird für jede Minute die in der Tabelle fehlt eine Fehlermeldung ausgegeben.
So ist das nicht praktikabel für mich.
Ich weiß auch noch nicht ob CMX bei mir jeden Monat eine neue Datei macht, falls nicht wird die ja immer länger und größer.
Ich lasse mich mal überraschen und berichte...
Danke und Gruß
Christian
hat jetzt auch bei mir geklappt
Leider fehlen ja zwei Wochen Daten und das Zusammenführen dauert länger als 10 Minuten.
Es wird für jede Minute die in der Tabelle fehlt eine Fehlermeldung ausgegeben.
So ist das nicht praktikabel für mich.
Ich weiß auch noch nicht ob CMX bei mir jeden Monat eine neue Datei macht, falls nicht wird die ja immer länger und größer.
Ich lasse mich mal überraschen und berichte...
Danke und Gruß
Christian
dnt WeatherScreen Pro (=Froggit HP1000se Pro black-edition =Ecowitt HP2551C) bis 31.12.2021 TFA Nexus mit WSWin
- Gyvate
- Beiträge: 2580
- Registriert: 10 Aug 2021, 23:41
- Wohnort: Saarbrücken
- Hat sich bedankt: 13 mal
- Danksagung erhalten: 391 mal
- Kontaktdaten:
Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.
CumulusMX legt immer für jeden Monat eine neue Datei mit dem Namen MMMYYlog.txt bzw. ExtraLogYYYYMM.txt an.
MMM = Jan, Feb, Mar etc. (oder Jän, Feb, Mär ... bei Deutscher Locale - Jän irgendwie vom Österreichischen abgeleitet )
YY = 21, 22, 23 ...
YYYY= 2021, 2022, ...
MM = 01, 02, 03 ....
MMM = Jan, Feb, Mar etc. (oder Jän, Feb, Mär ... bei Deutscher Locale - Jän irgendwie vom Österreichischen abgeleitet )
YY = 21, 22, 23 ...
YYYY= 2021, 2022, ...
MM = 01, 02, 03 ....
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge, Weewx , CumulusMX, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
http://meshka.eu/Ecowitt/dokuwiki (Ecowitt WiKi Englisch)
http://meshka.eu/Ecowitt/dokuwiki (Ecowitt WiKi Englisch)
Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.
Ah, ok.
Im data Verzeichnis...
Die extra web file fängt dann praktisch jeden Monat neu an?
Dann sollte es ja mit der Zusammenführung ab 01.02. klappen, bin gespannt.
Danke und Gruß
Christian
Im data Verzeichnis...
Die extra web file fängt dann praktisch jeden Monat neu an?
Dann sollte es ja mit der Zusammenführung ab 01.02. klappen, bin gespannt.
Danke und Gruß
Christian
dnt WeatherScreen Pro (=Froggit HP1000se Pro black-edition =Ecowitt HP2551C) bis 31.12.2021 TFA Nexus mit WSWin
-
- Beiträge: 138
- Registriert: 02 Okt 2021, 18:06
- Hat sich bedankt: 9 mal
- Danksagung erhalten: 4 mal
Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.
Hallo Christian,
zum Monatsanfang hatte ich zuerst auch befürchtet, dass ich in CMX dann immer die CMX-Outputdateien neu benennen, oder den Aufruf von cmxmerge immer anpassen müsste. Das lässt sich aber elegant umgehen, in dem man in der Batchanweisung für cmxmerge folgendes einträgt:
Damit wird immer auf die aktellen CMX-Log-Dateien zugegriffen. Mit den gezeigten Einträgen lasse ich diese von CMX alle 5 Minuten in einen separaten Eingangsordner (In) kopieren aus dem heraus cmxmerge die Daten verarbeiten kann.
Hierzu wird in CMX entsprechend cmxmerge als Batchprogramm aufgerufen:
und fertig liegt die von WsWin überwachte Gesamtatei (LogAll.csv) im Ordner "Out" und WsWin holt sich die Daten dann dort ab, sofern der X-CSV Import korrekt konfiguriert ist.
Das kann man gewiss auch ohne 2 verschiedene Ordner wie bei mir (In/Out) machen, aber als ich anfing damit herumzuprobieren war es für mich erst mal so übersichtlicher. Nun, so es dann halt geblieben
Wie gesagt, schau dir gerne mal dazu meinen Beitrag im WsWin-Forum an, da ist eigentlich alles von A-Z erklärt.
Gruß Lutz
PS: Hatte sich das jetzt bei dir auch mit der Konvertierungsdauer von 10 Minuten erledigt?
Bei braucht cmxmerge am Anfang des Monats nur eine kurzen Augenblick, gegen Monatende so um die 3-4 Sekunden.
zum Monatsanfang hatte ich zuerst auch befürchtet, dass ich in CMX dann immer die CMX-Outputdateien neu benennen, oder den Aufruf von cmxmerge immer anpassen müsste. Das lässt sich aber elegant umgehen, in dem man in der Batchanweisung für cmxmerge folgendes einträgt:
Damit wird immer auf die aktellen CMX-Log-Dateien zugegriffen. Mit den gezeigten Einträgen lasse ich diese von CMX alle 5 Minuten in einen separaten Eingangsordner (In) kopieren aus dem heraus cmxmerge die Daten verarbeiten kann.
Hierzu wird in CMX entsprechend cmxmerge als Batchprogramm aufgerufen:
und fertig liegt die von WsWin überwachte Gesamtatei (LogAll.csv) im Ordner "Out" und WsWin holt sich die Daten dann dort ab, sofern der X-CSV Import korrekt konfiguriert ist.
Das kann man gewiss auch ohne 2 verschiedene Ordner wie bei mir (In/Out) machen, aber als ich anfing damit herumzuprobieren war es für mich erst mal so übersichtlicher. Nun, so es dann halt geblieben
Wie gesagt, schau dir gerne mal dazu meinen Beitrag im WsWin-Forum an, da ist eigentlich alles von A-Z erklärt.
Gruß Lutz
PS: Hatte sich das jetzt bei dir auch mit der Konvertierungsdauer von 10 Minuten erledigt?
Bei braucht cmxmerge am Anfang des Monats nur eine kurzen Augenblick, gegen Monatende so um die 3-4 Sekunden.
Zuletzt geändert von LSchenk am 22 Jan 2022, 23:23, insgesamt 3-mal geändert.
- olicat
- Beiträge: 2049
- Registriert: 07 Dez 2020, 20:33
- Wohnort: Hohen Neuendorf
- Hat sich bedankt: 30 mal
- Danksagung erhalten: 419 mal
- Kontaktdaten:
Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.
Hi!
Es gab da noch irgendwo eine kleine Gemeinheit in der zeitlichen Abfolge, daher wurde in v0.4 der Parameter -delay n fuer eine Pause von n Sekunden vor dem Merging eingefuehrt. Sollte es also in der zeitlichen Folge - etwa Datei ist noch nicht da obwohl CMXmerge bereits gestartet ist - irgendwelche Probleme geben, koennte dieser Parameter evtl. helfen.
Oliver
Es gab da noch irgendwo eine kleine Gemeinheit in der zeitlichen Abfolge, daher wurde in v0.4 der Parameter -delay n fuer eine Pause von n Sekunden vor dem Merging eingefuehrt. Sollte es also in der zeitlichen Folge - etwa Datei ist noch nicht da obwohl CMXmerge bereits gestartet ist - irgendwelche Probleme geben, koennte dieser Parameter evtl. helfen.
Oliver
-
- Beiträge: 138
- Registriert: 02 Okt 2021, 18:06
- Hat sich bedankt: 9 mal
- Danksagung erhalten: 4 mal
Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.
Hallo Oliver, es ist ja jetzt eine Weile her, das Tool arbeitet nach wie vor perfekt!
Eine Sache macht mir aber länger schon Bauchschmerzen:
Zum Monatbeginn wird die Datei ja quasi geleert und mit den neuen Daten dann nach und nach wieder gefüllt.
Hier kam es vor, dass WsWin z.B. gerade am letzten Tag des Monats sich aufgehangen hatte und ich hatte es erst nach Mitternacht bemerkt. Na Super, neue Monatsdatei quasi leer und WsWin konnte natürlich die fehlenden Vortagesdaten dort nicht mehr finden.
Daher meine Frage ob es ohne größeren Aufwand möglich wäre, eine tägliche Sicherung der Output-Datendatei einzuführen?
Muss ja nicht die gesamte Monatsdatei sein, einfach nur immer die letzten 24h. Wenn ich dann sehe dass alles lief, kann ich die Tagesdateien ja entsorgen, oder auch separat sichern.
VG Lutz
Eine Sache macht mir aber länger schon Bauchschmerzen:
Zum Monatbeginn wird die Datei ja quasi geleert und mit den neuen Daten dann nach und nach wieder gefüllt.
Hier kam es vor, dass WsWin z.B. gerade am letzten Tag des Monats sich aufgehangen hatte und ich hatte es erst nach Mitternacht bemerkt. Na Super, neue Monatsdatei quasi leer und WsWin konnte natürlich die fehlenden Vortagesdaten dort nicht mehr finden.
Daher meine Frage ob es ohne größeren Aufwand möglich wäre, eine tägliche Sicherung der Output-Datendatei einzuführen?
Muss ja nicht die gesamte Monatsdatei sein, einfach nur immer die letzten 24h. Wenn ich dann sehe dass alles lief, kann ich die Tagesdateien ja entsorgen, oder auch separat sichern.
VG Lutz
- olicat
- Beiträge: 2049
- Registriert: 07 Dez 2020, 20:33
- Wohnort: Hohen Neuendorf
- Hat sich bedankt: 30 mal
- Danksagung erhalten: 419 mal
- Kontaktdaten:
Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.
Hi!
Ist denn CMXmerge etwa noch immer erforderlich?!
Es waere doch soviel einfacher, wenn CMX das kombinierte File gleich selbst erzeugen wuerde? Ich dachte, das waere laengst erledigt ...
Ich selbst arbeite mit CMXmerge nicht und musste mir jetzt erstmal den Source nochmal ansehen.
Aber ich kenne den Arbeitsablauf nicht so genau und kann im Moment nicht erahnen, wann ich wie ein Backup machen sollte.
Natuerlich ist es kein Problem, vor dem Erzeugen einer neuen Ausgabedatei die ggf. bestehende als Sicherheitskopie (etwa *.bak) abzulegen.
Diese Datei wuerde dann jedoch bei jedem neuen Start von CMXmerge ueberschrieben.
Wuerde Dir das in Deinem Arbeitsablauf helfen?
Oliver
Ist denn CMXmerge etwa noch immer erforderlich?!
Es waere doch soviel einfacher, wenn CMX das kombinierte File gleich selbst erzeugen wuerde? Ich dachte, das waere laengst erledigt ...
Ich selbst arbeite mit CMXmerge nicht und musste mir jetzt erstmal den Source nochmal ansehen.
Aber ich kenne den Arbeitsablauf nicht so genau und kann im Moment nicht erahnen, wann ich wie ein Backup machen sollte.
Natuerlich ist es kein Problem, vor dem Erzeugen einer neuen Ausgabedatei die ggf. bestehende als Sicherheitskopie (etwa *.bak) abzulegen.
Diese Datei wuerde dann jedoch bei jedem neuen Start von CMXmerge ueberschrieben.
Wuerde Dir das in Deinem Arbeitsablauf helfen?
Oliver
-
- Beiträge: 138
- Registriert: 02 Okt 2021, 18:06
- Hat sich bedankt: 9 mal
- Danksagung erhalten: 4 mal
Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.
Hi Oliver, nein. eine .Bak würde dann ja auch jedes Intervall neu überschrieben und somit die alten/fehlenden Daten auch nicht mehr da.
Was helfen könnte wäre eine .bak exakt nach Abschluss des Mergens der letzten Datensätze eines Monats um 23:59 zu erstellen. Aber warten wir mal ab, ob das jetzt bei CMX lt. dem unten verlinkten Weg dann geht.
Ich hatte hier heute einen Beitrag von Gyvate zu dem Thema bei CMX gelesen, dass da was in Arbeit wäre:
viewtopic.php?t=1294
Weiß aber den aktuellen Stand noch nicht.
VG Lutz
Was helfen könnte wäre eine .bak exakt nach Abschluss des Mergens der letzten Datensätze eines Monats um 23:59 zu erstellen. Aber warten wir mal ab, ob das jetzt bei CMX lt. dem unten verlinkten Weg dann geht.
Ich hatte hier heute einen Beitrag von Gyvate zu dem Thema bei CMX gelesen, dass da was in Arbeit wäre:
viewtopic.php?t=1294
Weiß aber den aktuellen Stand noch nicht.
VG Lutz
-
- Beiträge: 138
- Registriert: 02 Okt 2021, 18:06
- Hat sich bedankt: 9 mal
- Danksagung erhalten: 4 mal
Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.
Hallo Oliver, das gute, stets zuverlässige cmxmerge hat ausgedient, die aktuelleren CMX Builds haben die CustomLogs seit ~ September drin. Ich hatte davon aber nichts mitbekommen, da ich zuletzt da nicht ganz so aktiv war.
Ich habe es jetzt umgesetzt und in einem anderen Faden zu dem Thema hier beschrieben: viewtopic.php?p=14953#p14953
Also nochmals vielen Dank Oliver, für das tolle Tool, welches über ein Jahr absolut fehlerfrei seinen Dienst verrichtet hat.
VG Lutz
Ich habe es jetzt umgesetzt und in einem anderen Faden zu dem Thema hier beschrieben: viewtopic.php?p=14953#p14953
Also nochmals vielen Dank Oliver, für das tolle Tool, welches über ein Jahr absolut fehlerfrei seinen Dienst verrichtet hat.
VG Lutz