CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

Für allgemeine Software
LSchenk
Offline
Beiträge: 53
Registriert: 02 Okt 2021, 16:06
Hat sich bedankt: 6 mal
Danksagung erhalten: 3 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#31

Beitrag von LSchenk »

Hallo Gyvate,

das klingt in der Tat interessant. Und falls da mal was nicht klappt hätte man ja noch die Einzeldateien.
Hoffe nur, das da nicht auch so oft einzelne Sätze fehlen.

LG, Lutz

PS: Wenn dies im Sinne von/für WsWin-User gedacht ist, sollte die Datei auch direkt auf .csv enden, da WsWin partout nur csv annimmt. Anderenfalls hätte man wieder einen zu automatisierenden Umbenennungs-Schritt.
Oder hier könnte man dann mal Werner ansprechen, ob WsWin umzustimmen ist, auch andere Endungen zu akzeptieren.

Alternativ könnte man ja in CMX auch Auswahloptionen für den Suffix schaffen, so dass es auch für Andere direkt brauchbar ist. Etwa: .dat / .csv / .txt

Oder aber man hätte die Möglichkeit, die Datei einfach frei zu benennen, dann kann es jeder händeln wie er es braucht.

Als eine weitere Option könnte ich mir vorstellen, das man einen Zähler hinzuschalten kann. So wird die Datei zwar immer nur einen Datensatz enthalten, der User könnte sich aber auch eine Reihe von Datensätzen ablegen.
Beispiel: im Ersten Interval heist die Datei alldata_0000.csv, beim nächsten, alldata_0001.csv (oder anders gewählte Endung)

Ohne Zähleroption dann z.B. alldata.csv/dat/txt

Dies sollen aber alles keine Wünsche sein, allenfalls Ideen. Einzig wichtig ist, dass das Datenformat so bleibt, wie jetzt auch, halt nur ohne erneute Datum/Zeit-Felder vor den Extra-Daten und die Endung wenn möglich .csv ist.
Benutzeravatar
Gyvate
Offline
Beiträge: 227
Registriert: 10 Aug 2021, 21:41
Hat sich bedankt: 1 mal
Danksagung erhalten: 28 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#32

Beitrag von Gyvate »

Man könnte einfach zusätzlich parallel ein Skript mitlaufen lassen, das den Datensatz mit der Append-Funktion an eine weitere Datei anhängt, so dass man sich quasi eine Tages-, Monats- oder Jahresdatei aufbauen kann.

Code: Alles auswählen

copy Datei-1 Datei2+Datei-1
So wird der Datensatz an Datei-2 angehängt und wächst weiter an. Über Variablen kann man dann z.B. jeden Tag oder jeden Monat eine neue Datei anlegen.
3,4 Zeilen ...
Dann hätte man auch gleich eine Datei zum Nachspielen, wenn sich WSWin mal verschluckt oder sonstwie indisponiert ist.

Das geht natürlich auch immer noch händisch, in dem man die Standard-Sensor-Monatsdatei in .csv umkopiert, in Excel lädt, die Extra-Sensor Datei in ein weiteres Excel-Arbeitsblatt lädt, dann alle Extra-Sensor-Daten ausser dem Zeitstempel markiert, kopiert, und hinter der letzten Spalte der Standard-Sensor-Datei in Excel kopiert.
Danach wieder als csv abspeichern.

Man kann auch die Extra-Sensoren mit Zeitstempel kopieren - dann lassen sich Dubletten bzw. fehlende Standard/Extra Datensätze einfacher herausfinden. Die Extra-Sensor-Zeitstempel-Spalten kann man ja nach Korrektur löschen oder sie vor dem Abspeichern ausblenden.
WH4000SE/WS2320E, HP1000SE Pro/HP2553 - DP1500, GW1100, GW1000, WH2650, Meteobridge RPi 2/16 2657, Weewx 4.5.1, CumulusMX 3154 - http://meshka.eu
LSchenk
Offline
Beiträge: 53
Registriert: 02 Okt 2021, 16:06
Hat sich bedankt: 6 mal
Danksagung erhalten: 3 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#33

Beitrag von LSchenk »

Hallöle,

das mit dem xcopy sieht auch recht interessant aus.

Aber alle anderen Optionen mit Dateien händisch zusammenfrickeln, da wollte ich eigentlich von weg, bzw. nicht wieder hin. ;-)

Also schaun 'mer mal, wann das mit dem Datensatz in CMX kommt und dann erst mal gerne testen.

Lutz

Btw: Nach den Änderungen gestern (Realtime-Interval von 60 auf 300s und ausschließen des Ordners CMX\data im AV-Programm lief es es störungsfrei bis jetzt. Nur WsWin hatte heute mal einen Hänger, es aktualisierte einfach nicht, obwohl die Daten vollständig geschrieben wurden. -> WsWin-Neustart -> läuft wieder.
LSchenk
Offline
Beiträge: 53
Registriert: 02 Okt 2021, 16:06
Hat sich bedankt: 6 mal
Danksagung erhalten: 3 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#34

Beitrag von LSchenk »

Hallöle,

wollte noch Rückmeldung geben zum Monatswechsel:
Es lief völlig problemlos, ab 01.11. 0:00 Uhr wurde automatisch die Daten wie zuvor in die LogAll.csv geschrieben, allerdings sind nun nur Novemberwerte enthalten.

Falls man den kompletten Satz mit allen Werten haben möchte, müsste man csvmerge nun noch mal händisch auf die Oktoberdateien loslassen. Das sollte aber kein Problem sein. Braucht man jauch nicht zwingend, eher falls man mal, warum auch immer, die Daten komplett neu einlesen lassen wollte.

Und es lief auch seit dem 27.10. völlig fehlerfrei bis jetzt durch, es lag also nicht an CMX, sondern dem bei mir zu kurz gewählten Realtime-Intervall.

LG, Lutz
Antworten