CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

Für allgemeine Software
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#11

Beitrag von LSchenk »

So, ich habe jetzt die v03 laufen, tut ebenfalls ihren Dienst, obwohl immer Fehler angezeigt werden, ist die Ausabedatei sauber.
Fehler.JPG
Fehler.JPG (131.15 KiB) 1329 mal betrachtet
Benutzeravatar
olicat
Offline
Beiträge: 2001
Registriert: 07 Dez 2020, 20:33
Wohnort: Hohen Neuendorf
Hat sich bedankt: 26 mal
Danksagung erhalten: 410 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#12

Beitrag von olicat »

Hi!
obwohl immer Fehler angezeigt werden
Laut Screenshot sind die entsprechenden Zeiten im Extra-Log nicht enthalten.
Wobei mich etwas irritiert, das es sooo viele sind.
Moeglicherweise fehlt aber auch eine Zeile im Standard-Log weswegen die Zeilennummern im Extra-Log nicht mehr stimmen.
Du kannst mir ja mal beide Dateien zusenden, dann schau ich mir das an.

Ansonsten habe ich fuer die 5-Minuten-Problematik im 1. Beitrag eine neue Version von CMXmerge angehaengt.
Diese versteht einen weiteren Parameter - delay n mit dem eine Anzahl von n Sekunden gewartet wird bevor das Zusammenfuehren der Dateien ueberhaupt beginnt. Vielleicht kannst Du damit sicherstellen, das die Dateien von CMX da sind, wenn CMXmerge diese zusammenfassen will.
Das erspart dann auch irgendwelche Scheduler-Aktionen ...

Datei im 1. Beitrag ist ausgetauscht; Changelog angepasst.

Gruss, Oliver
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#13

Beitrag von LSchenk »

Hallo Oliver,

habe jetzt mal v04 laufen lasen, die ist durch deine Änderungen extrem langsam geworden.

Die Uhrzeiten sind auf jeden Fall in beiden Dateien vorhanden. Ich kann leider nicht mitbekommen, aber welcher Zeile er da meckert, da es trotzdem für das Auge noch zu schnell durchläuft.

Auf welche Weise soll ich Dir die Dateien zukommen lassen?

Gruß, Lutz

Nachtrag:
Was mich schon die ganze Zeit wundert ist, dass CMX die logdateien jede Minute schreibt, obwohl ich das Intervall in CMX as auch in der Station auf 5 Minuten stehen habe. Vielleicht kommt ja deswegen cmxmerge durcheinander?

Nachtrag II: Fehler gefunden, in den Realtime-Settings von CMX waren 60 s. eingetragen. Muss mal beobachen ob es nun besser läuft.
Benutzeravatar
olicat
Offline
Beiträge: 2001
Registriert: 07 Dez 2020, 20:33
Wohnort: Hohen Neuendorf
Hat sich bedankt: 26 mal
Danksagung erhalten: 410 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#14

Beitrag von olicat »

Hi!
habe jetzt mal v04 laufen lasen, die ist durch deine Änderungen extrem langsam geworden.
Das wuerde ich eigentlich ausschliessen wollen.
Zur v03 gab es nur eine Aenderung: eine zusaetzliche Pause die aber ohne Angabe des Parameters -delay nicht zum Tragen kommt.
Ansonsten gab es keine Aenderungen. Womoeglich sind die Daten diesmal etwas groesser? Mit den gleichen Daten ist die v03 deutlich schneller?
Auf welche Weise soll ich Dir die Dateien zukommen lassen?
Gerne als ZIP per PM hier oder per Mail.

Oliver
Benutzeravatar
olicat
Offline
Beiträge: 2001
Registriert: 07 Dez 2020, 20:33
Wohnort: Hohen Neuendorf
Hat sich bedankt: 26 mal
Danksagung erhalten: 410 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#15

Beitrag von olicat »

Hi!

Ich habe mir die Daten jetzt mal angesehen (und dabei noch einen kleinen Fehler in CMXmerge entdeckt und behoben - siehe 1. Beitrag - v0.4a).
Die Uhrzeiten sind auf jeden Fall in beiden Dateien vorhanden. Ich kann leider nicht mitbekommen, aber welcher Zeile er da meckert, da es trotzdem für das Auge noch zu schnell durchläuft.
Es ist wirklich ein Jammer ...
CMX vergisst demnach manchmal auch, einen Datensatz in die default-Datei zu schreiben.
22.10.2021 10:25 ist zwar in der Extradatei vorhanden, nicht aber in der Standard-Datei. Dafuer gibt es in der Standard-Datei 2 Zeilen mit der gleichen Uhrzeit 10:30.
Somit werden ab dieser Uhrzeit nur noch die Standard-Daten mit leeren Extra-Daten in das Ausgabe-File geschrieben, weil keine zeilenweise Zuordnung mehr zwischen den beiden Dateien erfolgen kann.

Demnach muss man davon ausgehen, das beliebig Zeilen in der einen oder anderen Datei fehlen koennen und das jeweils abfangen.
Ich schau mal, ob ich das ohne grossen Aufwand hinbekomme - aber zumindest das hatte ich bisher vorausgesetzt - das sieht mir nach einem Bug von CMX aus. Jedenfalls kann ich mir nicht vorstellen, das Extra-Daten vorhanden sind, ohne das die Standard-Daten zur Verfuegung stehen.

BTW: Korrigiert man die Zeile 3882 Deiner Standard-Datei indem man dort die 10:30 nach 10:25 aendert, erfolgt eine absolut einwandfreie Konvertierung ohne jeglichen Hinweis.

Oliver
Benutzeravatar
Gyvate
Offline
Beiträge: 2479
Registriert: 10 Aug 2021, 23:41
Wohnort: Saarbrücken
Hat sich bedankt: 12 mal
Danksagung erhalten: 375 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#16

Beitrag von Gyvate »

olicat hat geschrieben: 26 Okt 2021, 23:23 ....
- das sieht mir nach einem Bug von CMX aus. Jedenfalls kann ich mir nicht vorstellen, das Extra-Daten vorhanden sind, ohne das die Standard-Daten zur Verfuegung stehen.

Oliver
Muss nicht unbedingt ein Bug sein. Der Zeitstempel stammt aus dem Schreiben des Datensatzes. Und ich vermute, dass die Datensätze voneinander unabhängig geschrieben werden. Wenn sich jetzt der Zeitpunkt jedesmal minimal verschiebt, weil eine Synchronisierung i.d.R. alle 6 oder 12 Stunden stattfindet. und wenn das gerade zum Minutenübergang passiert d.h. Basissensoren noch vor und Extra nach dem Minutenübergang geschrieben werden, gibt es einen Basis-Datensatz von Minute n und einen dazugehörigen Extra-Datensatz von Minute n + 1, allerdings mit einem anderen Zeitstempel. Dann gibt es dadurch sowohl einen Basis-Datensatz ohne Extra derselben Minute und ggf. einen Extra-Datensatz ohne Basisdatensatz derselben Minute.

Wenn die Datensätze immer basierend auf dem Zeitstempel des Basisdatensatzes geschrieben werden (würden), sollte diese Situation nicht eintreten.

Ich kann ja mal Mark diesen Sachverhalt schildern - vielleicht lässt sich das ja innerhalb von CMX "abfangen" (so es denn wirklich an CMX liegt).
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge RPi4B-2GB/(16)32GB SLC 3165, Weewx 4.5.1/4.10.2, CumulusMX 3.28.4 b3282, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#17

Beitrag von LSchenk »

Ah, sehr aufschlussreich, aber was meinst Du mit Default-Datei?

Aber jetzt fällt mir auch auf, warum mir das bisher nicht auffiel:
WsWin importiert ja nur neue Daten.

Ich hätte mir daher auch den Output weiter vorn mal besser ansehen sollen, dann hätte ich besser zum zur Problemlösung beigetragen...

Tja, das CMX da wohl warum auch immer mal Zeilen vergisst oder nicht korrekt erfasst ist natürlich saublöd.

Ich werde das mal beobachten, da ich ja wie gesagt den Realtime-Output bisher versehentlich minütlich hatte, was ich jetzt auch auf die 5 Minuten umgestellt habe.

Vielleicht wird es dadurch ab den neuen Monats-Logs ab November besser.

Die Standard-Datei werde ich mal zum 22.10.2021 10:25 bereinigen, dann wird es wohl erst mal laufen.
(Nachtrag: Bereinigt, läuft jetzt sauber und recht flott, mit v04a)

Vielen lieben Dank, Lutz
Zuletzt geändert von LSchenk am 27 Okt 2021, 00:02, insgesamt 1-mal geändert.
Benutzeravatar
olicat
Offline
Beiträge: 2001
Registriert: 07 Dez 2020, 20:33
Wohnort: Hohen Neuendorf
Hat sich bedankt: 26 mal
Danksagung erhalten: 410 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#18

Beitrag von olicat »

Hi!

Hier im Beispiel werden Standard- und Extra-Datei huebsch im 5-Minuten-Intervall eingetragen.
Nur einmal - mitten drin - schreibt CMX in die Standard-Datei eben statt 10:25 ein 10:30. In der Extra-Datei steht dazu 10:25.
Der nachfolgende Satz ist dann fuer Standard- wie auch Extra-Datei wieder 10:30:

Standard-Datei:

Code: Alles auswählen

22.10.21;10:20;
22.10.21;10:30;
22.10.21;10:30;
22.10.21;10:35;
Extra-Datei:

Code: Alles auswählen

22.10.21;10:20;
22.10.21;10:25;
22.10.21;10:30;
22.10.21;10:35;
Ich kann ja mal Mark diesen Sachverhalt schildern - vielleicht lässt sich das ja innerhalb von CMX "abfangen" (so es denn wirklich an CMX liegt).
Das waere wirklich nett! Danke!

@Lutz:
Mit Standard-Datei/default-Datei meine ich die kleinere Datei mit den wenigen Feldern. Die Extra-Datei ist dann die mit den Zusatzsensoren und den vielen Feldern.

Oliver
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#19

Beitrag von LSchenk »

Habe die Standard-Datei bereinigt, läuft mit v04a sauber durch.
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#20

Beitrag von LSchenk »

Gyvate hat geschrieben: 26 Okt 2021, 23:40 ...
Wenn die Datensätze immer basierend auf dem Zeitstempel des Basisdatensatzes geschrieben werden (würden), sollte diese Situation nicht eintreten.

Ich kann ja mal Mark diesen Sachverhalt schildern - vielleicht lässt sich das ja innerhalb von CMX "abfangen" (so es denn wirklich an CMX liegt).
Hi Gyvate,

wo soll denn der Zeitstempel sonst herkommen außer aus den Basisdaten?
Alles Andere wäre ja kontraproduktiv.

Aber fein, wenn Du dieses Problem zur Klärung weiter tragen köntest!

LG, Lutz
Antworten