Hallo Wetterfreunde,
ich habe folgende Frage:
Ist es möglich, die Wetterdaten aus WsWin auf den Meteohub zu importieren ?
Hintergrund:
ich habe Wetterdaten von 2008-2010, aufgezeichnet mit WsWin von einer Vantage Pro mit Bodentempstation usw..
Seit 2011 verwende ich ein Meteohub/plug System zum aufzeichnen und würde aber gerne die "alten" Daten mit auswerten.
Gruß
Hier (http://forum.meteohub.de/viewtopic.php?f=14&t=8326) ist das entsprechende Feature beschrieben.
Hey,
ich habe nun seit circa zwei Wochen auch Meteohub und hatte seit 2007 auch in WsWin aufgezeichnet und mir genau diese Frage auch gestellt und habe folgende Anleitung gefunden, nach der es auch bei mir funktioniert hat. Was Probleme bereitet hat, war die Regenmenge (aber mit ein paar Handgriffen konnte ich das Problem schließlich auch lösen).
Auf was du achten solltest, ist, dass die Sensorenzuordnung (also z.b.: thb0, th0...) gleich sein sollte (sprich bei Wswin und bei Meteohub)...
So nun zu der Anleitung: eine schöne übersichtliche pdf-Datei:
http://www.weatherboxx.com/pdf/weatherBoxx-dataimport-wswin.pdf
Viel Spaß damit. Das Jahr 2011 habe ich inzwischen importiert, die restlichen 3 Jahre muss ich auch noch machen.
Viele Grüße
Pascal
Hallo,
erst mal danke für die Antworten.
Ich werde das mit der weatherboxx probieren.
Gruß :top:
Hallo,
muss dieses alte Thema mal aufwärmen, da ich seit einigen Tagen als eingefleischter WSWIN-User auch Meteohub nutze.
Laut dem hier genannten Link aus meteohub.de sollte es ja möglich sein, WSWIN-Daten in Meteohub zu importieren.
Ich habe dazu folgende Anweisung gefunden:
http://ip-of-your-meteohub/cgi-bin/import.cgi?file=meteobase_2010.csv&alt=520" imports file "meteobase_2010.csv
Müsste ja auf WSWIN übertragen, dann dies bedeuten:
http://ip-of-your-meteohub/cgi-bin/import.cgi?file=EXP07_14.csv&alt=520"
wenn ich den Juli importieren möchte.
Frage:
a) ist das so richtig, denn ich möchte mir nicht gleich mein neues System zerstören.
b) Muss man das Monat für Monat machen oder könnte man auch eine csv des ganzen Jahres importieren?
c) gibt es keine Schwierigkeiten mit den Sensor-IDs, denn in WSWIN ist ja beispielsweise Tempaußen ID=2 und in Meteohub ist es th0
Danke schon mal im voraus
Hallo,
ich habe nun doch mal einen Versuch gewagt, aber da muss am System etwas verändert worden sein, denn nach Aufruf dees Links kommt die Fehlermelduing:
Error reading file /data/transfer/EXP07_14.csv: No such file or directory
Es wird hier also offenbar in einem Verzeichnis /data/transfer gesucht, die Struktur ist bei Meteohub aber public/transfer
Irgendwelche Hinweise?
"/data/transfer/" ist derselbe Ordner wie der im Netzwerk über das SMB-Protokoll erreichbare "/public/transfer".
Also erst die Dateien in "/public/transfer/..." ablegen und dann per URL-Aufruf mit dem Pfad "/data/transfer/..." spezifizieren.
@wneudeck
Falls es funktioniert, kannst du mal eine genaue Beschreibung geben, wie du das gemacht hast? Vor dem Problem stehe ich nämlich auch noch....
Danke
Jonn
Hallo,
ich werde den Versuch noch etwas aufschieben, da ich gerade mit dem Meteostick beschäftigt bin.
Trotzdem folgendes schon mal:
ZitatAlso erst die Dateien in "/public/transfer/..." ablegen
Das hatte ich ja bereits gemacht.
Zitatdann per URL-Aufruf mit dem Pfad "/data/transfer/..." spezifizieren.
Wie ist das zu verstehen:
Sollte es dann so angegeben werden:
Zitathttp://ip-of-your-meteohub/cgi-bin/import.cgi?file=/data/transfer/EXP07_14.csv&alt=520
Beiträge zusammengeführt, weil der Autor sich selbst geantwortet hat statt seinen letzten Beitrag zu ändern: 14.08.2014, 11:49:39
Hallo,
habe es jetzt damit versucht, das geht nicht.
Antwort:
Error reading file /data/transfer//data/transfer/EXP07_14.csv: No such file or directory
Was mache ich falsch?
bitte mal so versuchen, sieht aus als ob den Pfad bereits selbst davor schreibt (sorry, ist Äonen her, dass ich das programmiert habe):
http://ip-of-your-meteohub/cgi-bin/import.cgi?file=EXP07_14.csv&alt=520
Damit findet ihr die Datei, importiert diese auch, jedoch das Exp.csv von WsWin hat eine Sensorenzuordnung, wo stelle ich das beim Export ein?
Hallo,
da muss bei uns beiden etwas unterschíedlich laufen. Bei mir wird definitiv kein Import durchgeführt.
Es kommt nach wie vor die Meldung
Error reading file /data/transfer/EXP06_14.csv: No such file or directory
Die Datei EXP06_14.csv ist im Verzeichnis 'transfer'
Wenn der Pfad aber nochmals mitgegeben wird (s.letztes Posting), dann lautet die Meldung
Error reading file /data/transfer//data/transfer/EXP07_14.csv: No such file or directory
was ja letztlch bedeuten würde, dass man den Pfad nicht mitgeben darf, sonst kommt er doppelt.
Bekam eine Meldung, daß die Raw Datei erstellt wurde, nach Neuberechnung der Daten, liegt die Raw für den Monat vor, mein Problem war, daß in der EXP.csv keine Sensorzuordnung vorhanden ist.
Mit welchem Browser hast du das gemacht? Ich habe die Datei vom Finder in public/transfer verschoben und mit dem Safari vom Mac den Import gemacht, ich werde heute Abend nochmals ein Versuch starten, wenn ich das mit den Sensorzuordnung gelöst habe.
Jonn
Hallo Jonn,
zunächst zu Deinem Problem mit der fehlenden Sensorzuordnung:
Wenn Du in WSWIN die ganz normale Monatsdatei exportierst ("Datei - Exportieren - Monatsdatei exportieren), dann ist in der Exportdatei die Sensorzuordnung enthalten. Wenn Du einen älteren Monat exportieren willst, musst Du halt zuvor in WSWIN die Monatsansicht des betreffenden Monats wählen.
Die ersten Zeilen sehen dann so aus:
ZitatDatum Zeit Temp. I. Au�entemp. Temp. A. min Temp. A. max BodenTemp Feuchte I. Feuchte A. Luftdruck Niederschl. Wind Richtung Sonnenschein ET UV Solar Windb�en Empfang GWD W0 W1
ﾰC ﾰC ﾰC ﾰC ﾰC % % hPa mm km/h ﾰ min mm UV-I W/mﾲ km/h % GWD B0 B1
#Calibrate=1.000 #Regen0=0mm #Location=411/411m #Baro_correction=48hPa #Station=Envoy
1 2 6 7 13 17 18 133 34 35 36 37 40 41 42 45 46 96 97 98
01.08.2014 00:00 25 16,3 16,3 16,4 16,1 54 85 1014,2 0 0 135 0 0 0 0 1,6 100 6 0 45
01.08.2014 00:05 25 16,3 16,3 16,3 15,6 54 85 1014,2 0 0 135 0 0 0 0 1,6 98,25 6 0 45
Mein Problem ist einfach, dass er, wie schon mehrfach angegeben, die Datei anscheinend nicht findet, obwohl sie genau dort ist, wo sie sein sollte, nämlich im Verzeichnis 'transfer'. Das hat auch mit dem Browser nichts zu tun, diese Meldiung kommt bei jedem Browser.
Das mit dem Dateinamen muss ein Typo sein. Kannst Du mir per "help.cgi" nochmal wie gehabt Zugriff geben?
Hallo,
ja, habe ich soeben gemacht.
Wie Du sehen wirst, habe ich 2 Dateien oben, einmal
EXP07_14.csv und EXP06_14.csv
"ls -la /data/transfer" zeigt:
total 1848
drwxrwxrwx 2 root root 4096 Aug 15 19:28 .
drwxrwxrwx 9 root root 4096 Aug 15 22:54 ..
-rwxrwxrwx 1 root root 920111 Aug 14 22:38 EXP06_14.CSV
-rwxrwxrwx 1 root root 951202 Aug 11 13:31 EXP07_14.CSV
Beim Aufruf von "import.cgi" muss man Groß-/Klainschreibung beachten (ist Linux!).
"http://mars:8882/cgi-bin/import.cgi?file=EXP07_14.CSV&alt=520"
liefert:
reading input file: /data/transfer/
selected mode: WSWIN
generated file: /data/weather/201406/raw (29 lines)
generated file: /data/weather/201407/raw (8903 lines)
total 8932 lines done.
Also "EXP07_14.CSV" anstelle "EXP07_14.csv" und es tut...
Werner, Du kannst den Tunnel mit "nohelp.cgi" wieder schliessen...
Hallo,
da ärgere ich mich nun allerdings maßlos über mich selbst, denn das "Problem" Groß-Kleinschreibung ist mir ja bestens bekannt. Vor lauter Bäumen habe ich offenbar den Wald nicht gesehen und nicht auf den suffix 'csv' geachtet.
Sorry für den unnötigen Aufwand.
Beiträge zusammengeführt, weil der Autor sich selbst geantwortet hat statt seinen letzten Beitrag zu ändern: 16.08.2014, 11:05:51
Hallo,
Nachtrag:
Ich habe nun allerdings festgestellt, dass der Import nicht einwandfrei ablief und ihn daher wieder rückgängig gemacht. Es wurden offenbar Sensor-IDs von WSWIN nicht richtig zugeordnet, denn ich bekam beispielsweise am 1.Juli eine Minimaltemperatur von 0 Grad (was aber in der Exportdatei natürlich nicht auftrat) und auch bei anderen Werten Probleme.
Ich werde das aber bei Gelegenheit mal versuchen, selbst in Ruhe zu untersuchen.
Trotzdem eine letzte Frage, denn das kann meine Suche vereinfachen:
Ich habe ja in WSWIN IDs, die Meteohub nicht hat, beispielsweise die ID=6 (minTemperatur) und ID=7 (MaxTemperatur) oder ID40 (ET)
Kann es sein, dass man diese Sensoren entfernen müsste? Das wäre dann allerdings massive Handarbeit oder ignoriert Meteohub Sensoren, die er nicht führt?
Denn eine von Meteohub erstellte Exportdatei weist diese Sensoren auf:
,,1,2,13,17,18,33,34,35,36,41,42,45,133
und die von WSWIN standardmäßig erzeugte Datei weist (bei mir) diese Andordnung auf:
,,1,2,6,7,13,17,18,133,34,35,36,37,40,41,42,45,46,96,97,98
Es ist also die Frage, ob Meteohub das überhaupt berücksichtigen kann
Werner, Du hast wahrscheinlich auch Soil/Leaf mit drin und mit Sauße und scharf... ;-)
Sende mir bitte mal Deine CSV, ich schau mir das mal an. Der Import-Code ist mehr mal so als
Notbrücke entstanden und nicht mit allen Schikanen versehen, aber vielleicht kann ich das simpel erweitern. Mail: "info(at)meteohub.de"
Hallo Boris,
ZitatDer Import-Code ist mehr mal so als
Notbrücke entstanden und nicht mit allen Schikanen versehen,
Ja, das ist verständlich. Ich sende Dir jetzt mal die Datei des Juli zu.
Ein Problem (an das ich mich gerade erinnere) ist, dass WSWIN abhängig von der eingestellten Sprache die Export-Daten mal mit "," und mal mit "." als Dezimalkomma ausgibt. Das Import-Script erwartet den Punkt, die vorliegenden WSWIN-Daten enthalten ein Komma. Ich erweitere den Code grad, dass er beide Formate nimmt.
Hoffentlich kommen die Daten, wenn man Latein als Sprache wählt nicht als römische Ziffern... Sorry, war nur Spass ;-)
Hallo,
sehe das posting erst jetzt. Das hätte sich insofern vermeiden lassen, als man in WSWIN, wenn man "Datei - Exportieren" und dort "Wetterdaten exportieren" --> Messgrößen - Monatsdatei" wählt, die Zeichen wählen kann.
Hallo,
es ist jetzt dank Boris soweit, dass WSWIN-Daten relativ problemlos in Meteohub importiert werden können.
Dies war zwar bisher bereits möglich, aber nur bei bestimmten WSWIN-Konfigurationen.
Die Importfunktion wurde nun dahingehend erweitert bzw. verbessert, als es nun möglich ist
- Dateien zu importieren, bei denen als Dezimalzeichen der Punkt verwendet wird (13.5)
- Dateien zu importieren, bei denen als Dezimalzeichen das Komma verwendet wird (13,5)
- es nicht nur möglich ist, die WSWIN-Monatsdateien zu importieren (EXP08_14.CSV als Beispiel), sondern auch Exportdateien von WSWIN, die z.B. ein ganzes Jahr enthalten (EXP_20140101.CSV), was natürlich den Import wesentlich vereinfacht. Es ist allerdings darauf zu achten, dass die SensorIDs, die in einer solchen Datei nicht vorhanden sind, manuell vor dem 1. Datensatz eingefügt werden. Beispiel:
ZitatDatum;Zeit;Temp. I.;Außentemp.;Temp. A. min;Temp. A. max;BodenTemp;Feuchte I.;Feuchte A.;Luftdruck;Niederschl.;Wind;Richtung;Sonnenschein;ET;UV;Solar;Windböen;Empfang;GWD;W0;W1
;;°C;°C;°C;°C;°C;%;%;hPa;l/m²;km/h;°;min;mm;UV-I;W/m²;km/h;%;GWD;B0;B1
;;1;2;6;7;13;17;18;133;34;35;36;37;40;41;42;45;46;96;97;98
01.01.2014;02:00;19,2;-1,8;-1,8;-1,7;-1,7;43;91;1016,2;0,000;4,8;135;0;0,000;0,0;0;9,7;100,00;6;0;44
Für die WSWIN-User, die diese Funktion gar nicht kennen:
"Datei - Exportieren - Wetterdaten exportieren" --> dort bei "Messgrößen" wählen "Datum: 1 Datei" auswählen
Dann wird angeboten, ab welchem Jahr und welchem Monat bis zu welchem Jahr und Monat die Daten exportiert werden sollen.
Folgendes ist aus Meteohub-Seite zu beachten:
- Diese erweiterte Importfunktion steht erst ab Meteohub_Version 4.9zc zur Verfügung (also Update durchführen)
- da Meteohub die Daten von der Zeit her im UTC-Format speichert, sollte der erste Datensatz nicht mit 00:00 Uhr beginnen, sondern mit 02:00, also entsprechend editieren
- es sollten u.U. nicht mehr als die Daten von 1/2 Jahr oder einem Jahr übertragen werden, da sonst die Gefahr besteht, dass es zu einem Timepout des Webservers kommt, aber das merkt man dann ja und kann eine kleinere Exportdatei erzeugen.
Zuletzt:
Ich würde immer dazu raten, vor solchen Aktionen im Menüpunkt "Wartung" des Meteohub-Systems die Anwendungsdaten zu sichern.
Hallo Werner,
Deine Erläuterungen sind recht anschaulich, gibt Meteohub bei erfolgreichem Import eigentlich eine Meldung aus? Ich habe den Import mit einer Monatsdatei gerade getestet, Meteohub hat das ganze mit einer leeren Seite quittiert.
Danke Guenter
Hallo Guenter,
ja, es wird eine mehrzeilige Meldung ausgegeben, ich habe den Text leider nicht mehr im Kopf
Hallo Werner,
Der Link
http://ip-rpi/cgi-bin/import.cgi?file=EXP08_12.CSV&alt=125
sollte doch korrekt sein und das gewünschte Ergebnis bringen, oder? Ist bei WsWin noch etwas Besonderes einzustellen, außer dem, was Du bereits geschrieben hast?
Danke Guenter
Hallo Guenter,
ja, der Link ist korrekt, wenn die Schreibweise der csv-Datei stimmt (Groß-Kleinschreibung beachten)
Ich habe jetzt übrigens die Meldung wieder gefunden, die kommt, wenn die Datei richtig importiert wurde
Zitatreading input file: /data/transfer/EXP08_14.CSV
selected mode: WSWIN
generated file: /data/weather/201407/raw (29 lines)
generated file: /data/weather/201408/raw (5709 lines)
total 5738 lines done.
Hallo Werner,
(Groß-Kleinschreibung) ist korrekt, Linux halt, aber evtl. dauert der Import einer Monatsdatei länger als ich gewartet habe? Wie lange braucht Meteohub so ungefähr und wo finde ich wenn das Ergebnis?
Ein Haufen Fragen.
Danke Guenter :top:
Hallo,
ich kann Dir hier keine Zeit nennen, aber der Import selbst geht relativ schnell. Nur die Neuberechnung der Daten in Mewteohub dauert dann etwas.
Wenn die Datei richtig importiert ist, erkennst Du es u.a. daran, dass eben der betreffende Monat in Meteohub vorhanden ist. Denn ich nehme an, Du importierst ja einen Monat, der zuvor von Meteohub noch nicht erfasst war.
Wenn aber im Brwoser gar keine Meldung kommt, läuft etwas schief.
Hallo Werner,
ZitatWenn aber im Brwoser gar keine Meldung kommt, läuft etwas schief.
Das habe ich befürchtet, leider hapert es hier an der Dokumentation, zumindest habe ich im Handbuch detailliert nichts gefunden. Ich will natürlich auf die alten Daten nicht verzichten. Ansonsten ist das System top, auch die Erstellung von Grafiken etc. Also werde ich wohl Boris mal fragen müssen.
Danke Guenter
Hallo zusammen,
wenn man Daten nach Monaten aus Wswin in Meteohub übernimmt, sollte man dann nach jedem Monat eine Neuberechnung starten, oder reicht es, wenn man diese nach dem Einlesen der Monate macht? Ich habe das mal versucht, allerdings wurden nicht alle Monate berechnet und in Meteohub aufgenommen.
Hallo,
ich glaube, dass Du nicht jedesmal neuberechnen musst, bin mir aber nicht mehr sicher, wie ich damals vorgegangen bin, denn ich habe mehreres ausprobiert.
Lies mal hier im thread die Antwort#22, denn es gibt ja auch die Möglichkeit, mehrere Monate auf einmal zu importieren. Man muss halt sehr genau aufpassen.
Hallo,
momentan werde ich wohl Wswin parallel laufen lassen. Der Export bringt nicht exakt die gleichen Werte wie in Wswin. Eine Langzeitstatistik fehlt ja generell und ich sehe ohne Erläuterung der unzähligen Variablen bisher auch bisher Möglichkeit diese zu berechnen.
Habe nun auch neuerdings Meteohub auf einem Raspberry Pi +. Da ich auch meine alten Daten aus WSWIN in Meteohub übernehmen will, hatte ich es nach Anleitung in den vorherigen posts versucht, leider wird das ganze wie bei Günter mit einer leeren Seite quittiert. Hatte auch erst den gleichen Fehler wie bei Werner "Error reading file /data/transfer/EXP01_15.csv: No such file or directory". Firmware ist 5.0d
Grüße Marcel
Hallo Marcel,
ZitatError reading file /data/transfer/EXP01_15.csv: No such file or directory".
Du hast aber schon gelesen, was ich dann berichtigt habe: dies Problem war keines, sondern die Schreibweise hat nicht gestimmt (Groß-Kleinschreibung, auch csv ist nicht dasselbe wie CSV)
Hallo Werner, ja hatte ich gelesen dass es "kein Problem" war. ich habe gerade ein bisschen im Netz gestöbert, und gelesen das man die CSV Datei aus WSWIN erst ins RAW format umwandeln muss, im root Ordner data. Aber ich blicke da nicht ganz durch wie man in diesen Ordner kommt bzw. die Datei dort umwandelt. War das bei dir auch so?
Grüße Marcel
Hallo Marcel,
ZitatWar das bei dir auch so?
Nein, das ist ein Märchen. Ich schiuae jezt nochmals nach, ob ich finde, wie ich genau vorgegangen bin und poste es dann. Dauert aber etwas.
Oh das wäre natürlich spitze Werner :top:
Hallo,
habe gerade dieses Thema nochmals durchgesehen. Die Anwort steht in #22
BItte natürlich alles exakt beachten.
Hallo Werner schade klappt nicht :( habe die CSV Datei genau nach deiner Anleitung bearbeitet sprich Sensor id's UTC time bearbeitet keine Chance. Ich werde glaube ich die raw. Datei händisch ergänzen. Dauert etwas, aber so geht es glaube ich auch. Letzten Monat am 21. wurde das System in Betrieb genommen, jetzt kann sein das Meteohub die Daten dann nicht ergänzt? Oder nur einen ganzen Monat?
Grüße Marcel
Hallo Marcel,
es geht immer nur monatsweise, da WSWIN ja monatsorientiert ist.
Du kannst ja nur eien ganzen Monat exportieren und den dann in Meteohub wieder importieren.
Ob es eine gute Idee ist, die raw-Datei von Hand zu ergänzen, wage ich zu bezweifeln.
Hatte ich mir schon gedacht wegen WSWIN. Ich schreibe Boris mal an, vielleicht sieht er den Fehler. Aber danke dir für deine Hilfe ;)
Grüße und Gute Nacht Marcel
Beiträge zusammengeführt, weil der Autor sich selbst geantwortet hat statt seinen letzten Beitrag zu ändern: 10.02.2015, 17:57:33
Hallo Werner, hatte alles so gemacht wie du es schon geschrieben hattest, UTC Zeit korrigiert, die Sensor id's nochmals genau angschaut, aber das wichtigste was ich übersehen hatte, war das semikolon ; bei mir war in der export Datei das normale Komma überall dazwischen. In WSWIN nochmals eine neue Monatsdatei erstellt mit semikolon. Jetzt ging es :top:. Hatte auch vorher aus dem Ordner "puplic" "weather" den Unterordner Januar komplett raugenommen. Er wurde komplett neu erstellt mit korrektem Datum und Werten. So nun bin ich happy 8)
Grüße Marcel
Hallo,
ich habe heute die "Anleitung" zu dem Importvorgang nochmals überarbeitet und oben angepinnt, damit es leichter zu finden ist.
Zitat von: wneudeck am 13.04.2015, 11:26:58
Hallo,
ich habe heute die "Anleitung" zu dem Importvorgang nochmals überarbeitet und oben angepinnt, damit es leichter zu finden ist.
Danke :top: