Datenarchiv abrufbar machen

[martinkk]

Hallo,

Ich spiele gerade mit dem Gedanken ein vernünftig abrufbares Datenarchiv (online) zu erstellen. Es ist schade, dass es das in Meteohub noch nicht gibt.

Habt ihr so etwas schon einmal gemacht? Wichtig ist mir, dass ich nicht händisch eingreifen muss. Die Daten sollen abrufbar verfügbar und auswertbar sein.
mE hätte man zwei Möglichkeiten.

1. Möglichkeit: csv File mit allen Daten mitloggen
Man könnte bspw. wswin-yesterday und wswin-today csv Dateien regelmäßig parsen und in eine große csv schreiben. So könnte man zumindest Tools wie amcharts und stockcharts damit befüllen, wenn einem das reicht. Das ist zwar eine billige und wenig performante Lösung, aber für ein paar schöne Charts erfüllt sie ihren Zweck sehr gut.

2. Daten in eine Datenbank schreiben
Das wäre natürlich die eleganteste Lösung, weil man dann alles damit anstellen kann. Die einfachste Variante wird hier vermutlich auch sein, dass man die wswin-yesterday oder today (muss ich mir erst anschauen) Datei regelmäßig in die Datenbank einspielt. So vermeidet man doppelte Einträge, ist auf die Art aber immer 24h zeitverzögert unterwegs, was mir für das Archiv eigentlich egal wäre. So hätte ich für die normale Ansicht die MEteohub Grafiken und wenn ich eine tabellarische Auswertung oder auch grafische Auswertung über einen bestimmten Zeitraum möchte, die Möglichkeit das über die Daten aus der DB zu machen.

Hat sich dbzgl. jemand schon Gedanken gemacht und etwas gebastelt? Ich muss das Rad ja nicht neu erfinden, wenn jemand schon etwas erstellt hat. Ich werde mich am WOchenende einmal damit spielen und bin für Anregungen dankbar!

BTW: Wieso gib's denn nicht einfach eine Möglichkeit die historischen Daten über Meteohub vernünftig abzufragen? Die HTML Tags sind ja praktisch, aber halt rech "undynamisch".

[SinCity]

Hallo Martinkk

Vielleicht wirst du hier fündig ...
http://www.wetterstationen.info/forum/wetter-websites/tutorial-wetterdaten-und-datenbanken-%28mysql%29/

Das mit den CSV-Dateien habe ich mir auch mal überlegt. Ich bin dann aber so vorgegangen:
1. die CSV-Datei lese ich jeweils wöchentlich aus WsWin aus
2. diese wird dann mit einem Excel-Makro so bearbeite, dass ich Stundenwerte habe
3. diese Stundenwerte trage ich dann in die Jahresdatei ein.
4. Upload auf die Homepage und fertig ist die Darstellung ... bei mir mit High-Charts

PS:  Falls du das hinbringst mit den CSV-Dateien aus Meteohub heraus hätte ich jedenfalls Interesse

LG René

[Bernd aus Köln]

Hallo,

ich habe eine Datenbank erstellt, die mit wswin-yesterday und wswin-today aktualisiert wird (Cronjob alle 5 Minuten).
Ich habe nur noch keine grafische Darstellung, bin noch mit PHP am Üben...
Aber die Daten werden schonmal unabhängig von Meteohub gespeichert.

[canton]

Hallo Bernd,
warum kann Meteohub die Daten des Loggers in der WMR200 nicht auslesen?
Cumulus kanns ja auch.
Oder ich kanns nicht, kann ja auch sein.

VG Franz

[Bernd aus Köln]

Meteohub kann den Logger nicht auslesen. 

[martinkk]

@SinCity
WsWin möchte ich nicht verwenden und extra manuell Daten auswerten ist zwar lustig, aber nur dann wenn man nicht regelmäßig muss. Lieber wäre mir eine DB. Das Tutorial kenne ich, danke! Dadurch bin ich auch auf die IDee gekommen.

@Bernd aus Köln
Würdest du mir dein Script zur Verfügung stellen? Das wäre total fein und ich würde mich wirklich freuen! Dann brauche ich nicht selbst zu parsen.... ich würde einfach die DB gleich anlegen wie du sie hast. Das finde ich dann schon anhand des Scripts raus....

[Bernd aus Köln]

Werde ich demnächst machen, bin jetzt nicht Zuhause.

[martinkk]

Danke vorab! Das ist ganz lieb von dir!

Ich glaube ich werde auch bald einmal einen Thread eröffnen, wo ich einige Dinge erkläre, die ich mit meiner Wetterstation gemacht habe. Es kommen doch ein paar Scripts und Cronjobs usw zusammen. Für manche Newbees ist das sicher recht brauchbar.

[Bernd aus Köln]

Hallo martinkk,

hier ist mein Script:

Code Auswählen Erweitern

<?php// Datenbank öffnen.$handle = fopen("gestern.csv", "r");while(! feof($handle)){$data = fgetcsv($handle, 1000, ",");if (substr($data[1],2,1)==":") {$dew = pow($data[3]/100,0.125)*(112+0.9*$data[2])+0.1*$data[2]-112;        mysql_query("INSERT INTO wetter2 (Datum, Zeit, Temp, Feuchte, Regen, Wind, Windri, Windboe, Druck, Taup) VALUES ('$data[0]', '$data[1]', '$data[2]', '$data[3]', '$data[4]', '$data[5]', '$data[6]', '$data[7]', '$data[8]', '$dew')");        }} fclose($handle);$handle = fopen("heute.csv", "r");while(! feof($handle)){$data = fgetcsv($handle, 1000, ",");if (substr($data[1],2,1)==":") {$dew = pow($data[3]/100,0.125)*(112+0.9*$data[2])+0.1*$data[2]-112;        mysql_query("INSERT INTO wetter2 (Datum, Zeit, Temp, Feuchte, Regen, Wind, Windri, Windboe, Druck, Taup) VALUES ('$data[0]', '$data[1]', '$data[2]', '$data[3]', '$data[4]', '$data[5]', '$data[6]', '$data[7]', '$data[8]', '$dew')");        }} fclose($handle);?>




Da der Taupunkt nicht übergeben, wird, lasse ich ihn berechnen.
gestern.csv und heute.csv sind die erzeugten Tabellen aus wswin-yesterday und wswin-today.


Struktur der Tabelle:

[gelöscht durch Administrator]

[WernerWetter]

Eine Anmerkung:

Es wäre überaus sinnvoll bei der Datenbankeinrichtung SQL-Konforme Attribute für Zeit/Datum zu nehmen: datetime und nicht 2 Strings. Damit lassen sich später einfacher SQL Abfragen machen....