Skript Klaus - Problem mit Umlauten im Archiv DWD-Grundversorgung

[wneudeck]

Hallo,
einige Usere haben das Problem, dass das Thema des Tages nicht komplett in die Datenbank übernommen wird.
Mein Einfall war nun der, dass die Umlaute daran schuld sein könnten und das scheint in der Tat auch der Falll zu sein, denn sobal ein Umlaut kommt, bricht der Eintrag ab.
Dies wiederum führte ich auf einen falsch eingestellten Zeichensatz zurück und empfahl nachzusehen, ob utf-8 eingestellt ist. Doch auch dies scheint nicht zwingend die Ursache zu sein.
Warum geht es dann aber bei der Mehrzahl und bei einigen wenigen nicht?
Bei mir auf GN2-Hosting z. Beispiel problemlos.

[Holli]

Das hat nichts mit dem Hoster zu tun, sondern mit dem eingestellten Charset der Website bzw. der DB. Wenn ich das richtig mitbekommen habe, wandelt das Script nach UTF-8 um. Das klappt natürlich nicht, wenn ein ISO-Charset verwendet wird. In dem Fall muß die Umwandlung deaktiviert/auskommentiert werden.

[Reinhard 123]

Zurück noch mal zu den Codierungen

Ausschnitt aus der inc.functions - Datei:

$Author = utf8_decode($Author);
    $Title = utf8_decode($Title);
    $Text = utf8_decode($Text);

1. Zeile wird gemacht
2. Zeile wird gemacht
3 Zeile wird nicht gemacht,
bzw. das einlesen wird abgebrochen, nimmt man diese Zeile aus der Datei, wird der Text komplett eingelesen in die Datenbank mit Umlauten --- Ausgabe im Modul aber ohne Umlaute.
in der MySQL Datenbank eingestellt = uft8_general_ci

Kann mir das einer mal erklären.
Gib es noch eine Möglichkeit, da was zu machen

PS: Dietmar bitte nicht wieder mit DB, dass ist für einen Laien wie mich die Deutsche Bundesbahn. (da kann ich google wie ich will)

[klaus289]

Hallo Reinhard,

ich habe davon auch wenig Ahnung. Aber ich vermute, dass es sich noch um alte Beiträge bei dir handelt. Lösche mal bitte alle Beiträge aus der Datenbank.
Wenn du das Archiv dann aufrufst könnte es sein, dass aktuell eingelesen wurde.
Hatte gestern und heute auch so ein Problem. Das Archiv wurde nicht richtig eingelesen.
Nach der Löschung des fehlerhaften Beitrags wurde wieder richtig eingelesen.

[Reinhard 123]

Glaube ich nicht,
1. müssten dann nachfolgende Beiträge richtig sein.
2. Es geht wieder nichts, alles schon durchprobiert.

Bilde mir ein (machen sein ein und alles), es ist eine Konfliktsache zwischen Script und Datenbank (DB), kann es aber mit meinen Kenntnissen keinesfalls lösen.
Kann auch an der Datenbank selbst liegen, es betrifft ja nur z.Z. 2 Mann, aber man kann eigenlich da nichts Falsch machen.
Datenbank anlegen, der Rest macht ja der Script.
PS: würde diese ja rausschmeissen, aber es wurmt mich unendlich.

[klaus289]

Hallo Reinhard,

nein, vermutlich liegt es nicht an dir. Ich habe das gleiche  Problem, das das TdT nicht richtig gelesen wird.
Vermutlich hat der DWD etwas an seiner Struktur der Daten geändert. Kann aber nur eine Kleinigkeit sein. Vielleicht den Titel um eine Zeile verschoben, schon klappt es nicht mehr mit der Einleserei.
Ich bleibe da mal dran.

[Holli]

Vermutlich hat der DWD etwas an seiner Struktur der Daten geändert.

Das Problem hatte ich von Anfang an. Es gibt überhaupt keine wirkliche Struktur (was eigentlich unzulässig ist, denn die Website des DWD müßte als Behördensite barrierefrei nach BITV sein und deshalb sinnvolle Auszeichnungstags nutzen). Überschrift, Fließtext und Fußtext stehen einfach willkürlich voneinander getrennt oder auch nicht getrennt, ganz wie der jeweilige Autor gerade Lust hat, in einer einzigen Textmatsche.

Ich habe zu Anfang versucht, trotzdem sinnvolle Algorithmen zu finden, um die Struktur zu erkennen, habe dann aber irgendwann angesichts der unzähligen Möglichkeiten aufgegeben. Die schlimmsten Fehler korrigiere ich manuell, wenn ich sie sehe, den Rest lasse ich einfach so matschig.

[klaus289]

Hallo Dietmar,

das ist natürlich blöde.
Kannst mal auch bei dir nachsehen. Heute scheint wieder so ein Fall zu sein.
Die vergangenen Tage lief es eigentlich.

[wneudeck]

Hallo,
es ist anzunehmen, dass es überall so ist. Bei mir fehlt jedenfalls auch der Eintrag des Titels.
Da wird schlecht etwas zu machen sein, das ist so ähnlich, wie wenn man Daviss belehren wollte. 

[Holli]

Heute muß ich noch warten, bis der Cronjob das Abholen erledigt. Obwohl der Text eigentlich vormittags vorliegen sollte, kam es immer wieder zu erheblichen Verzögerungen, so daß ich dann den Text vom Vortag doppelt und den aktuellen gar nicht hatte. Deshalb ist der Cronjob immer weiter nach hinten gerutscht, bis es zuverlässig klappte. Jetzt liegt er auf 16:00 UTC, also 18:00 MESZ.

Vorgestern ist allerdings trotzdem wieder was schiefgegangen. Der Text vom 6.4. fehlt. Früher habe ich sowas manuell nachgetragen, inzwischen lebe ich damit.

Bezüglich des Formats könnte man natürlich mit Hilfe von Behindertenorganisationen Druck machen. Die Frage ist dann, ob die Mängel behoben werden oder ob der Dienst einfach kurzerhand eingestellt wird. Ich denke nicht, daß es eine gesetzliche Verpflichtung zu dieser Art Grundversorgung gibt.