SFTP-Problem

[r2602]

Ein Hallo an alle,

mein Webside-Hoster (1u1) unterstützt seit einiger Zeit den normalen FTP-Zugang nur noch rudimentär. Rudimentär heiß in diesem Falle, dass normales FTP in der Konfiguration nicht mehr erwähnt wird und ich leider immer häufiger Fehler beim FTP-Login erhalte. Kurze Zeit später funktioniert es dann wieder bei unveränderter Konfiguration. Der Support empfiehlt auf SFTP umzustellen. Vermutlich wird der FTP-Zugang bald überhaupt nicht mehr zur Verfügung stehen (meine Vermutung), sondern nur noch SFTP.
Soweit zur Vorgeschichte.

Derzeit laden drei Systeme bzw. Programme Daten auf die Webseite hoch.

1. Mobotix Webcam M25 lädt alle 5 Minuten ein aktuelles Bild hoch. Nach meinem bisherigen Erkenntnisstand unterstützt die Kamerafirmware kein SFTP. Die Antwort vom Support steht noch aus.

2. WeatherLink lädt viermal pro Stunde die aktuellen Wetterdaten (die von WeatherLink und die von WsWin) hoch. Weatherlink unterstützt kein SFTP.

3. WxToImg lädt mehrmals täglich die empfangenen Satellitenbilder auf die Homepage hoch. WxToImg unterstützt ebenfalls kein SFTP.

Die von WeatherLink hochgeladenen Daten entstehen zu festgelegten Zeiten und auch mit festgelegten Dateinamen. Das heißt an dieser Stelle könnte ich eventuell einen extra Uploader einsetzen welcher SFTP unterstützt.
Die Satellitenbilder von WxToImg kommen hingegen unregelmäßig mit jeweils völlig unterschiedlichen Dateinamen. Hier übersehe ich zur Zeit nicht wie das mit einem extra Uploader gehen könnte.

Wie könnte also die Lösung für die oben geschilderte Problematik aussehen?
Hoster wechseln, ja, eine Option, aber wie lange unterstützt der neue Hoster noch FTP?
Von daher gelänge im Optimalfall eine Umstellung auf SFTP ohne, dass die eingesetzten Programme SFTP unterstützen müssten.

Zur Zeit fehlt mir jegliche gute Idee und ich bin daher für jede Info dankbar.

Gruß
Roland

[falk]

Es gibt günstige vServer für unter 10 EUR / Monat. Dort kannst du dir dein eigenes System einrichten mit Datenbank, Web-Server, FTP-Server und vieles mehr und bist nicht mehr von einem Webhoster abhängig. Allerdings musst du den Server auch selbst administrieren können, was entsprechende Kenntnisse voraussetzt.

Alternativ kannst du bei dir lokal einen FTP-Server einrichten und dorthin deine Daten in unterschiedliche Verzeichnisse ablegen. Ein Überwachungsskript könnte dann bei Änderung die Dateien per SFTP zum Webhoster schicken.

[wneudeck]

Hallo Roland,
die Frage ist, ob es unbedingt sftp sein muss, wo ja alles, auch die Daten verschlüsselt werden.
Es sollte doch auch z.B. mit TLS/SSL gehen, bei dem nur Benutzername und Passwort verschlüsselt übertragen werden. Erkundige Dich. Und viel Vergnügen beim Support.
Dann könntest Du z.B. ein Programm wie den ftp-uploader nehmen (kostenpflichtig). Dort dann 3 verschiedene Projekt anlegen und der lädt Dir dann automatisch alles hoch.

[r2602]

Hallo falk,

Alternativ kannst du bei dir lokal einen FTP-Server einrichten und dorthin deine Daten in unterschiedliche Verzeichnisse ablegen. Ein Überwachungsskript könnte dann bei Änderung die Dateien per SFTP zum Webhoster schicken.

könnte ein Skript ganze Verzeichnisstrukturen überwachen und dann erkannte Änderungen (neue Dateien und geänderte Dateien) mit einem Server per SFTP synchronisieren?
Wie sieht ein solches Script dann prinzipiell aus (Betriebssystem, Schriptausführung, Scriptprogrammiersprache etc.)?

Gruß Roland
Beiträge zusammengeführt, weil der Autor sich selbst geantwortet hat statt seinen letzten Beitrag zu ändern: 07.10.2016, 19:46:50
Hallo Werner,

die Frage ist, ob es unbedingt sftp sein muss, wo ja alles, auch die Daten verschlüsselt werden.
Es sollte doch auch z.B. mit TLS/SSL gehen, bei dem nur Benutzername und Passwort verschlüsselt übertragen werden. Erkundige Dich. Und viel Vergnügen beim Support.
Dann könntest Du z.B. ein Programm wie den ftp-uploader nehmen (kostenpflichtig). Dort dann 3 verschiedene Projekt anlegen und der lädt Dir dann automatisch alles hoch.

ich habe es zumindest so verstanden, dass es SFTP sein muss. Die ganze Serverkonfiguration (also das was ich einstellen kann) legt dies ebenso nahe.
Könnte der ftp-uploader ganze Verzeichnisstrukturen synchronisieren, also neue Dateien mit beliebigen Dateinamen erkennen und uploaden und auch geänderte Dateien erkennen?

Gruß
Roland

[falk]

könnte ein Skript ganze Verzeichnisstrukturen überwachen und dann erkannte Änderungen (neue Dateien und geänderte Dateien) mit einem Server per SFTP synchronisieren?
Wie sieht ein solches Script dann prinzipiell aus (Betriebssystem, Schriptausführung, Scriptprogrammiersprache etc.)?

Hier bist du flexibel, sowohl was das Betriebssystem angeht, als auch die Skriptsprache. Ich würde spontan zu Python greifen. Mit dem Python-Modul Watchdog lassen sich Verzeichnisse überwachen und mit dem Python-Modul Paramiko lassen sich Dateien per SFTP übertragen. Das müsste sowohl unter Linux als auch unter Windows funktionieren.

Die einfachste Methode dürfte es sein, Dateien nach dem (erfolgreichen) SFTP-Transfer einfach zu löschen.

Das ist jetzt natürlich alles sehr theoretisch, ich sehe allerdings keine Probleme bei der Implementierung.

Ich persönlich würde einfach einen FTP-Dienst auf meinem vServer installieren. 

[wneudeck]

Hallo Roland,

Könnte der ftp-uploader ganze Verzeichnisstrukturen synchronisieren, also neue Dateien mit beliebigen Dateinamen erkennen und uploaden und auch geänderte Dateien erkennen?

Natürlich. Genau dieses Prinzip wird von WSWIN-Usern ja angewendet. Sobald neue Dateien in einem Verzeichnis sind (egal, wie sie heißen), werden sie hochgeladen.
Sonst hätte ich das Programm ja nicht genannt.

[r2602]

Hallo falk, hallo Werner,

vielen Dank für Eure Hilfe. Ich werde mir die verschiedenen Ideen näher und ausführlicher anschauen und einige Tests durchführen. Sollte am Ende eine sinnvolle Lösung entstehen, dann werde ich diese hier kundtun.

Also noch mal Danke und Gruß,
Roland

[leknilk0815]

Servus,
zum 1&1- FTP- Problem siehe auch hier:
http://www.wetterstationen.info/forum/allgemeines-softwareforum/hs-upload-ubertragt-manchmal-nicht/msg290136/#msg290136

[r2602]

Nun, wie ist die Sache aus gegangen?
Da von meiner Seite seit Jahren keine Änderungen bei der FTP-Uploadkonfiguration erfolgt ist vermutete ich die Ursache bei Konfigurationsänderungen des Hosters 1&1. Gerade auch deshalb weil 1&1 inzwischen das SFTP-Protokoll empfiehlt und normales FTP nur noch auslaufend unterstützt. Außerdem werden bei 1&1 immer mehr Server mit DDoS-Proxys abgesichert um die entsprechenden Angriffe von Außen abzuwehren.
Zunächst habe ich den 1&1 Support telefonisch kontaktiert. Bei diesem ersten Kontakt konnte allerdings keine Lösung herbeigeführt werden. Da ich berufstätig bin entschied ich mich weitere Supportanfragen per Mail zu stellen. Nachfragen des 1&1-Supports nach IP-Adresse und ausführlichen Log-Files wurden umgehend beantwortet. Nach zweimaligem hin und her wurde dann mein Fall an die 1&1 Administratoren eskaliert. Daraufhin waren schlagartig alle Probleme beim FTP-Login verschwunden. Der 1&1-Support hat also die stellenweise sehr häufigen Fehler beim FTP-Login lösen können. Vielen Dank dafür an 1&1 auch an dieser Stelle. Was genau zu Lösung führte ist mir unbekannt. Hätten die zunächst durchgeführten Maßnahmen des 1&1-Supports das Problem nicht lösen können dann hat 1&1 mir den Wechsel auf einen anderen Server angeboten welcher noch nicht über einen DDoS-Proxy abgesichert ist. Wie lange 1&1 grundsätzlich noch einen FTP-Login zulässt ist mir nicht bekannt. Tatsache ist jedoch, dass alle zur Zeit von mir verwendete FTP-Uploadprogramme (WeatherLink, WxToImg und Mobotix Webcam) kein SFTP unterstützen. Von daher wird die Zukunft spannend.

Die Lösung meines Falles erfolgte also in sehr ähnlicher Weise wie bei Toni. Daher hier noch einmal ein Link auf Tonis Thread:
http://www.wetterstationen.info/forum/allgemeines-softwareforum/hs-upload-ubertragt-manchmal-nicht/msg290136/#msg290136

Dieses Posting soll als abschließende Information dienen. Es ist immer wieder interessant zu sehen ob, und wie denn die hier im Forum beschriebenen Probleme gelöst werden konnten.

Gruß
Roland