"No such file or directory" bei Flows mit langer Laufzeit

Fragen und Antworten
1

Hallo,


ich habe einen Flow, welcher bei zu langer Laufzeit den Zugriff auf ein Spreadsheet mit No such file or directory abbricht. Bei dem Spreadsheet handelt es sich um eine manuell hochgeladenen CSV-Datei.
Wenn nur eine kleine Anzahl an Reihen bearbeitet wird, funktioniert der Flow einwandfrei. Ich vermute, es liegt an der Zwischenspeicherung der Daten (wie hier erwähnt), da der Flow ziemlich genau nach 4 Stunden seinen Fehler wirft.


Gibt's es einen Workaround für das Problem oder bleibt mir nichts anderes übrig, als die Menge der zu verarbeitenden Reihen zu limitieren? Mir fallen zwar noch Optimierungsmöglichkeiten für den Flow ein, bezweifle aber stark, dass ich damit auf eine Laufzeit unter 4 Stunden kommen werde.

2

Hallo,


ich muss dich leider enttäuschen. Du musst wohl versuchen auf eine Laufzeit von unter 4 Stunden zu kommen. Das einzige was mir einfällt ist, du holst dir die CSV Datei per FTPDownload von einem FTP. Aber es gibt sicher einen Grund, warum du die Datei manuell hoch lädst. Entschuldige.


Viele Grüße,

Lukas

3

Fürs manuelle Hochladen gibt es eigentlich keine konkreten Grund, die besagte Datei ist sogar mehr oder weniger statisch. Einmal aufm FTP-Server ablegen und per FTPDownload abholen ist also durchaus eine Option.
Notfalls werde ich die benötigten Zeilen einfach direkt in FreeMarker initialisieren, dann sollte der Flow doch keine Probleme mehr machen.


Nur der Vollständigkeit halber: Welche Schritte sind denn alle von der 4-Stunden-Regel betroffen?
Es handelt sich ja scheinbar nicht um alle Schritte, die auf externe Daten zugreifen. Da FTPDownload ja anscheinend nicht davon betroffen ist.

4

Hallo,


es sind alle Steps betroffen, die ein FILE als Output haben, sei es csv, xml, etc. Diese werden 4 Stunden lang abgespeichert und wenn sie in dieser Zeit nicht von einem anderen Step verwendet werden, werden sie gelöscht.


Du schreibst, dass die Datei mehr oder weniger statisch ist. Dann kannst du die Zeilen, kurz bevor du sie brauchst, auch mit einem String2File erzeugen und dann direkt verwenden.


Viele Grüße,

Lukas

5

Konnte die Bearbeitungszeit doch auf unter 4 Stunden reduzieren, die cacheMode-Option wirkt Wunder.


Um ein schrittweise Verarbeitung komme ich leider dennoch nicht herum, da die Ausgabedatei auch über 100MB groß wird.