Wie lange sind Daten während Flowdurchlauf zwischengespeichert?

Hallo,


ich habe derzeit das Problem, dass beim Durchlauf des Flows der Warning: ".. is null or missing .." auftaucht. In der Vorschau ist allerdings alles wunderbar.


Hier ein kurzer Ablauf:

Ziehen von JSON Daten mittels URL-Download aus Magento.

Mit JSON2Spreadsheet umwandeln.

Mit KeyValueSpreadsheet eine Map aus den Daten erstellen.


Produktupload nach Magento ---> Dauert bis zu 9h ..

Versuch in einem Mapper auf den KeyValueSpreadsheet zuzugreifen ergibt den Warning: "template error: the following has evaluated to null or missing:==>meta.map@KeyValueSpreadsheet_38.get[.......] .


Die einzige Vermutung die ich nun habe, da es in der Vorschau wunderbar funktioniert und bei früheren Durchläufen, die etwas schneller gingen auch funktionierte ist nun, dass die erstellte Map innerhalb des Zeitraums bis zu dem sie gebraucht wird gelöscht wurde.

Ich könnte die Map auch kurz bevor sie gebraucht wird erstellen, wenn denn das QuellSpreadsheet bis dahin noch existiert.

Im schlimmsten Fall bliebe nur noch die alternative Datastore. Würde allerdings bis dahin erstmal eine Antwort abwarten.

Hallo Florian,


aktuell sind es 4 h. Im Prinzip betrifft das die Response (Files) des SpreadsheetUrlDownload Steps und du müsstest die Anzahl der Produkte reduzieren damit der Produktupload zu Magento schneller durchläuft.

Hallo,

wir haben hier derzeit ein ähnliches Problem. Wir hatten 2 Flows laufen, die beide zuerst XML Dateien via URLDownloader abgerufen und entsprechend verarbeitet haben, bis die Daten(Spreadsheets) dann letztlich in einen Flow zum Importieren in unser System gegeben wurden.

Beide Flows sind nach einer Laufzeit von 4h 31 Minuten mit dem Error (der andere Flow natürlich mit einem ähnlichen Error (No such file or directory)


Rank: 670: Error parsing the 1. input file prodinfo_DE.xml. In most cases one of the input files is empty, broken or has invalid syntax which cannot be parsed. Error message from parser: /734479e7-0f05-11e7-b9db-4061862b98fd-7cada660-8caf-11e7-a785-901b0ea49fee--10/prodinfo_DE.xml (No such file or directory)


abgebrochen. Warum der Error geworfen wird, obwohl die XML nirgendswo mehr verwendet wird verstehe ich nicht ganz. Viel wichtiger, wie können wir das umgehen ?