Gateway Timeouts und Retries

Feature Requests
1

Hallo Zusammen,


bei eine unserer Partner, bei dem wir unter anderem regelmäßig Bestände hochladen bin ich gerade dabei auf API umzustellen.

Ich benutze dafür SpreadsheetURLDownload Step um batched Calls zu machen. Leider sind die Server von dem Marktplatz nicht 100% verfügbar, deswegen passiert es öfters, dass wir mitten im Verlauf sporadisch 504er zurück bekommen.


Normalerweise würde ich hingehen und die Anzahl der Zeilen pro Batch verringern (wir sind gerade bei 100) um die Chance auf 504er zu minimieren. Das ist hier aber schlecht möglich, da wir nur 10 calls die Minute machen dürfen. Bei 10000 zu übertragenen Zeilen würde das die Flow Durchläufe entsprechend lang machen. Da Bestände recht Zeitsensibel sind will ich hier die Batchgrößen eher hoch halten um die Flow-Durchlaufzeiten zu verringern.

Besteht die Möglichkeit, dass wir hingehen und bei 504er bis zu 3 Retries machen bevor er den Batch verwirft? Das würde einiges erleichtern.


Ich hatte als alternative überlegt alle fehlgeschlagenen Calls in einen Datastore zu schreiben und dann später nochmal die Calls zu wiederholen. Das funktioniert aber eher schlecht als recht, weil es ja theoretisch dort wieder fehlschlagen könnte. Der Flow, der den Datastore abarbeitet müsste somit immer wiederholt werden, damit man auch wirklich sicher gehen kann, dass er alle Fehlgeschlagenen Calls durchbekommt. Das ist auch nicht wirklich das Gelbe vom Ei.


Viele Grüße und Danke im Voraus

Stefan Helme

2

Hallo Stefan,

wir denken mal über mögliche Lösungsansätze nach und melden uns. Leider klingt das auf den ersten Blick nicht trivial, von daher können wir hier noch nichts versprechen. Problem ist aber verstanden.

Frage vorab: benötigst du die Daten aus der Response bei diesem Call für folgende Steps (ausser geklappt oder 504)? Es könnte sein, dass dies für einige Lösungsansätze hilfreich wäre, wenn du die Response nicht benötigst (im Sinne von fire-and-forget).

3

Hallo Synesty,


vielen Dank für die Antwort.

Fürs erste bräuchte ich die Antwort nicht unbedingt, es wäre aber sehr schön wenn ich sie zurück bekommen könnte. Ich weiß leider noch nicht genau welche Antwortmöglichkeiten es gibt, bisher habe ich nur "success" zurück bekommen. Es könnte also sein, dass ich irgendwann mal ein Fehlgeschlagen zurückbekomme und das dann nicht bemerke.


Viele Grüße

Stefan Helme

4

Ok, danke für die Rückmeldung. Wir überlegen mal. Die Frage, die wir uns stellen, wie wir die Retries auch steuerbar machen. Problem ist ja, dass es Calls gibt, wo Retries ok sind, aber andere, wo es auf gar keinen Fall einen Retry geben darf (weil sonst irgendetwas doppelt angelegt werden könnte)...

Das werden intern diskutieren.