1) Die Vorschau klappt bei uns (zB Spreadsheet Mapper) nicht immer, wenn ich Daten aus vorherigen Step anklicke (also zB im zweiten Step) dann passiert gerade bei Lieferanten mit einer hoher Artikelzahl (zB Sport Import) nichts und ich bekomme irgendwann eine Fehlermeldung. Die schneller Vorschau (klick auf das "Auge") klappt immer.
Lässt sich das optimieren?
Welcher Fehler kommt denn? Vermutlich HTTP Timeouts. Evtl. liefert der Datenabruf vom Veloconnect-Lieferant keine Daten oder läuft in ein Timeout. Erfahrungsgemäß sind die Veloconnect-Schnittstellen der Lieferanten oft nicht die schnellsten...
Weiterhin wichtig: Wenn man einen Flow bearbeitet / entwickelt und in der Vorschau arbeitet und immer echte Daten per API abruft, sollte man immer nur mit einer Hand voll Testartikeln arbeiten. Beim Abruf von Artikeldaten am besten auf eine Artikelnummer oder schmale Suche eingrenzen. Das spielt auch in Ihre nächste Frage mit rein.
Besser wäre:
Einmalig die Daten vom Lieferant abrufen und in einen Datastore schreiben. (Step SpreadsheetDatastoreWriter)
Die Weiterverarbeitung dann nur noch aus dem Datastore (Step SearchDatastore). Damit werden die Daten nur einmalig vom Lieferanten abgerufen. Das ist wesentlich performanter und man hat bessere Filtermöglichkeiten (Step SpreadsheetFilter).
2) Manchmal sieht man Probleme erst im finalen Ergebnis, bei uns ist das Ziel immer eine finale csv die in die wawi importiert wird. Und wir hatten dann schon oft die Fehler erst im Import gesehen, weil die Fehler oder Problemstellen zB erst weit "hinten" in Zeil 7000 waren.
Das lässt sich leider nicht vermeiden. Bei Projekten haben wir uns z.B. angewöhnt immer erstmal eine Test-CSV Datei auf einen FTP-Server zu kopieren oder per Email zu schicken und da die Daten zu kontrollieren.
Das Problem ist die weitere Bearbeitung der Steps, weil ich ja immer nur die ersten Zeilen des Import sehe.
Wie gesagt, hier immer versuchen die Daten einzugrenzen.
Könnte man ggf. die Vorschau auf bestimmte Artikel (an Hand HANs oder Namen) einschränken? Das wäre manchmal sehr hilfreich um direkt die "Problemartikel" zu sehen und wir sich die aktuellen Änderungen bemerkbar machen?
Beim Step VeloconnectTextSearch könnte man die Einschränkung über den Suchbegriff (Searchterm) probieren. Wenn man es aber konkrete Artikel einschränken will, dann sollte man den Step VeloconnectGetItemListDetails nehmen.
Besser wäre aber der Ansatz erst alles im Datastore zwischen zu speichern (siehe letzte Antwort Punkt 1 ) und von da aus zu arbeiten.
Ich denke Synesty lädt immer bzw. nach einem kurzen Zeitintervall die Daten aus der Quelle neu. Mir würde es jedoch reichen, wenn Synesty die Daten auf Wunsch einmal komplett lädt und für die Session die Daten zwischenspeichert.
Teils teils: Die Daten werden immer neu geladen, wenn man in die Mapper-Konfiguration reingeht (Configure Button) oder am Step irgendeine Einstellung ändert und den Step oder Flow speichert. Bei der Arbeit im Mapper bleiben die Daten dann gecached.
Wir müssen immer darauf achten, dass die Datenmenge so klein wie möglich ist, da sonst die Performance für alle anderen Kunden leidet.
Fazit:
Bei großen Datenmengen sollte man immer über den Ansatz "Zwischenspeichern" gehen. D.h. Datastore oder CSV-Dateien.