SpreadsheetMapper zeigt im Default Workspace nur 10 Zeilen an

Hallo Synesty Support,


seit heute wird bei uns in den SpreadSheetMappern nur maximal 10 Zeilen angezeigt.

Das Problem tretet unabhängig von Flow und Projekt auf.

In den lesenden Steps, z.B.: ein SpreadSheetCSVReader, der normalerweise mehrere tausend Zeilen hat wird in der Vorschau folgende Meldung angezeigt: "WARNING: PREVIEW-Limit applies: 2147483647."



Viele Grüße

Stefan

Es gab Änderungen an den Limits (Vereinheitlichung der Limits).

Wir prüfen den Fall umgehend.


Wir stellen einen Hotfix bereit, der das alte Verhalten beim SpreadsheetCSVReader wiederherstellt.

Wir versuchen den Hotfix innerhalb der nächsten Stunde zu verteilen und melden uns.

Der Hotfix wurde verteilt. Bitte probier noch mal.

Hallo Synesty Sales,


der Hotfix scheint beim SpreadSheetCSVReader zu klappen. Danke! Jedoch sind auch andere Steps davon betroffen. Unter anderem gehört dazu SearchDatastore, PlentyGetItemBase.

Ist das evtl sogar so gewollt?


Viele Grüße

Stefan

Generell ist das gewollt. SearchDatastore schauen wir uns aber nochmal an. Das wird vermutlich auch ein Hotfix.

Hintergrund ist die Vereinheitlichung der Limits.


Hier sind die neuen vereinheitlichten Limit Regeln:

  • Ein leeres Limit Feld bedeutet jetzt konsistent immer unendlich.

  • Die Preview-Limits und Mapper-Limits sind hart auf 10, mit Ausnahme:
    • SpreadsheetCSVReader
    • SearchDatastore (wie gerade erwähnt)


D.h. auch PlentyGetItemBase ist so gewollt und war eigentlich auch damals schon so. Ist vielleicht nicht aufgefallen.



Hallo Synesty Sales,


wieso wurde das denn so umgesetzt?

Viele Randfälle, die abgefragt werden müssen, ergeben sich erst wenn man mehr Zeilen sich anzeigen lässt.

>Die Preview-Limits und Mapper-Limits sind hart auf 10, mit Ausnahmen

Hatte man nicht meistens nur ein Limit fürs Testen gesetzt? Wieso darf jetzt der Normalbenutzer nicht mehr bestimmen wie viele Zeilen im Mapper rauskommen? Das macht so einiges weitaus umständlicher. Viele Steps sind in der Vorschau auch nicht mehr performant (auf Grund niedrigerer Datenmengen) als bei der Ausführung.

Die Vereinheitlichung der Limits sollte doch nicht dazu führen, dass man an Funktionalität verliert.

Bitte überdenkt das nochmal.

Danke für euer Verständnis :)

Viele Grüße

Stefan


Danke für dein Feedback. Ja hier wird es noch etwas Finetuning geben. Wichtig ist, dass im Preview und im Mapper keine riesigen Limits gesetzt werden können. D.h. es muss vermieden werden, dass dort jemand 10000 einträgt, damit die Speicherauslastung klein gehalten wird. Auf der anderen Seite verstehen wir, dass man manchmal mehr Zeilen braucht.


Wie hoch stellt ihr denn das Limit im Mapper in der Regel? Was wäre ein praktikabler Wert?

Danke für die schnelle Antwort.

In der Regel setzen wir in etwa ein Limit von ca. 250 fürs Testen, ABER:

Man muss beachten wie sich das Limit auf folge Steps auswirkt.

Teilweise bekommt man, wenn man den SpreadsheetFilter Step anwendet, erst nach hunderten von Zeilen die ersten Positiven Ergebnisse. Selbst bei einem Limit von 250 Zeilen könnte es also vorkommen, dass man hier nicht vernünftig arbeiten kann. Ich würde deswegen eher Richtung 1000 bis zu 1500 Zeilen tendieren. Somit kann gewährleistet werden, dass auch noch in Folge Steps Ergebniszeilen im SpreadhheetMapper angezeigt werden.

Alternativ könnte man sich überlegen ein hohes Limit (1000 Zeilen und Mehr) nur in FlowPlus Flows zu erlauben.


Viele Grüße

Stefan Helme

Danke Stefan für deine Rückmeldung. Die Filter sind ein uns bekanntes Problem. Leider müssen wir da einen praktikablen Kompromiss finden. Im Worstcase kommt ein positives Ergebnis erst in der letzten Zeile bzw. nach mehreren tausend Zeilen. Im UI müssen wir daher einen Kompromis finden, der die Datenmenge und Laufzeit klein hält.

Wir würden jetzt erstmal die Limits im Mapper auf 3000 begrenzen und beobachten.

Hallo Synesty,


vielen Dank, das ist echt eine große Hilfe.


Viele Grüße

Stefan

Ok das 3000er Limit ist live.