Datenfluss-Graph

Hallo Synesty,

steht ja dick dran dass es Beta ist - aber ich bin trotzdem schon ganz heiß auf das Feature.

Nur zeigt das mir leider bei den komplexeren Flow exakt *gar nix* an (z.B. im Flow SH_Kostenkalkulation), oder nur einen Ausschnitt, denn ich aber nicht scrollen kann (Flow checkMHD). Wann ist hier denn so grob mit einem Update zu rechnen? Das würde mir glaub ich viel Dokumentationsarbeit ersparen oder erleichtern :)


Danke, Daniel

*bump* :)

Hallo Daniel,

dein Wunsch wurde erhört und das Thema haben wir mit auf der Roadmap. Aktuell haben leider sehr viele andere Themen höhere Prio.

Das Hauptproblem aktuell ist, dass der Graph nur die direkten Step-Verknüpfungen anzeigen kann. Alles was du mit Freemarker Variablen z.B. im Mapper oder TextHTML Writer machst (durch Verwendung von z.B. ${flowVariable} etc. wird nicht erkannt.


Wir vermuten, dass ist bei dir der Grund , warum bei dir fast nichts sichtbar ist.

Sollten wir da falsch liegen, mal bitte einen Screenshot von deinem Flow (gern sensitive Stellen unkenntlich gemacht) und dazu mal deinen Datenfluss Graph.



Wir haben eine Änderung eingespielt, so dass der Datenfluss-Graph jetzt wesentlich aussagekräftiger sein sollte. Ab jetzt werden auch zum Großteil Freemarker-Variablenreferenzen erkannt.

Falls du immer noch Probleme bei der Darstellung hast, wäre mal ein Screenshot gut.

Die Änderung hat sich auf jeden Fall gelohnt, jetzt zeigts in der Kalkulation schonmal was an :)


Allerdings hab ich weiterhin das Darstellungsproblem, dass die Graphen über den "erscrollbaren Bereich" hinausragen, und ich sie dann einfach nicht mehr sehen kann:


image

Bin im Browser soweit rausgezoomt wie möglich. An allen roten Kästen ragt der Graph aus dem sichtbaren Bereich. Den einen der unten rausgeht kann ich hingegen mit scrollen erreichen.

Leider ist das immer noch so der Stand. Unsere Kalkulation ist zwar leicht komplex, aber eigentlich auch relativ sequentiell, bzw verschiedene Stränge, die alle irgendwo zusammen laufen. Bzw in einem DatastoreWriter enden, aus dem später querverwiesen wird. Das müsste an der Stelle gar nicht in den Graph, das weiß ich ja...

Grundsätzlich wird wohl auch alles geplottet, nur die Darstellung ist dann nicht in der Lage, es anzuzeigen, es ragt zu allen Seiten aus den Fenster raus. Mir würden Scrollbalken an der Stelle schon viel helfen, damit ich eben alles sehen kann ;-) Skalieren bringt leider an der Stelle nix...

Kurzes Video im folgenden Post. Den lösch ich dann wieder wenn ihr ihn gesehen habt. Muss ja nicht sein...

Wie ihr seht kann ich mir die Knoten sogar z.T. zurechtschieben. Zum Teil "drückt" es sie aber auch wieder zum Bildrand hinaus. Wenn das nicht wär (bzw ich weiter zum Rand scrollen könnte) würde es mir überhaupt nichts ausmachen, dieses Durcheinander von Knoten dann selbst zu sortieren. Geschenkt. Fühlt sich so an als ob egtl alles super wäre, bis auf die Darstellung. Wär toll wenn ihr da noch was deichseln könnten ;)

Grüße Daniel

Wir schauen mal was wir tun können. Wäre es möglich, dass du uns einen Export deines Flows zur Verfügung stellst? Also wenns geht alle sensitiven Daten entfernt, aber so, dass wir dein Beispiel als Grundlage für die Optimierung nehmen können? Gern per Ticket schicken.

Klar, Export ist raus als Ticket 16651. Sensitive Daten kommen von extern (CSV bzw Datastores), von daher ist da wenig wichtiges im Export. Natürlich trotzdem "for your eyes only".


Grüße Daniel

Wir haben einen kurzfristigen "Hack" eingebaut, der etwas Besserung bringen sollte. Kann sein, dass der Graph etwas in der Mitte startet und anfangs nicht im sichtbaren Bereich liegt (d.h. du musst evtl. bei kleineren Flows etwas scrollen bis du was siehst).

Hoffe das hilft dir etwas. Die Nodes (die Kreise, nicht das Icon) kann man jetzt auch anklicken und kommt direkt zum Step. Anfassen und verschieben kann man durch Klick auf das das Icon (Grafik). Ist alles noch nicht optimal und wir hoffen, dass wir das in Zukunft besser hinbekommen.


Update: Wird heute im Laufe des Tages deployed.

Yay =)

Ich hab jetzt drüber und drunter jeweils ne komplette Bildschirmhöhe leer weiß, aber das hattet ihr ja schon vorweggenommen. Aaaaber: ich kann meinen Flow endlich in Gänze sehen, super!


Tolles Feature, endlich kann ichs auch nutzen, danke euch!

Grüße Daniel

Ich belebe mal diesen Thread wieder, statt einen neuen zu dem Thema zu öffnen. Wollte nur mal zusammentragen, was mir so bei der Arbeit mit dem Graphen misslich auffällt.


  1. Deaktivierte Steps sollten in dem Graphen nicht angezeigt werden. Die Verknüpfungen dieser Steps werden sowieso nicht angezeigt und eine große Anzahl von deaktivierten Steps kann den eigentlichen Graphen verdecken. Folgender Graph hat knapp über 100 Steps, davon sind nur 5 aktiv.

    image

  2. Teilweise werden nicht die selbstgewählten Stepname angezeigt (manchmal aber schon???). Darunter leidet die Übersichtlichkeit.

    image


  3. In komplexen Flows wird ist manchmal sehr chaotisch und der Datenfluss lässt sich nur schwer nachvollziehen, da es zu Überlappungen kommt. Wenn man hier die Anordnung der Nodes noch etwas optimieren kann, wäre das spitze.

    image



Zu 3.: Mir fällt auf, dass eine Node immer unterhalb der "befüllenden" Node stehen muss. Also dass die Daten immer von oben nach unten fließen. Der Datenfluss wird aber auch durch die Pfeile in den Verbindungen visualisiert und die Beschränkung liefert eigentlich keinen Mehrwert an Information.

Kann mir vorstellen, dass ohne diese Beschränkung große Graphen besser dargestellt werden können.



Hoffe, dass das Feature noch weiter entwickelt wird. Es hilft in großen Flows enorm, um sich einen Überblick zu schaffen und so beispielsweise Fehler bei der Verknüpfung von Steps zu entdecken.

Danke @Gustav für das Feedback. Danke auch für die Screenshots, das verdeutlicht das sehr.

Wir haben das in einem internen Ticket mit aufgenommen. "Low Hanging Fruits" wie z.B. Ausblenden von pausierten Steps oder die Stepnamen versuchen wir zeitnah mit einzubauen. Was die Darstellung angeht können wir noch nichts versprechen. Wir diskutieren mal ein paar Möglichkeiten und prüfen, was das verwendete Framework hergibt. Evtl. könnten wir noch ein paar Steuerelemente / Optionen zur Verfügung stellen, womit man die Darstellung etwas anpassen kann (nur als Beispiel vielleicht rein/raus zoomen).

Höre ich gerne. Das Punkt 3 schwieriger in der Umsetzung ist, habe ich mir schon gedacht.


Noch ein Vorschlag meinerseits, vielleicht lassen sich die Graphen in irgendeiner Form mit dem neuen Stepgruppen-Feature verknüpfen. Zum Beispiel die einzelnen Gruppen unterschiedlich einfärben. Oder die Gruppen einzeln visualisieren und nur Ein- und Ausgabesteps zu der ausgewählten Gruppe anzeigen.

Hallo @Gustav,


Die Änderungen für Punkte 1 (Ausblenden pausierter Steps) und 2 (Anzeige eigener Step-Namen) sind seit gestern Nacht live.


Eine weitere Änderung ist kurz vor Release, dass man jetzt im Graph zoomen und scrollen kann. Damit haben wir zwar nicht deine Anforderung aus Punkt 3 direkt erfüllt, aber es sollte sich besser im Graph navigieren lassen.



Hallo @Gustav, die erwähnte Änderung mit dem Zoomen ist jetzt live.

Noch ein Hinweis: Um die Seite mit dem Mausrad nach unten zu scrollen sollte sich der Cursor links am Bildschirm neben dem Graph befinden. Ansonsten zoomt man.

Hallo zusammen,

5 Jahre später und ich bin zurück bei dem Datenfluss-Graph :slight_smile:.

Ihr habt ja in der Zwischenzeit auch an dem Graphen gearbeitet. Dass der Graph nun nicht mehr von oben nach unten fließen muss, hilft schonmal ein ganzen Stück. Aber irgendwo muss da noch an einer Stellschraube gedrehen werden.
Wenn man im Moment den Graph aufruft, sieht der erstmal aus wie ein undurchschaubares Durcheinander.

Wenn man willkürlich an irgendeinem Knoten aus dem Graph für eine Weile auswählt und einfach nur wackelt, entfaltet sich das ganze langsam.

Da fehlt mehr Repulsion zwischen den nicht verknüpften Nodes oder so. Ich habe mal mit euren Werten aus der d3.simulation rumgespielt. Mit .force("charge", d3.forceManyBody().strength(-1000)) ergibt sich folgender Graph:

Ob’s so einfach zu lösen ist, müsst ihr gucken.


Außerdem stört mich noch, dass man rausgezommt die Flussrichtung überhaupt nicht erkennen kann. Kann man da nicht mit einem Pfeil über die gesamte Länge der Verbindung arbeiten, dass die Linien vom Output zum Input spitz zulaufen? Oder irgendwie mit einem Farbgradient arbeiten?

Gruß
Gustav

Hallo Gustav,

danke für dein detailliertes Feedback, wir schauen uns das zeitnah an.

Viele Grüße
Benjamin

Hallo @gustavfriedeheim,

  • die Links (Verbindungslinien) sollten nun “angespitzt” sein, um hoffentlich auch mit einer kleinen Zoomstufe noch eine Flussrichtung erkennen zu können. Die Pfeile sind nun auch von der Mitte zur Quelle gewandert.

  • Die Idee mit dem Gradient konnten wir leider nicht einbauen, da wir es - sofern jeder Link seine eigene Flussrichtung behalten soll - für größere Flows nicht performant umsetzen konnten.

  • Die Abstände der “Nodes” sind nun ab 30 Steps entsprechend größer. Mir ist beim erneuten Testen aber aufgefallen das wir das schon noch ein ganzes Stück runter setzen können - im Laufe der Woche bzw. anfang nächster Woche sollte das dann also auch für noch kleinere Flows gelten.


Danke noch einmal für deine Ideen, ich hoffe durch die o.g. Anpassungen wird das Arbeiten mit dem Graph angenehmer.

Viele Grüße
Benjamin

Hallo Benjamin,

danke erstmal für die Anpassungen. Die klarere Flussrichtung hilft schonmal. Das mit dem Gradient ist schon ok, das war nur mein Brainstorming zu möglichen Visualisierungsoptionen.

Die Pfeile zu den Output-Zwischenknoten ist noch nicht richtig platziert. Denke die sollten auch ans Ende des Paths? Persönlich stören die Pfeile jetzt eher, da die Information ja redundant ist, aber ist nicht weiter schlimm.

Der Graph aus dem Beispiel oben sieht jetzt nach dem Laden wie folgt aus:


Das ist schonmal besser, aber weiterhin vollkommen unnötigerweise verknotet. Der Flow hat aber auch nur 27 Steps.

Das Problem mit dem „verknoteten“ Graph gibt es aber auch bei deutlich weniger Steps. Hier ein Beispiel mit 12 Steps. Der sieht bei mir beim Laden so aus.


Nach händischen Entknoten kommt da das bei raus:

Gruß
Gustav