Uploadgeschwindigkeit - SpreadsheetURLDownloader

Fragen und Antworten
1

Hallo,


wir sind beim Importieren nach Magento mit einer sehr langen Flowausführungsdauer konfrontiert. Unsere Magento-Entwickler meinten, es könnte an einer zu niedrigen Uploadgeschwindigkeit seitens Synesty sein, da der Import hochwertige Bilder als base64 beinhaltet.

So kam es vor, dass der Import 12h für 700 Produkte gedauert hat.

Bei einem Test ohne Bilder dauerte das ganze nur 30 Minuten.


Um Synesty hier aus der Fehlersuche eventuell ausschließen zu können würde ich gerne wissen, welche Uploadgeschwindigkeit bei dem Step SpreadsheetURLDownloader verwendet wird ?

2

Hallo Florian,


der SpreadsheetURLDownload hat keine Begrenzung.

Aber bitte check mal, ob du (evtl. versehentlich) das rateLimit unter "Erweiterte Optionen" konfiguriert hast. Wir hatten neulich so einen Fall. Damit kann man die Anzahl Calls pro Minute limitieren und der Step wartet, um das RateLimit zu halten.

3

Bitte mach auch mal eine Messung was ein einzelner Artikel mit Bild braucht. Evtl. antwortet die Magento API auch langsam wenn ein Base64 Bild dabei ist... Magento hat ja bei so einem Bild auch mehr zu tun als ohne.

4

Könnte das bei dir zutreffen? Very slow POST of product with media (base64)

5

Hallo,

danke für die Aukunft, ja das mit dem RateLimit ist exakt der gleiche Fall und wurde aufgrund von Erfahrungswerten, dass Magento da manchmal eine kleine Pause benötigt eingestellt.


- "der SpreadsheetURLDownload hat keine Begrenzung. "


Das Problem derzeit ist, dass die Magento Entwickler keinerlei Probleme beim Importieren größerer Produktdaten haben. Synesty da allerdings stellenweise einen Read Time Out Error wirft, die Einstellung nachdem dies geschehen soll sind im Step auf 300 Sekunden gesetzt also eigentlich genug Zeit.

Daher die Vermutung der Entwickler es könnte an einer zu geringen Uploadgeschwindigkeit seitens Synesty liegen. Ich habe die Zeit zum Read Timed Out nun auf 10 Minuten erhöht und werde es diesbezüglich nochmals so testen.

6

Habt ihr da eine Angabe über die Uploadgeschwindigkeit für mich ?

7

Alle Server in unserem Rechenzentrum haben einen dedizierten 1GBit Uplink.

Speedtests müsstest du dann selbst mal machen. z.B. per SpreadsheetURLDownload


  • mache 10 Requests auf deinen eigenen Server
  • erstelle dafür einen requestBody mit definierter Größe
  • führe den Flow aus und schau auf die Dauer

Oder über den URLDownload Step könntest du auch im Feld fileToUpload eine größere Datei reinpacken und per POST an deinen Server schicken und messen.
Dann kannst du das gleiche ja danach mal mit den Magento-Servern machen. Es kommt auch etwas darauf an , wie diese Magento Server angebunden sind und wieviele Resourcen diese haben.

Oder nimm deinen fertigen Request-Body und schicke ihn mal in API-Tools wie POSTMAN oder curl gegen deine Magento REST-API.
Oder mach das mal per curl im loop und schau wie sich Magento2 verhält.