Wie entferne ich Steuerzeichen wie BOM / Byte-Order-Mark aus Werten?

Eine sehr häßliches Problem sind Steuerzeichen, die aus unterschiedlichsten Gründen in Datenfeeds laden. Das tückische daran ist, dass man diese Zeichen nicht sieht. Nur mit einigen technischen Hilfsmitteln wie einem HEX-Editor kann man diese Zeichen sichtbar machen.

Der sog. BOM (Byte-Order-Mark) ist ein solches Steuerzeichen.

In einem HEX-Editor sieht es z.B. so aus:

Wie kann ich dieses Zeichen entfernen?

z.B. mit folgendem regulären Ausdruck (Regex)

\x{FEFF}

Quelle

Im SpreadsheetMapper Step kann man solche regulären Ausdrücke mit Suchen & Ersetzen anwenden.

Wie erkenne ich, dass ich ein Problem mit Steuerzeichen habe?

Wir hatten mal einen Fall, wo wir uns gewundert haben, dass ein Artikel über die Querverweis-Funktion per Artikelnummer nicht gefunden wurde, obwohl das Produkt definitiv mit dieser Nummer im Datastore gespeichert war. Das Problem war, dass die Artikelnummer inkl. Steuerzeichen abgespeichert wurde. Mit dem bloßen Auge war dies nicht zu erkennen und ist nur durch lange und intensive Suche aufgefallen. Dadurch hat der Abgleich nicht funktioniert, da der Vergleichswert die Steuerzeichen nicht beinhaltete.

Wie können Steuerzeichen in meine Datenfeeds kommen?

Dafür gibt es unterschiedliche Gründe. Meistens kommen diese Zeichen durch Datenfeeds aus externen Quellen wie z.B. Lieferanten oder Copy&Paste aus Word und Excel in Systeme. Da beim kopieren über die Zwischenablage diese Zeichen übernommen werden, aber nach dem Einfügen vom Browser nicht dargestellt werden (es sieht so aus, als wäre da gar kein Zeichen) fällt es dem Bearbeiter nicht auf. Diese Zeichen sind aber für String-Vergleiche und Abgleiche zwischen Systemen sehr störend.

Sollten Sie derartige Problem feststellen, dann empfiehlt es sich bei allen ID- bzw. Identifier-Felder wie Artikelnummern, Auftragsnummern, EANs usw. potentiell vorhandene Steuerzeichen über obige RegEx zu entfernen.

Kann es auch andere Steuerzeichen geben?

Ja. Eine weiterer Hilfreicher Artikel, wie sie andere Arten von Steuerzeichen entfernen finden Sie hier.