Betrug im digitalen Merchandising. Technologische Gegenmaßnahmen. Teil 1

05.04.2025 Unkategorisiert

Betrugsfälle im digitalen Merchandising sind häufig und leider unvermeidlich. Außendienstmitarbeiter – vermutlich aufgrund der Art ihrer Arbeit ohne regelmäßige Aufsicht durch eine Führungskraft – sind sehr gut darin, neue und originelle Tricks zu entwickeln, um weniger zu arbeiten und mehr zu verdienen. Daher ist für Unternehmen, die Merchandiser beschäftigen, die Prüfung und Kontrolle ihrer Mitarbeiter stets relevant.

In diesem Artikel sprechen wir über die Arten von Betrug im Merchandising und unsere Erfahrung damit, die Fallstricke nachlässiger Mitarbeiter technologisch zu überwinden. In den 1. und 2. praktischen Teilen gehen wir genauer darauf ein, wie wir mit bestimmten Betrugsarten umgehen. Und im 3. Teil, dem theoretischen, sprechen wir zur Abrundung über weitere gängige Täuschungsmethoden von Außendienstmitarbeitern.

Betrug im digitalen Merchandising: Ziele

Betrug ist der Versuch, das Merchandising-System zu täuschen, um das Ergebnis zu beeinflussen. Da Außendienstmitarbeiter, die Regale fotografieren und Berichte erstellen, häufig nach Leistung bezahlt werden, können sie durch die Manipulation von Fotos den Eindruck erwecken, mehr Verkaufsstellen besucht und mehr Regale erfasst zu haben. Betrug liegt daher vor, wenn ein Außendienstmitarbeiter das System täuscht, um mehr Geld zu verdienen.

Ein weiterer Fall liegt vor, wenn die Vergütung eines Mitarbeiters nicht von der Anzahl der aufgenommenen Fotos, sondern von der Qualität der Arbeit abhängt – also von den erreichten KPIs. In diesem Fall gilt: Je mehr hochwertige Fotos eine Person dem Kunden im Hinblick auf die ideale Regalplatzierung liefert, desto höher fällt ihre Vergütung aus.

In diesem Beitrag erläutern wir, wie ShelfMatchTM mit gefälschten Fotos arbeitet, nämlich:

  1. Doppelte Fotos identifiziert und danach sucht
  2. Fotos von schlechter Qualität aus dem gesamten Datenstrom herausfiltert
  3. Fotos identifiziert, die von Smartphone-/Tablet-Bildschirmen oder Printmedien aufgenommen wurden

1) Erkennen doppelter Fotos

Das Duplizieren von Fotos ist die häufigste Art von Betrug. Der Merchandiser lädt dasselbe Foto im Abstand von mehreren Tagen oder Wochen in das System hoch. Dieses Foto kann ein echtes Foto aus einem POS (Point of Sale) sein oder aus einer speziellen Datenbank heruntergeladen werden: Merchandiser auf der ganzen Welt haben geheime Chatgruppen, in denen sie hochwertige Fotos von Regalen austauschen, die eine umfassende Bildergalerie enthalten und in fast jeder Situation verwendet werden könnten. Der Zweck dieses Tricks besteht darin, den POS nicht zu besuchen, sondern dem Vorgesetzten ein altes, nicht mehr aktuelles Foto von Warenregalen zu schicken – als hätte der Mitarbeiter die Verkaufsstelle besucht. Folglich erzielten alle Merchandiser am Ende des Tages hervorragende Ergebnisse.

Wie ShelfMatchTM geht gegen diese Art von Betrug vor:

Einerseits ist das Auffinden doppelter Bilder für Machine Learning ein recht bekanntes, verständliches und gelöstes Problem. Ein Bildverarbeitungsdienst erstellt einen digitalen Fingerabdruck des Fotos, fügt ihn der Datenbank hinzu, erstellt einen solchen virtuellen Fingerabdruck für jedes eingehende Bild und vergleicht jeden neuen Fingerabdruck mit den vorherigen, wodurch doppelte Bilder gefunden werden.

Andererseits ist diese Aufgabe in unserem Kontext nicht so einfach, wie sie auf den ersten Blick erscheinen mag. Es gibt mehrere Schwierigkeiten, die die Arbeit erschweren können.

Erstens, was gilt als Duplikat? Die Antwort scheint einfach: genau dasselbe Bild eines Regals. Doch bei diesem Verständnis eines Duplikats lässt sich das System recht leicht täuschen. Beispielsweise kann man das Originalbild leicht zuschneiden und dabei sogar teilweise einige SKUs auf dem Foto opfern. Für die Computer Vision ist es dann kein absolutes Duplikat mehr – inhaltlich bleibt es jedoch ein Duplikat. Dies ist die erste Schwierigkeit, die bei der Entwicklung eines Systems zur Erkennung doppelter Bilder berücksichtigt werden muss.

Zweitens, über welchen Zeitraum sollten wir die Datenbank früherer Besuche durchsuchen? Diese Komplexität betrifft die Serverkapazität. Es ist eine Sache, wenn es eine bestimmte Bilddatenbank mit fester Größe gibt. Etwas anderes ist es, wenn diese Datenbank täglich um mehrere Zehntausend Bilder oder mehr wächst. Infolgedessen müssen folgende Fragen gelöst werden: a) physischer Speicherplatz für die Speicherung der Fingerabdrücke und b) die Geschwindigkeit, mit der jeder Fingerabdruck mit der gesamten Datenbank verglichen wird. Sie können die Datenbank regelmäßig von alten Einträgen bereinigen, doch früher oder später erhalten Merchandiser die Möglichkeit, ältere Bilder hochzuladen.

Trotz dieser Nuancen kann ShelfMatchTM Sie vor hartnäckigen und offensichtlichen Versuchen schützen, ein Foto zu fälschen.

2) Erkennen von Bildern schlechter Qualität

Es kommt auch vor, dass Mitarbeiter Fotos von schlechter Qualität senden: überbelichtete, verschwommene oder undeutliche Bilder, Fotos aus einem zufälligen Winkel, Aufnahmen, auf denen nicht das gesamte Regal sichtbar ist, sowie andere unbrauchbare Dateien. All diese Fotos machen eine automatisierte Bilderkennung unmöglich. Der Grund, warum Mitarbeiter solche Fotos aufnehmen, liegt in der Datenmenge. Es ist einfacher, viele Fotos von geringer Qualität aufzunehmen und sie an den Vorgesetzten zu schicken, als zu versuchen, hochwertige Fotos zu machen. Und natürlich spielt der menschliche Faktor immer eine entscheidende Rolle: Jeder kann Fehler machen und versehentlich ein schlechtes Foto aufnehmen.

Wie gehen wir mit solchem Betrug um?

In ShelfMatchTM ist ein spezielles, eigenständiges Modul für die Bewertung der Fotoqualität zuständig. Die Bildverarbeitung erfolgt in 2 Phasen:

  1. Vorverarbeitung (vor der SKU-Erkennung) und
  2. Nachverarbeitung (nach der Erkennung der SKU und der Preisschilder auf dem Foto).

1. Vorverarbeitung

In der Phase der Vorverarbeitung durchläuft das eingehende Regalbild mehrere neuronale Netze, die die folgenden Parameter bewerten:

  • Aufnahmewinkel. Insbesondere ermittelt das neuronale Netz den Neigungswinkel der Regale auf dem Foto. Dies ist ein recht wichtiger Parameter, da die Qualität der SKU-Erkennung vom Aufnahmewinkel abhängt. Je frontaler das Foto aufgenommen wird, desto genauer sind die Erkennungsergebnisse.
  • Vorhandensein von Waren auf dem Foto. Ein weiteres neuronales Netz stellt fest, ob das Foto Abbildungen von Waren enthält oder andere Inhalte aufweist. „Andere“ Inhalte können viele Varianten bedeuten: In der Praxis begegnen uns Fotos aus einem Auto, Aufnahmen des Eingangsbereichs eines Geschäfts, versehentlich gesendete Bilder von Boden oder Decke sowie ähnliche irrelevante Bilder.
  • Bildqualität insgesamt. Ein separates neuronales Netz bewertet die Parameter in Kombination („Grad der Bildschärfe“ + „Belichtung“) und ermittelt einen konkreten Wert: ob es sich um ein Bild schlechter oder guter Qualität handelt.
  • Foto eines Bildschirms oder echtes Foto. Auf diese Betrugsvariante gehen wir weiter unten ausführlicher ein.

Die Ergebnisse der Vorverarbeitung ermöglichen es uns, Fotos schlechter Qualität auszusortieren und nicht in die Erkennungsphase zu übernehmen. Der Merchandiser kann wiederum schnell die Aufforderung erhalten, ein neues, hochwertiges Foto zu senden (wenn die Arbeit online erfolgt).

2. Nachverarbeitung

Häufig ist nicht das gesamte Foto schlecht, sondern nur ein Teil davon. ShelfMatchTM kann solche Fälle mithilfe der Nachverarbeitung bewerten.

Im Rahmen der Nachverarbeitung wird nicht die Qualität des gesamten Fotos gemessen, sondern separat die jedes kleinen Bildausschnitts, der die SKU oder das Preisschild enthält.

Während der Nachverarbeitung können Sie:
  • nachverfolgen, welche Merchandiser perfekte oder nahezu perfekte Fotos aufnehmen und welche sich nicht besonders bemühen
  • zusätzliche Informationen über die Genauigkeit bzw. Unsicherheit der SKU- und/oder Preisschilderkennung an der jeweiligen Stelle des Bildes erhalten.

Im Bereich der automatisierten Produkterkennung besteht stets ein Streben nach höherer Erkennungsgenauigkeit. Diese leidet jedoch häufig aus Gründen, die außerhalb der Kontrolle neuronaler Netze liegen: Eine starke Spiegelung gelangt ins Foto oder die Hand zittert bei der Aufnahme, sodass ein Teil des Bildes verschwimmt usw. In solchen Fällen bringt eine allgemeine Bewertung der Fotoqualität nichts. Die Nachverarbeitung und Bewertung einzelner Bereiche zeigt jedoch, dass die Ergebnisse eines solchen Fotos nicht sehr genau sind und zumindest teilweise verworfen werden sollten. Damit verfügen wir über ein weiteres Instrument zur Identifizierung minderwertiger Fotos, das uns ermöglicht, die Genauigkeit der Analyse zu erhöhen.