Digitale Transformation
PIM für Schweitzer Fachinformationen
Eine Case Study über die Prozesssteuerung
Die Herausforderung
  • Metadaten zu 40 Mio. Artikeln aus mehr als 500 Quellen importieren und konsolidieren; Datenlieferanten sind dabei Verlage, Katalog-Aggregatoren und Großhändler

  • Täglich müssen zwischen 0,5 Mio. und etwa 4 Mio. Artikel-Updates verarbeitet werden

  • Schnellstmögliche Verarbeitung ist unabdingbar, damit Kunden niemals ungültige Preise oder veraltete bibliographische Angaben sehen

  • Quellen liefern Metadaten in unterschiedlichen, meist XML-basierten Formaten und Format-Ausprägungen

  • Quellen sind nicht überdeckungsfrei, d.h. die Daten eines Artikels können von mehreren Quellen geliefert werden, jedoch in unterschiedlicher Qualität

  • Qualitätskriterien müssen bei der Konsolidierung berücksichtigt werden; Vorrang-Regelungen müssen sich jederzeit ändern können

  • Fachredakteure sollen Metadaten besonders wichtiger Artikel manuell überarbeiten und auf diese Weise noch zusätzlich optimieren können

  • Die manuell gepflegten Teile der Metadaten zu einem Artikel (z.B. Marketing-Beschreibung) müssen erhalten bleiben, auch wenn andere Angaben zum Artikel (z.B. Preise) weiterhin automatisch aktualisiert werden sollen

  • Suche und Filterung müssen jederzeit blitzschnell sein, egal nach was gesucht wird, egal wie viele Treffer es gibt

  • Der Mechanismus muss extrem zuverlässig und ausfallfrei arbeiten, um einen Verarbeitungsrückstau zu vermeiden

Metadaten von

40 Millionen Artikeln optimal aufbereiten

tagesaktuell halten und blitzschnell durchsuchbar machen

Die Lösung
  • Zahlreiche Quelldatenbanken bilden eine erste Konsolidierungsstufe ab: In jede Quelldatenbank fließen Metadaten von einer oder mehreren Quellen bzw. aus einem oder mehreren Feeds einer Quelle ein

  • Dabei finden umfangreiche Prüfungen und Validierungen statt, beispielsweise um sicherzustellen, dass Bundle-Preise widerspruchsfrei übergeben wurden

  • In der zweiten Konsolidierungsstufe werden sämtliche Titeldaten der Quelldatenbanken in einer übergreifenden Datenbank zusammengeführt

  • Dies geschieht regelbasiert gemäß einer hinterlegten Konfiguration, damit sichergestellt ist, dass die qualitativ besten Teilinformationen zu einem Artikel aus den passenden Quellen zusammengesetzt werden.
    Ein (stark vereinfachtes) Beispiel: Autoreninfo bevorzugt aus Quelle A oder Quelle D, Titel und Beschreibung bevorzugt aus Quelle B, Preisangaben bevorzugt aus Quelle C

  • Damit die Metadaten zu ausgewählten (besonders wichtigen) Artikeln beliebig angereichert und damit zusätzlich optimiert werden können, hat ICONPARC ein vollständiges PIM als Katalogredaktionssystem entwickelt und nahtlos integriert.

  • Die Ergebnisse der vorherigen Schritte fließen schließlich in einen zentralen Suchindex ein; auf Basis der von ICONPARC integrierten LUCENE Suchtechnologie ist damit die Schnellsuche und Filterung im Gesamt-Artikelbestand von über 40 Mio. Titeln möglich – typischerweise in weniger als 200 Millisekunden pro Anfrage

  • Redundant ausgelegte Infrastruktur mit Lastverteilung: Mehrere Server kümmern sich massiv-parallel um Import und Zusammenführung der Quelldaten

  • Zukünftiges Wachstum wird abgedeckt durch einfaches Hinzufügen weiterer Server
Die Wirkung
  • Aktualität: Selbst bei 4 Mio Artikel-Updates im Tagesverlauf stehen die Daten am nächsten Tag komplett im aktualisierten Suchindex zur Verfügung

  • Die Schweitzer B2B E-Business-Plattform besteht aus mehreren zielgruppenspezifischen FRONTENDS. Der blitzschnelle Such- und Filterservice steht flächendeckend in allen Frontends zur Verfügung.

  • Aufgrund der hohen Datenmengen kann auf den vollautomatisch ablaufenden Konsolidierungs- und Indexierungsprozess nicht verzichtet werden

  • Trotz der hohen Datenmengen ist das erzielte Qualitätsniveau vorbildlich

  • Dank ICONPARC Cluster-Technologie sind Verfügbarkeit, beste Performance und Skalierbarkeit nachhaltig gewährleistet, auch bei weiter steigenden Datenmengen

Konsequente

Digitalisierung ermöglicht Wachstum

ohne Qualitätseinbußen!

Success Stories
Whitepapers
ICONPARC verwendet Cookies. Wenn Sie auf der Seite weitersurfen, stimmen Sie der Cookie-Nutzung zu. In unserer Datenschutzerklärung erhalten Sie weitere Informationen.