Die Herausforderung

  • Metadaten zu 40 Mio. Artikeln aus mehr als 500 Quellen importieren und konsolidieren; Datenlieferanten sind dabei Verlage, Katalog-Aggregatoren und Großhändler

  • Täglich müssen zwischen 0,5 Mio. und etwa 4 Mio. Artikel-Updates verarbeitet werden

  • Schnellstmögliche Verarbeitung ist unabdingbar, damit Kunden niemals ungültige Preise oder veraltete bibliographische Angaben sehen

  • Quellen liefern Metadaten in unterschiedlichen, meist XML-basierten Formaten und Format-Ausprägungen

  • Quellen sind nicht überdeckungsfrei, d.h. die Daten eines Artikels können von mehreren Quellen geliefert werden, jedoch in unterschiedlicher Qualität

  • Qualitätskriterien müssen bei der Konsolidierung berücksichtigt werden; Vorrang-Regelungen müssen sich jederzeit ändern können

  • Fachredakteure sollen Metadaten besonders wichtiger Artikel manuell überarbeiten und auf diese Weise noch zusätzlich optimieren können

  • Die manuell gepflegten Teile der Metadaten zu einem Artikel (z.B. Marketing-Beschreibung) müssen erhalten bleiben, auch wenn andere Angaben zum Artikel (z.B. Preise) weiterhin automatisch aktualisiert werden sollen

  • Suche und Filterung müssen jederzeit blitzschnell sein, egal nach was gesucht wird, egal wie viele Treffer es gibt

  • Der Mechanismus muss extrem zuverlässig und ausfallfrei arbeiten, um einen Verarbeitungsrückstau zu vermeiden

Metadaten von

40 Millionen Artikeln optimal aufbereiten

tagesaktuell halten und blitzschnell durchsuchbar machen

Die Lösung

  • Zahlreiche Quelldatenbanken bilden eine erste Konsolidierungsstufe ab: In jede Quelldatenbank fließen Metadaten von einer oder mehreren Quellen bzw. aus einem oder mehreren Feeds einer Quelle ein

  • Dabei finden umfangreiche Prüfungen und Validierungen statt, beispielsweise um sicherzustellen, dass Bundle-Preise widerspruchsfrei übergeben wurden

  • In der zweiten Konsolidierungsstufe werden sämtliche Titeldaten der Quelldatenbanken in einer übergreifenden Datenbank zusammengeführt

  • Dies geschieht regelbasiert gemäß einer hinterlegten Konfiguration, damit sichergestellt ist, dass die qualitativ besten Teilinformationen zu einem Artikel aus den passenden Quellen zusammengesetzt werden.
    Ein (stark vereinfachtes) Beispiel: Autoreninfo bevorzugt aus Quelle A oder Quelle D, Titel und Beschreibung bevorzugt aus Quelle B, Preisangaben bevorzugt aus Quelle C

  • Damit die Metadaten zu ausgewählten (besonders wichtigen) Artikeln beliebig angereichert und damit zusätzlich optimiert werden können, hat IconParc ein vollständiges PIM als Katalogredaktionssystem entwickelt und nahtlos integriert.

  • Die Ergebnisse der vorherigen Schritte fließen schließlich in einen zentralen Suchindex ein; auf Basis der von IconParc integrierten LUCENE Suchtechnologie ist damit die Schnellsuche und Filterung im Gesamt-Artikelbestand von über 40 Mio. Titeln möglich – typischerweise in weniger als 200 Millisekunden pro Anfrage

  • Redundant ausgelegte Infrastruktur mit Lastverteilung: Mehrere Server kümmern sich massiv-parallel um Import und Zusammenführung der Quelldaten

  • Zukünftiges Wachstum wird abgedeckt durch einfaches Hinzufügen weiterer Server

Die Wirkung

  • Aktualität: Selbst bei 4 Mio Artikel-Updates im Tagesverlauf stehen die Daten am nächsten Tag komplett im aktualisierten Suchindex zur Verfügung

  • Die Schweitzer B2B E-Business-Plattform besteht aus mehreren zielgruppenspezifischen FRONTENDS. Der blitzschnelle Such- und Filterservice steht flächendeckend in allen Frontends zur Verfügung.

  • Aufgrund der hohen Datenmengen kann auf den vollautomatisch ablaufenden Konsolidierungs- und Indexierungsprozess nicht verzichtet werden

  • Trotz der hohen Datenmengen ist das erzielte Qualitätsniveau vorbildlich

  • Dank IconParc Cluster-Technologie sind Verfügbarkeit, beste Performance und Skalierbarkeit nachhaltig gewährleistet, auch bei weiter steigenden Datenmengen

Konsequente

Digitalisierung ermöglicht Wachstum

ohne Qualitätseinbußen!

Ausgewählte Case Studies

Aktuelle Broschüren

Case Study - schweitzer Fachinformationen PIM

Inhaltsverzeichnis
    Der Elevator Pitch:
    IconParc in zweieinhalb Minuten erklärt


    - oder -

    12 GRÜNDE
    Ihre digitale Lösung von IconParc entwerfen
    und bauen zu lassen
    Was auch immer Ihr Digitalisierungsvorhaben ist

    Sprechen Sie mit uns.