Vendor-Bewertungsmatrix
Über diese Vorlage
Die Auswahl des richtigen KI-Anbieters ist eine der wichtigsten Entscheidungen im Projektverlauf. Diese Excel-Vorlage ermöglicht einen strukturierten, objektiven Vergleich von bis zu 5 Anbietern anhand von über 30 gewichteten Kriterien.
Die Bewertungsmatrix basiert auf Best Practices aus zahlreichen Auswahlprozessen und berücksichtigt die besonderen Anforderungen des deutschen Mittelstands, insbesondere hinsichtlich DSGVO-Compliance und Integration in bestehende Systemlandschaften.
Anleitung zur Nutzung der Vorlage
Schritt 1: Anforderungsprofil definieren
Beginnen Sie mit dem Tabellenblatt „Anforderungsprofil" und dokumentieren Sie Ihre spezifischen Anforderungen:
Muss-Kriterien (K.O.-Kriterien):
Diese Anforderungen müssen zwingend erfüllt sein. Anbieter, die ein Muss-Kriterium nicht erfüllen, scheiden aus der Bewertung aus.
Typische Muss-Kriterien für KI-Projekte sind EU-Serverstandort und DSGVO-Compliance, die Integration mit Ihrem spezifischen CRM oder ERP-System, deutsche Sprachunterstützung sowie ein Budget-Rahmen.
Soll-Kriterien:
Diese Anforderungen sind wichtig, aber nicht zwingend. Sie werden gewichtet in die Bewertung einbezogen.
Kann-Kriterien:
Diese Anforderungen sind wünschenswert, haben aber geringes Gewicht in der Gesamtbewertung.
Schritt 2: Gewichtungen anpassen
Das Tabellenblatt „Gewichtungen" enthält voreingestellte Gewichtungen, die Sie an Ihre Prioritäten anpassen können:
Kategoriegewichtungen (müssen 100% ergeben):
Funktionalität ist voreingestellt auf 30% und umfasst technische Leistungsfähigkeit und Features. Compliance ist voreingestellt auf 20% und umfasst Datenschutz und regulatorische Anforderungen. Integration ist voreingestellt auf 20% und umfasst Anbindung an bestehende Systeme. Kosten sind voreingestellt auf 15% und umfassen Preis-Leistungs-Verhältnis. Support ist voreingestellt auf 15% und umfasst Service und Betreuung.
Kriteriengewichtungen innerhalb der Kategorien:
Jedes Einzelkriterium hat eine Gewichtung von 1 bis 5. Die Gewichtung 5 bedeutet sehr wichtig, 3 bedeutet wichtig und 1 bedeutet weniger wichtig.
Schritt 3: Anbieter erfassen
Das Tabellenblatt „Anbieter" dient der Dokumentation der Anbieterinformationen:
Für jeden Anbieter erfassen Sie den Unternehmensnamen, die Website, den Ansprechpartner mit Name und Kontaktdaten, das Produktangebot als relevante Lösungen und Pakete, das Preismodell als Nutzungsbasiert, Flatrate oder Hybrid sowie die Referenzen als bekannte Kunden und Case Studies.
Schritt 4: K.O.-Kriterien prüfen
Das Tabellenblatt „K.O.-Prüfung" filtert Anbieter, die Muss-Kriterien nicht erfüllen:
Für jedes K.O.-Kriterium bewerten Sie jeden Anbieter mit Ja als Erfüllt oder Nein als Nicht erfüllt. Anbieter mit mindestens einem „Nein" werden automatisch aus der weiteren Bewertung ausgeschlossen.
Schritt 5: Detailbewertung durchführen
Das Tabellenblatt „Bewertung" ist das Kernstück der Vorlage:
Bewerten Sie jeden Anbieter für jedes Kriterium auf einer Skala von 0 bis 5. Dabei bedeutet 0 nicht vorhanden oder keine Information, 1 bedeutet ungenügend und erfüllt die Anforderung nicht, 2 bedeutet mangelhaft und erfüllt die Anforderung kaum, 3 bedeutet befriedigend und erfüllt die Grundanforderung, 4 bedeutet gut und übertrifft die Anforderung, und 5 bedeutet sehr gut und ist Best-in-Class.
Bewertungshinweise:
Bewerten Sie nur Kriterien, zu denen Sie ausreichend Information haben. Dokumentieren Sie Ihre Bewertungsgründe in der Kommentarspalte. Nutzen Sie Demo-Sessions und Referenzgespräche für fundierte Bewertungen.
Schritt 6: Ergebnisse analysieren
Die Tabellenblätter „Auswertung" und „Vergleich" zeigen die Ergebnisse:
Gesamtranking:
Die Vorlage berechnet automatisch eine gewichtete Gesamtpunktzahl für jeden Anbieter und erstellt eine Rangliste.
Kategorie-Vergleich:
Ein Netzdiagramm visualisiert die Stärken und Schwächen jedes Anbieters in den fünf Kategorien.
Gap-Analyse:
Die Differenz zwischen Anforderung und Bewertung wird für jedes Kriterium berechnet. Große Gaps weisen auf potenzielle Risiken hin.
Bewertungskriterien im Detail
Kategorie 1: Funktionalität (30%)
Spracherkennung (Gewichtung: 5)
Die Erkennungsgenauigkeit bei Hochdeutsch und Dialekten sowie der Umgang mit Fachvokabular und Hintergrundgeräuschen werden bewertet.
Bewertungshinweise: Testen Sie mit eigenen Sprechern und typischen Szenarien. Fragen Sie nach konkreten Erkennungsraten.
Natural Language Understanding (Gewichtung: 5)
Die Intent-Erkennung und Entity-Extraktion sowie der Umgang mit komplexen und mehrdeutigen Anfragen werden bewertet.
Bewertungshinweise: Prüfen Sie mit mehrdeutigen und ungewöhnlichen Formulierungen.
Sprachausgabe (Gewichtung: 4)
Die Natürlichkeit und Verständlichkeit der TTS-Stimme sowie die Anpassungsmöglichkeiten für Stimme und Tonalität werden bewertet.
Bewertungshinweise: Hören Sie sich Beispiele an. Wie wirkt die Stimme auf Ihre Kunden?
Dialogmanagement (Gewichtung: 4)
Die Flexibilität der Gesprächsführung und der Umgang mit Unterbrechungen sowie der Fallback zu Menschen werden bewertet.
Bewertungshinweise: Testen Sie Randszenarien und Ausnahmefälle.
Konfigurierbarkeit (Gewichtung: 3)
Die Anpassung von Dialogen und Regeln ohne Programmierung sowie die Möglichkeit zur individuellen Gestaltung werden bewertet.
Bewertungshinweise: Wie einfach können Sie Änderungen selbst vornehmen?
KI-Modell und Updates (Gewichtung: 3)
Die Aktualität des zugrunde liegenden Modells sowie die Häufigkeit und Qualität von Updates werden bewertet.
Bewertungshinweise: Fragen Sie nach der Modell-Grundlage und dem Update-Zyklus.
Kategorie 2: Compliance (20%)
Serverstandort (Gewichtung: 5)
Die Verarbeitung auf EU- bzw. idealerweise deutschen Servern wird bewertet.
Bewertungshinweise: Fragen Sie nach konkreten Rechenzentrumsstandorten, nicht nur dem Land.
DSGVO-Compliance (Gewichtung: 5)
Die Dokumentation, der AVV-Entwurf und die TOM werden bewertet.
Bewertungshinweise: Fordern Sie den AVV-Entwurf zur Prüfung an.
Trainingsdaten-Ausschluss (Gewichtung: 5)
Die vertragliche Zusicherung, dass Kundendaten nicht zum Modell-Training verwendet werden, wird bewertet.
Bewertungshinweise: Diese Klausel sollte explizit im Vertrag stehen.
EU AI Act Readiness (Gewichtung: 4)
Die Vorbereitung auf AI Act-Anforderungen sowie die Risikoklassifizierung und Dokumentation werden bewertet.
Bewertungshinweise: Wie weit ist der Anbieter mit der AI Act-Umsetzung?
Zertifizierungen (Gewichtung: 3)
ISO 27001, SOC 2 und andere relevante Zertifizierungen werden bewertet.
Bewertungshinweise: Fordern Sie Zertifikate und Auditberichte an.
Audit-Rechte (Gewichtung: 3)
Die vertragliche Möglichkeit zur Überprüfung der Compliance wird bewertet.
Bewertungshinweise: Wichtig für eigene Rechenschaftspflicht.
Kategorie 3: Integration (20%)
CRM-Integration (Gewichtung: 5)
Die native Konnektoren für Ihr CRM-System oder leistungsfähige API werden bewertet.
Bewertungshinweise: Gibt es einen fertigen Konnektor oder ist Entwicklung nötig?
Kalender-Integration (Gewichtung: 5)
Die Anbindung an Google Calendar, Outlook und branchenspezifische Systeme wird bewertet.
Bewertungshinweise: Für Terminvereinbarung essenziell.
ERP-Integration (Gewichtung: 4)
Die Anbindung an SAP, Microsoft Dynamics und andere ERP-Systeme wird bewertet.
Bewertungshinweise: Besonders relevant für Bestellannahme und Statusabfragen.
Telefonie-Integration (Gewichtung: 4)
Die Unterstützung gängiger VoIP-Systeme und SIP-Trunks wird bewertet.
Bewertungshinweise: Passt der Anbieter zu Ihrer Telefonie-Infrastruktur?
API-Qualität (Gewichtung: 3)
Die Dokumentation, Stabilität und Leistungsfähigkeit der API werden bewertet.
Bewertungshinweise: Lassen Sie die API von Ihrer IT bewerten.
Webhooks und Events (Gewichtung: 3)
Die Echtzeit-Benachrichtigungen für Ereignisse werden bewertet.
Bewertungshinweise: Wichtig für automatisierte Workflows.
Kategorie 4: Kosten (15%)
Einmalige Kosten (Gewichtung: 4)
Setup, Implementation und initiale Schulung werden bewertet.
Bewertungshinweise: Vergleichen Sie die Vollkosten, nicht nur Listenpreise.
Laufende Kosten (Gewichtung: 5)
Das Nutzungsgebührenmodell und die Berechenbarkeit werden bewertet.
Bewertungshinweise: Rechnen Sie mit Ihrem erwarteten Volumen.
Kostenentwicklung bei Skalierung (Gewichtung: 4)
Mengenrabatte und Staffelpreise werden bewertet.
Bewertungshinweise: Wie entwickeln sich die Kosten bei Verdopplung des Volumens?
Versteckte Kosten (Gewichtung: 4)
Die Transparenz bei Zusatzkosten für Integrationen, Support und Updates wird bewertet.
Bewertungshinweise: Fragen Sie explizit nach allen potenziellen Zusatzkosten.
Vertragsbedingungen (Gewichtung: 3)
Laufzeit, Kündigungsfristen und Preisbindung werden bewertet.
Bewertungshinweise: Flexible Verträge reduzieren das Lock-in-Risiko.
Kategorie 5: Support (15%)
Implementierungsunterstützung (Gewichtung: 5)
Die Qualität und der Umfang der Unterstützung bei der Einführung werden bewertet.
Bewertungshinweise: Was ist inklusive, was kostet extra?
Schulungsangebot (Gewichtung: 4)
Trainings für Administratoren und Endanwender werden bewertet.
Bewertungshinweise: Ist Schulung im Preis enthalten?
Support-Zeiten (Gewichtung: 4)
Die Erreichbarkeit des Supports, bevorzugt 24/7 oder zu Geschäftszeiten, wird bewertet.
Bewertungshinweise: Passend zu Ihren Betriebszeiten?
Support-Sprache (Gewichtung: 4)
Die Verfügbarkeit von deutschsprachigem Support wird bewertet.
Bewertungshinweise: Wichtig für effiziente Kommunikation.
SLAs (Gewichtung: 3)
Garantierte Reaktions- und Lösungszeiten werden bewertet.
Bewertungshinweise: Sind die SLAs angemessen und durchsetzbar?
Dedizierter Ansprechpartner (Gewichtung: 3)
Die Verfügbarkeit eines festen Customer Success Managers wird bewertet.
Bewertungshinweise: Bei größeren Projekten sehr hilfreich.
Dokumentation (Gewichtung: 3)
Qualität und Vollständigkeit der technischen und Anwenderdokumentation werden bewertet.
Bewertungshinweise: Ist die Dokumentation aktuell und verständlich?
Bewertungsprozess
Phase 1: Vorbereitung
Passen Sie die Gewichtungen an Ihre Prioritäten an. Definieren Sie Ihre K.O.-Kriterien. Erstellen Sie eine Long-List von 5-8 potenziellen Anbietern.
Phase 2: Vorauswahl
Führen Sie eine Kurzrecherche zu jedem Anbieter durch. Prüfen Sie die K.O.-Kriterien. Reduzieren Sie auf 3-5 Anbieter für die Detailbewertung.
Phase 3: Informationssammlung
Fordern Sie detaillierte Informationen und Angebote an. Führen Sie Demo-Sessions mit vorbereiteten Szenarien durch. Sprechen Sie mit Referenzkunden.
Phase 4: Bewertung
Bewerten Sie jeden Anbieter für jedes Kriterium. Dokumentieren Sie Ihre Begründungen. Lassen Sie mehrere Personen bewerten und gleichen Sie ab.
Phase 5: Entscheidung
Analysieren Sie die Ergebnisse. Diskutieren Sie Stärken und Schwächen im Team. Treffen Sie eine fundierte Entscheidung.
Tipps für Demos und Referenzgespräche
Demo-Vorbereitung
Definieren Sie konkrete Szenarien aus Ihrem Alltag. Bereiten Sie Testdaten vor, etwa Beispielanrufe oder Kundendaten. Laden Sie relevante Stakeholder ein, also Fachbereich, IT und ggf. Betriebsrat. Bereiten Sie einen Fragenkatalog vor.
Während der Demo
Bestehen Sie auf Live-Demos, nicht nur Präsentationen. Testen Sie Edge Cases und Fehlerszenarien. Achten Sie auf Reaktionszeiten und Systemverhalten. Notieren Sie Beobachtungen sofort.
Referenzgespräche
Fragen Sie nach Kunden in ähnlicher Branche und Größe. Bereiten Sie spezifische Fragen vor zu Implementierungsdauer und -aufwand, aufgetretenen Problemen und deren Lösung, tatsächlich erreichtem ROI, Qualität des Supports sowie der Empfehlung und ggf. Vorbehalten.
Download und Anwendung
Laden Sie die Excel-Vorlage herunter und passen Sie sie an Ihren Auswahlprozess an.
Enthaltene Tabellenblätter:
Die Anleitung bietet Nutzungshinweise. Das Anforderungsprofil dokumentiert Ihre Anforderungen. Die Gewichtungen ermöglichen Kategorie- und Kriteriengewichtung. Die Anbieter speichern Stammdaten der zu bewertenden Anbieter. Die K.O.-Prüfung dient der Muss-Kriterien-Prüfung. Die Bewertung ermöglicht die Detailbewertung aller Kriterien. Die Auswertung zeigt Gesamtranking und Ergebnisse. Der Vergleich enthält grafische Visualisierung der Ergebnisse. Die Notizen bieten Platz für zusätzliche Dokumentation.
Die Vorlage unterstützt den Vergleich von bis zu 5 Anbietern. Bei Bedarf können weitere Spalten ergänzt werden.