Das Wichtigste in Kürze
- Umfrage, Quiz und Fallaufgabe erzeugen alle Zahlen. Sie messen aber drei verschiedene Dinge: Selbstbild, Wissen und Arbeit.
- Selbsteinschätzungen sind systematisch verzerrt, und ein Quiz schützt nicht vor Fehlvertrauen in KI. Die Fallaufgabe kommt dem Verhalten am nächsten.
- Die Methoden schließen sich nicht aus, sie haben verschiedene Jobs. Die Fallaufgabe ist das Fundament für Budget, Maßnahmen und Nachweis.
Bevor ein Unternehmen KI-Kompetenz aufbaut, braucht es ein Bild davon, wo das Team steht. Für dieses Bild gibt es im Wesentlichen drei Methoden: die Umfrage, das Quiz und die Fallaufgabe. Alle drei erzeugen Zahlen, und die Zahlen sehen ähnlich aus. Sie messen aber drei verschiedene Dinge: Selbstbild, Wissen und Arbeit.
Die Wahl der Methode entscheidet, welche Maßnahme danach gekauft wird. Wer das Falsche misst, optimiert das Team für die nächste Messung, nicht für den Arbeitsalltag. Der Bedarf selbst ist unstrittig: Im Bitkom-Studienbericht 20261 nennt gut die Hälfte der deutschen Unternehmen fehlendes Know-how als Hemmnis, und in der Unternehmensbefragung der Bundesnetzagentur2 berichtet ein Drittel der KI-nutzenden Firmen, dass die meisten Mitarbeitenden noch Schwierigkeiten mit den Anwendungen haben. Ohne ein Bild davon, wo das Team steht, wird jede Maßnahme zur Wette.
Was misst die Selbsteinschätzung?
41 %
der Beschäftigten würden in Betracht ziehen, ihre Fähigkeiten mit generativer KI zu übertreiben. Die Umfrage misst, was Menschen über sich sagen.
Eine Umfrage ist in einer Woche aufgesetzt und ausgewertet: Wie sicher fühlen Sie sich im Umgang mit KI, wofür nutzen Sie sie, wo hakt es? Als Stimmungsbild und Gesprächsöffner ist das wertvoll. Als Messung hat es einen bekannten Konstruktionsfehler. Kruger und Dunning3 zeigten, dass Menschen mit geringer Kompetenz sich systematisch überschätzen, gerade weil ihnen das Wissen fehlt, die eigenen Lücken zu erkennen. Bei KI kommt das Motiv dazu, das die Salesforce-Befragung4 sichtbar macht. Die Folge: Die Teams, die Hilfe am nötigsten haben, melden in der Umfrage am seltensten Bedarf an.
Was misst der Wissenstest?
23 %
schlechter schnitten Berater mit KI bei einer Aufgabe außerhalb der Fähigkeiten des Modells ab als Kollegen ohne KI, obwohl sie vorher gewarnt worden waren.
Ein Quiz ist objektiver als eine Selbsteinschätzung und skaliert mühelos auf hundert Mitarbeitende. Es misst zuverlässig, aber es misst Wissen: Begriffe, Regeln, Definitionen. Dass Wissen über KI nicht vor Fehlvertrauen in KI schützt, zeigt das Feldexperiment von Dell'Acqua und Kollegen5. Ob Wissen am Schreibtisch zu gutem Verhalten wird, beantwortet ein Quiz nicht. Als Lernwerkzeug bleibt es nützlich: Roediger und Karpicke9 zeigten, dass ein Abruftest Gelerntes besser verankert als wiederholtes Lesen. Nur ist Lernen nicht dasselbe wie Anwenden.
Was misst die Fallaufgabe?
66 %
der Beschäftigten räumen ein, KI-Ergebnisse zu übernehmen, ohne deren Richtigkeit zu prüfen. Das sieht man weder in einer Umfrage noch in einem Quiz.
Die dritte Methode bildet echte Arbeit nach: Eine realistische Aufgabe aus dem eigenen Bereich, eine Kundenanfrage, eine Angebotserstellung, wird in einem Workspace mit Editor und KI-Chat bearbeitet, genau wie im Alltag. Bewertet wird der Weg zum Ergebnis entlang von vier Dimensionen: strategischer Tool-Einsatz, Interaktionsqualität, kritische Kontrolle, fachlich geführtes Prompting. Das ist aufwändiger als eine Umfrage, bildet dafür aber das Verhalten am direktesten ab statt Aussagen darüber. Wie nötig das ist, zeigt die KPMG-Studie mit der University of Melbourne6: Mehr als die Hälfte der Beschäftigten hat durch ungeprüfte KI-Ergebnisse schon Fehler in der Arbeit gemacht.
Was die drei Methoden messen
Selbsteinschätzung
Misst Selbstbild. Schnell, aber systematisch verzerrt.
Wissenstest
Misst Wissen. Objektiv, aber blind für Verhalten.
Fallaufgabe
Misst Arbeit. Aufwändiger, dafür nah am Verhalten.
Aufwand und Aussagekraft laufen gegenläufig: Die Umfrage kostet am wenigsten und sagt am wenigsten, die Fallaufgabe kostet am meisten und sagt am meisten. In der Sprache des Kirkpatrick-Modells7: Die Umfrage misst Reaktion, das Quiz Lernen, die Fallaufgabe kommt dem Verhalten am nächsten.
Welche Methode beantwortet welche Frage?
| Die Frage | Die passende Methode |
|---|---|
| Wo fühlt sich das Team unsicher? | Umfrage, als schneller Puls |
| Sind die Grundbegriffe nach der Einführung angekommen? | Quiz, direkt nach der Schulung |
| Wie arbeitet das Team wirklich mit KI? | Fallaufgabe |
| Hat eine Maßnahme gewirkt? | Fallaufgabe, vorher und nachher |
| Was legen wir Behörden, Kunden oder Prüfern vor? | Fallaufgabe, datiert und wiederholt |
Wer nur eine Methode einsetzen kann, ist nach unserer Einschätzung mit der dritten am besten bedient. Wer alle drei nutzt, gibt jeder ihren Job.
Wie kombiniert man die Methoden sinnvoll?
In der Praxis schließen sich die drei nicht aus, sie haben verschiedene Jobs. Die Umfrage taugt als schneller Puls und für die Frage, wo Unsicherheit empfunden wird. Das Quiz kann Grundlagenwissen nach einer Einführung absichern. Die Fallaufgabe ist das Fundament, auf dem Budgetentscheidungen, gezielte Maßnahmen und der Nachweis gegenüber Behörden, Kunden oder Prüfern stehen. Die EU-Kommission verlangt für Artikel 4 der KI-Verordnung ausdrücklich kein Zertifikat8, sondern empfiehlt interne Aufzeichnungen über Schulungen und andere Maßnahmen; was in diesen Aufzeichnungen steht, entscheidet die Messmethode. Und bei der Fallaufgabe zeigt die Wiederholung am ehesten eine Verhaltensänderung, und damit, ob eine Maßnahme gewirkt hat.
Ein Beispiel
Stellen Sie sich ein Team im Einkauf vor, das in der Umfrage angibt, sicher mit KI zu arbeiten, und im Quiz zu KI-Grundlagen gut abschneidet. In der Fallaufgabe soll es eine Lieferantenbewertung mit KI-Unterstützung vorbereiten.
Zwei von fünf Mitarbeitenden übernehmen die Bewertung, in der das Modell einen Lieferanten mit erfundenen Kennzahlen ergänzt hat. Die anderen drei prüfen gegen das Lieferantenportal und streichen ihn.
Umfrage und Quiz hätten das Team als sicher eingestuft. Die Fallaufgabe zeigt, dass zwei Personen ein konkretes Coaching zur Prüfung von Ausgaben brauchen, und dass die anderen drei keines brauchen.
Drei Schritte für den Anfang
- Nutzen Sie die Umfrage nur für das, was sie kann: ein Stimmungsbild. Leiten Sie daraus keine Kompetenzniveaus ab.
- Wählen Sie je Rolle eine echte Aufgabe aus dem Alltag und laden Sie eine kleine, repräsentative Gruppe ein, sie transparent und abgestimmt mit dem freigegebenen Werkzeug zu bearbeiten. Bewerten Sie den Weg, nicht nur das Ergebnis.
- Legen Sie den Wiederholungsrhythmus fest, bevor die erste Maßnahme startet. Ohne zweiten Datenpunkt bleibt jede Wirkung eine Behauptung.
Fazit
Alle drei Methoden erzeugen Zahlen; verwechselbar sind sie deshalb nicht. Eine Selbsteinschätzung misst Selbstbild, ein Quiz misst Wissen, eine Fallaufgabe misst Arbeit. Welche Methode die richtige ist, entscheidet die Frage, die man beantworten will, und für die Frage, wie gut das Team wirklich mit KI arbeitet, ist eine realistische Arbeitsaufgabe die aufschlussreichste Quelle.
Quellen
Methode, Stichprobe und weitere Zahlen lassen sich je Quelle aufklappen.
- Bitkom, Studienbericht „Künstliche Intelligenz in Deutschland“ 2026 (PDF). ↩
Methode und Zahlen
604 Unternehmen ab 20 Beschäftigten. 53 % nennen fehlendes technisches Know-how als Hemmnis; 43 % bieten keine KI-Schulung an.
- Bundesnetzagentur, „KI in Unternehmen: Einsatz, Ressourcen und Herausforderungen“, 2025 (PDF). ↩
Methode und Zahlen
808 Unternehmen. Ein Drittel der KI-nutzenden Unternehmen berichtet, dass die meisten oder fast alle Mitarbeitenden noch Schwierigkeiten mit den Anwendungen haben.
- Kruger und Dunning, „Unskilled and unaware of it“, Journal of Personality and Social Psychology, 1999. ↩
Methode und Zahlen
Das schwächste Viertel der Teilnehmenden lag tatsächlich im 12. Perzentil, schätzte sich selbst aber im 62. Perzentil ein.
- Salesforce, „AI at Work Research“, 2023. ↩
Methode und Zahlen
Über 14.000 Beschäftigte in 14 Ländern. 41 % würden in Betracht ziehen, ihre Fähigkeiten mit generativer KI zu übertreiben.
- Dell'Acqua et al., „Navigating the Jagged Technological Frontier“, Harvard Business School / BCG, 2023. ↩
Methode und Zahlen
Feldexperiment mit 758 Beratern. Bei Aufgaben innerhalb der Fähigkeiten von GPT-4 rund 40 % bessere Qualität, bei einer Aufgabe knapp außerhalb 23 % schlechter als die Kontrollgruppe ohne KI.
- KPMG und University of Melbourne, „Trust, attitudes and use of AI“, 2025. ↩
Methode und Zahlen
Über 48.000 Befragte in 47 Ländern. 66 % übernehmen KI-Ergebnisse ungeprüft, 56 % haben dadurch schon Fehler in ihrer Arbeit gemacht.
- Kirkpatrick Partners, „The Kirkpatrick Model“. ↩
Methode und Zahlen
Die vier Ebenen der Wirkungsmessung von Weiterbildung: Reaktion, Lernen, Verhalten, Ergebnisse.
- Europäische Kommission, „AI literacy: Questions and Answers“. ↩
Methode und Zahlen
Artikel 4 verlangt kein Zertifikat; die Kommission empfiehlt interne Aufzeichnungen über Schulungen und andere Maßnahmen.
- Roediger und Karpicke, „Test-enhanced learning“, Psychological Science, 2006. ↩
Methode und Zahlen
Ein Abruftest verankerte den Stoff nach zwei Tagen und nach einer Woche deutlich besser als wiederholtes Lernen, obwohl Wiederholen das Gefühl von Sicherheit stärker steigerte.