KI‑Strategie im Mittelstand: 6 Schritte für die GF

Eine KI‑Strategie im Mittelstand muss nicht dick sein. Sie beantwortet vier Fragen: Wo bringt KI uns messbar etwas, was davon machen wir zuerst, was brauchen wir dafür, und woran merken wir, dass es wirkt. Wie du als Geschäftsführung in sechs Schritten dahin kommst, steht in diesem Beitrag.

Wo der Mittelstand 2026 bei KI steht

Zwei Zahlen machen gerade die Runde, und beide stimmen. Sie messen nur Verschiedenes.

Laut KfW Research (Fokus Volkswirtschaft Nr. 533, Februar 2026) nutzen 20 % der mittelständischen Unternehmen KI. Das sind knapp 780.000 Betriebe und rund fünfmal so viele wie im Zeitraum 2016 bis 2018. Grundlage ist das KfW-Mittelstandspanel 2025, gefragt wurde nach der Nutzung in den Jahren 2022 bis 2024. Wichtig: Der KfW-Mittelstand umfasst auch Kleinstbetriebe mit wenigen Beschäftigten. Bei den größeren Mittelständlern ab 50 Beschäftigten liegt der Anteil bei 36 %, bei den kleinen bei 19 %.

Der Bitkom meldet am 14. September 2026: 57 % der Unternehmen ab 20 Beschäftigten setzen KI ein, ein Jahr zuvor waren es 36 %. Befragt wurden 603 Unternehmen im Sommer 2026.

Die Lücke zwischen 20 und 57 Prozent erklärt sich also vor allem aus der Grundgesamtheit und dem Zeitpunkt. Die KfW zählt Kleinstbetriebe mit und schaut auf 2022 bis 2024. Der Bitkom beginnt erst bei 20 Beschäftigten und fragt nach dem Stand heute. Für ein Unternehmen mit 80 oder 300 Mitarbeitenden heißt das: Die Mehrheit vergleichbarer Firmen probiert KI inzwischen aus. Ein Vorsprung ist das nicht mehr, eher Grundausstattung.

Aufschlussreicher ist, was der Bitkom über die Wirkung sagt. Kein Unternehmen schöpft nach eigener Einschätzung das Potenzial von KI vollständig aus, nur 3 % eher stark. Und nur 45 % der KI‑Anwender sehen einen messbaren Beitrag zum Unternehmenserfolg. Viele haben also angefangen. Die wenigsten wissen, ob es sich lohnt.

Warum KI ohne Strategie verpufft

Das typische Bild in mittelständischen Unternehmen sieht so aus: Ein paar Leute nutzen privat oder halboffiziell einen Chat-Assistenten. Der Vertrieb testet ein Tool, die Buchhaltung ein anderes. Irgendwann fragt die IT, wer das freigegeben hat. Nach einem Jahr gibt es fünf Lizenzen, zwei Pilotprojekte und keine Antwort auf die Frage, was das alles gebracht hat.

Das liegt nicht an der Technik. Es fehlt eine Entscheidung, wofür KI im Unternehmen da ist.

Die KfW-Studie stützt das. Rechnet man Größe, Branche und andere Merkmale heraus, liegt die Wahrscheinlichkeit, KI zu nutzen, bei Unternehmen mit Digitalisierungsstrategie bei 35 %. Bei Unternehmen, die digitalisieren, aber ohne Strategie, sind es 26 %, bei Unternehmen ohne Digitalisierungsvorhaben 19 %. Die KfW erklärt das so: Wer eine Strategie hat, geht Digitalisierung nicht punktuell an und bringt eher die Infrastruktur und die Kompetenz mit, die KI braucht. Das ist ein Zusammenhang, kein Beweis, dass die Strategie allein KI bringt. Aber er passt zu dem, was ich in Gesprächen sehe: Wer weiß, wohin er digital will, findet auch die Stellen, an denen KI hilft.

Eine KI‑Strategie ist deshalb kein eigenes Papier neben allem anderen. Sie ist ein Kapitel deiner Digitalstrategie. Wenn es die noch nicht gibt, fang dort an.

KI‑Strategie im Mittelstand: die 6 Schritte im Überblick

1. Lagebild: Wo verlieren wir heute Zeit, Geld oder Qualität?
2. Use Cases: Welche dieser Stellen lassen sich mit KI konkret verbessern?
3. Priorisierung: Welche zwei oder drei Fälle bringen den meisten Wert bei vertretbarem Aufwand?
4. Grundlagen: Welche Daten, Regeln und Kompetenzen brauchen wir dafür?
5. Pilot: Wie testen wir klein, mit Kennzahl und Enddatum?
6. Skalierung und Führung: Was machen wir mit dem Ergebnis, und wer verantwortet es?

Die Schritte 1 bis 3 gehören zusammen, deshalb behandle ich sie in einem Abschnitt.

Use Cases finden und nach Wert priorisieren

Fang nicht bei den Werkzeugen an, sondern bei den Abläufen. Die beste Quelle sind die Menschen, die die Arbeit machen. Frag in Vertrieb, Innendienst, Einkauf, Buchhaltung und Service: Was kostet euch jede Woche Stunden, ohne dass es jemand gern macht? Wo entstehen Fehler, weil Informationen aus drei Systemen zusammengesucht werden?

Daraus entsteht eine Liste. In vielen Unternehmen tauchen ähnliche Kandidaten auf: Angebote und Anfragen vorbereiten, Belege und Bestellungen erfassen, Wissen aus Handbüchern und alten Projekten auffindbar machen, Texte für Marketing und Kundenkontakt entwerfen. Der Bitkom zeigt, wo Unternehmen KI heute am häufigsten einsetzen: bei der Bearbeitung von Anfragen im Kundenkontakt (72 %) und in Marketing und Kommunikation (54 %). Das heißt nicht, dass dort auch dein größter Hebel liegt. Es heißt nur, dass dort der Einstieg am leichtesten ist.

Bewerte jeden Kandidaten nach zwei Achsen:

• Wert: Wie viele Stunden, Fehler oder Durchlaufzeit spart das im Jahr? Schätze grob, aber in Zahlen. „Spart Zeit“ reicht nicht.
• Machbarkeit: Liegen die nötigen Daten vor und sind sie brauchbar? Gibt es eine fertige Lösung oder muss gebaut werden? Wer im Team kann es begleiten?

Oben rechts, hoher Wert und gute Machbarkeit, stehen deine ersten Kandidaten. Nimm zwei, höchstens drei. Alles andere kommt auf eine Liste für später. Diese Disziplin ist der eigentliche Kern einer Roadmap: Sie sagt nicht nur, was ihr macht, sondern auch, was ihr bewusst noch nicht macht.

Ein Hinweis aus der Praxis: Unterschätze den Aufwand für die Daten nicht. Unter den KI‑Anwendern nennt jeder zweite (50 %) die Aufbereitung von Daten als großen Kostenpunkt, laut Bitkom fast gleichauf mit der Infrastruktur. Ein Use Case, der auf sauberen Stammdaten aufbaut, die es nicht gibt, ist in Wahrheit ein Datenprojekt.

Daten, Datenschutz und AI Act

Bevor ein Pilot startet, brauchst du drei Klärungen.

Daten: Welche Daten fließen in das Werkzeug, und wo werden sie verarbeitet? Kundendaten, Personaldaten und Konstruktionsunterlagen gehören nicht ungeprüft in einen öffentlichen Chat-Dienst. Lege fest, welche Werkzeuge freigegeben sind und für welche Daten.

Datenschutz: Sobald personenbezogene Daten im Spiel sind, gilt die DSGVO wie bei jeder anderen Software. Hol deine Datenschutzbeauftragten früh dazu, nicht erst kurz vor dem Start.

AI Act: Die europäische KI‑Verordnung gilt gestaffelt. Sie verlangt unter anderem, dass Unternehmen, die KI einsetzen, Maßnahmen ergreifen, um die KI‑Kompetenz ihrer Beschäftigten zu unterstützen (Art. 4). Seit dem KI‑Omnibus ist das weicher gefasst als vorher, die Pflicht selbst bleibt. Für die meisten Anwendungen im Mittelstand sind die Pflichten überschaubar, bei Hochrisiko-Systemen etwa im Personalbereich sieht das anders aus. Was gilt, was sich mit dem KI‑Omnibus verschiebt und was du jetzt tun solltest, habe ich in einem eigenen Beitrag zusammengefasst: AI Act und KI‑Omnibus für den Mittelstand.

Das ersetzt keine Rechtsberatung. Es reicht aber, um im Pilot keine vermeidbaren Fehler zu machen.

Die Kompetenzfrage ist ohnehin keine reine Pflicht. 85 % der Unternehmen ohne KI nennen laut Bitkom fehlendes technisches Know-how als Grund, und die KfW zählt fehlende Kompetenzen und Zeit zu den wichtigsten Hemmnissen. Schulung ist also Teil der Strategie, nicht Beiwerk.

Pilot, Kennzahlen, Skalierung

Ein guter Pilot ist klein, kurz und messbar. Er hat:

• eine Kennzahl, die vorher gemessen wurde, etwa Bearbeitungszeit pro Anfrage oder Fehlerquote bei der Belegerfassung,
• ein Team, das den Ablauf wirklich kennt und mitarbeitet,
• ein Enddatum, meist sechs bis zwölf Wochen,
• eine Entscheidungsregel, die vorher feststeht: Ab welchem Ergebnis rollen wir aus, ab welchem lassen wir es?

Ohne Ausgangswert kein Ergebnis. Das klingt banal, ist aber der häufigste Grund, warum Piloten im Ungefähren enden. Wenn niemand weiß, wie lange ein Angebot vorher gedauert hat, kann auch niemand sagen, ob es mit KI schneller geht.

Nach dem Pilot gibt es drei saubere Ausgänge: ausrollen, nachschärfen oder beenden. Alle drei sind ein Erfolg, wenn sie begründet sind. Beim Ausrollen kommen die eigentlichen Kosten: Anbindung an bestehende Systeme, Schulung aller Beteiligten, Betrieb und Pflege. Plane dafür Budget und Kapazität ein, bevor du den nächsten Pilot startest. Sonst sammelt sich ein Friedhof halbfertiger Versuche.

Wenn du Förderung für Beratung oder Umsetzung prüfen willst, findest du einen Überblick unter Förderung für Digitalisierung und KI in Bayern. Auch hier gilt: Das ersetzt keine Förderberatung, Programme und Bedingungen ändern sich.

Die Rolle der Geschäftsführung

KI ist kein IT‑Projekt. Die IT ist wichtig für Sicherheit, Betrieb und Integration. Aber sie kann nicht entscheiden, ob der Innendienst in Zukunft anders arbeitet, ob ein Prozess umgebaut wird oder welche Aufgaben sich verschieben. Das sind Führungsentscheidungen.

Für die Geschäftsführung heißt das konkret:

• Ziel setzen. Nicht „wir machen jetzt KI“, sondern „wir wollen die Angebotszeit halbieren“ oder „wir wollen im Service mit dem gleichen Team mehr Anfragen schaffen“.
• Prioritäten verantworten. Zwei Use Cases auswählen heißt, zehn andere zu vertagen. Das muss jemand entscheiden und aushalten.
• Verantwortung benennen. Jeder Pilot braucht eine Person, die ihn fachlich trägt, nicht nur technisch betreut.
• Das Team mitnehmen. Der Bitkom nennt fehlende Akzeptanz der Beschäftigten bei 42 % der KI‑Anwender als Hemmnis. Sag offen, was sich ändert und was nicht. Wer Angst um seine Aufgabe hat, testet nicht ehrlich.
• Regelmäßig draufschauen. Ein kurzer Blick pro Quartal auf Kennzahlen und Liste reicht. Was wirkt, wird größer. Was nicht wirkt, wird beendet.

Du musst dafür nicht verstehen, wie ein Sprachmodell rechnet. Du musst wissen, welches Problem es lösen soll und woran ihr den Erfolg messt.

Häufige Fragen

Was gehört in eine KI‑Strategie für den Mittelstand?

Ein kurzes Lagebild, zwei bis drei priorisierte Use Cases mit geschätztem Wert, die nötigen Grundlagen bei Daten, Regeln und Kompetenz, ein Pilotplan mit Kennzahl und Enddatum sowie klare Verantwortung. Für ein mittelständisches Unternehmen passt das oft auf wenige Seiten.

Brauchen wir eine eigene KI‑Strategie oder reicht die Digitalstrategie?

Meist ist KI ein Kapitel der Digitalstrategie. Ohne klares Bild von Prozessen, Systemen und Daten fehlt einer KI‑Strategie das Fundament. Ein eigenes Dokument lohnt sich erst, wenn KI zum Kern des Geschäftsmodells wird.

Wie lange dauert es bis zum ersten Ergebnis?

Ein Lagebild mit priorisierten Use Cases liegt meist nach wenigen Wochen vor. Ein Pilot dauert typischerweise sechs bis zwölf Wochen. Nach etwa einem Quartal weißt du also, ob sich der erste Anwendungsfall lohnt.

Wer sollte die KI‑Einführung im Unternehmen verantworten?

Die Geschäftsführung setzt Ziel und Prioritäten. Fachlich verantwortet jeden Use Case die Abteilung, die damit arbeitet. Die IT sorgt für Sicherheit, Anbindung und Betrieb. Eine Person sollte den Überblick über alle Vorhaben halten.

Wenn du gerade vor der Frage stehst, wo KI in deinem Unternehmen anfangen soll, sprich mich gern an. In einem ersten Gespräch schauen wir auf deine Lage und darauf, ob ich dir dabei helfen kann. Erstgespräch vereinbaren oder mehr zur Beratung lesen.