Wie man den Fuss in die KI-Türe bekommt

Die Software Brauerei ist ein Schweizer Software-Spezialist, das Unternehmen um die beiden Gründer Florian Müller (CEO) und Domenic Benz (CTO/CFO) beschäftigt rund 25 Entwickler, UX-Designer und KI-Spezialisten. Als selbstständiger ISV ist das Unternehmen zwar kein Reseller im klassischen Sinn – kommt dank verschiedener KI-Projekte nun aber plötzlich in die Situation, sich doch mit Hardware und damit mit dem Channel auseinandersetzen zu müssen. Die beiden Gründer gewähren einen Einblick in ihre Arbeit und haben Tipps auf Lager, wie man als Schweizer Dienstleister einen Fuss in die KI-Türe bekommt.


«Just f****** do it», so das Mantra des Software-Hauses, wie CEO Florian Müller schmunzelnd erklärt. «Wenn wir etwas spannend finden, versuchen wir in der Regel, schnell in dieses Thema reinzukommen.» So handhabte man das schon in der Krypto- und Web3-Welle und das Thema KI soll keine Ausnahme sein. Kurzerhand rief man 2022 also eine erste KI-Einheit bestehend aus initial drei Engineers ins Leben, die damit begann, erste Cases zu konzipieren. Gemessen an der Gesamtzahl der Angestellten eine recht grosse Investition. Mit der KI-Einheit verfolgte man von Anfang an das klare Ziel, «schnell vom ‹Power­point-Status› solcher Cases wegzukommen, um damit auf Kunden zuzugehen und erste Projekte umsetzen zu können», so Müller.

Leergut, Podcast-Engines, Belege

Eines der heute produktiven KI-Produkte, die aus dieser Versuchsphase hervorgingen, ist bei der Bierbrauerei Feldschlösschen im Einsatz. Eine auf Bilderkennung trainierte KI kategorisiert dort das eingehende, zuvor sortierte Leergut. «Wir haben das Modell mit rund 17’000 Bildern von Leergutpaletten trainiert. Heute kann es anhand von zwei Bildern einer Leergutpalette einordnen, welche Kästen und Flaschen darauf liegen», wie Müller ausführt.

«Im Rahmen des Prototypings gab es auch einige Cases, die vorderhand unsinnig erschienen, letztlich aber dann doch zu einem Kunden-Case wurden», so Müller weiter. Im bereits erwähnten «Einfach machen»-Modus wurde dort etwa ein KI-Bot für das Kommunikations-Tool Slack gebaut, der (ähnlich wie Microsoft Copilot) Zusammenfassungen von Channels erstellen und auf Wunsch mit der Stimme eines Promis vorlesen kann. Produktiv ist dieses Feature heute in einer CRM-Lösung als Podcast-Engine, die dem Verkäufer auf der Fahrt zum Kunden die wichtigsten Eckdaten zum Unternehmen – Zahlen, Namen, Fakten – vorliest, damit sich dieser auf den Besuch vorbereiten und wertvolle Zeit sparen kann.


Aktuell in Arbeit ist derweil eine Lösung für das automatisierte Auslesen von Spesenbelegen für die schon länger bestehende Spesen-App der Software Brauerei. Die weiterführende Idee, so Müller, ist der Bau einer generischen KI-Engine, die schlussendlich via API auch in beliebigen anderen Finanz-Applikationen zum Einsatz kommen könnte. Ebenfalls in der Pipeline befindet sich eine Anwendung, die sich mit dem Abfedern von Spitzen in der Logistik beschäftigt.

Welches Modell passt zum Case?

Betreffend KI-Modelle setzt die Software Brauerei aktuell mehrheitlich auf OpenAI, deren Modelle haben laut Müller bei Benchmarks aktuell noch klar die Nase vorn. Die Konkurrenz schläft jedoch nicht, regelmässig werden darum die zahlreichen Open-Source-Modelle geprüft, um die Übersicht zu behalten. Darüber hinaus nutzt die Software Brauerei natürlich Cloud-Infrastruktur; Anbieter der Wahl sind Azure und AWS.

Die Wahl der KI-Technologie – also ob grosse, cloudbasierte Modelle oder lokal gehostete Open-Source-Lösungen zum Einsatz kommen – ist laut Benz abhängig vom Case, respektive der Art der Trainingsdaten. Bei weniger kritischen Cases, die mit öffentlich verfügbaren Daten arbeiten, ist die Nutzung der grossen Modelle in der Cloud unproblematisch und einfach.


Bei Modellen, die mit sensibleren Daten trainiert werden (bspw. im HR-Bereich), ist hingegen mehr Vorsicht geboten. Benz: «Fürs Tooling nutzen wir in solchen Fällen zwar ebenfalls oft Produkte von AWS, haben aber die Möglichkeit, On-Prem-Hardware an die AWS-Infrastruktur zu hängen und das Training lokal darauf durchzuführen.»

Zwischen Selbsthilfe und Channel-Support

Hier kommt die eingangs erwähnte Hardware-Komponente ins Spiel, mit der sich die Software Brauerei nun gezwungenermassen beschäftigen muss – eine neue Entwicklung für das bisher fast ausschliesslich Software- und Cloud-fokussierte Unternehmen. Hersteller der Wahl war beim Beispiel der Leergut-Applikation HP, wo die Software Brauerei leistungsstarke Rechner mit mehreren Grafikkarten fürs lokale KI-Training beziehen konnte.

Vonseiten OpenAI ist wenig überraschend kaum mit Unterstützung zu rechnen, wie Müller bestätigt. Ähnlich bei den grossen Cloud-Anbietern – für persönliche Betreuung ist man dort als KMU schlicht zu klein. Dies im Kontrast zu den etablierten Hardware-Herstellern, die oft Support für den lokalen Channel anbieten.


«Wir verstehen uns als digitale Innovationsagentur und nicht im klassischen Sinn als Reseller. Daher war Hardware für uns lange Zeit überhaupt kein Thema», wie CTO Domenic Benz ausführt. Erst die Entwicklungen im KI-Sektor und der damit verbundene Need für lokale Rechenleistung führten die Software Brauerei nun wieder ins Channel-Geschäft. Man registriere durchaus einen grossen Unterschied zu den Herstellern der genannten Software-Lösungen, so Benz. «Im Channel sitzen eben Menschen auf der anderen Seite, die man anrufen kann. Man bekommt so auch eine massgeschneiderte Lösung, statt einfach auf eine Dokumentation verwiesen zu werden.»

Nach einem Zyklus in der IT, in dem alles in die Cloud gewandert ist, folgt nun eine Phase, in welcher Hardware wieder massgeblich an Relevanz gewinnt, wie auch Müller und Benz überzeugt sind. Ob der neue Hardware-Boom aber auch längerfristig Bestand hat, bleibe offen. Wie Benz zu Bedenken gibt zum einen, weil auch das Modelltraining mit sensiblen Daten wieder in die Cloud zurückwandern könnte. Und zweitens, weil es für die Ausführung des Modells beim Nutzer selbst gar nicht so starke Hardware brauche. «Ja, fürs Training braucht’s zwar grosse Rechenleistung, aber lokal reicht in der Praxis meist ein reguläres Mittelklasse-Smartphone.»

Die Zehen ins Wasser halten

Wer als Dienstleister oder Entwickler den Einstieg in die Arbeit mit KI und LLMs machen will, solle sich «auf eine Reise einstellen», wie es der CEO formuliert. «Bis man initial ein Modell hat, das halbwegs verlässliche Resultate liefert, dauert es eine Weile – besonders, wenn man mit Bildern arbeitet.» Man sollte nicht den Fehler machen, zu wenig Zeit und Ressourcen für das Daten-Labeling abzustellen und damit zu rechnen, dass das schnell abgehandelt ist. «Dieser Aufwand ist wirklich nicht zu unterschätzen», wie er klar betont. «Im Rahmen eines solchen IT-Projekts ist das Bauen der Software nicht die einzige Herausforderung, sondern eben auch das Labeling der Daten und das damit implizierte Modell-Training.»

Weiter gibt er zu bedenken, dass in vielen Fällen das Modell nach dem Go Live weiter trainiert werden soll – Aufwand, den man ebenfalls kalkulieren muss. Dies nicht nur für fortlaufende Optimierungen, sondern gegebenenfalls auch, weil sich Fehler im Modell einschleichen können. Es könnte sehr schnell passieren, dass man ein Modell hat, das eine sehr hohe Genauigkeit hat und in der Woche darauf viele Fehler macht, weil irreführende Bilder in die Trainingsdaten gerutscht sind. Lösen lässt sich das entweder durch einen menschlichen Gatekeeper, der bestimmt, was ins Modell darf und was nicht, oder eine weitere KI, die diese Einordnung übernimmt. Beides ist mit deutlichem Mehraufwand verbunden, «und das muss man prozessseitig sauber abhandeln können, wenn man mit Modellen arbeitet, die nach und nach verbessert werden sollen.»


Ein weiteres zentrales Learning aus der Arbeit mit LLMs ist laut Domenic Benz, dass man ein Modell auch mit zu vielen Daten trainieren kann. «Damit kann die Qualität der Resultate gegebenenfalls stark zurückgehen», wie er erklärt. «Das ist sogar OpenAI bei der Veröffentlichung von GPT-4 passiert – und das passiert bei kleineren Modellen in Unternehmen ebenfalls gerne mal. Das muss man im Auge behalten.»

Auf die Frage, was man als Reseller leisten, lernen oder mitbringen muss, um selbst mit KI-Lösungen erfolgreich zu sein, antwortet Benz: «Einfach mal die Zehen ins Wasser halten, die Technologie ausprobieren, kleine Schritte nehmen und von dort aus weiterwachsen.» In Florian Müllers Worten: «Just f****** do it». (win)