Meine lokalen KI-Agenten fangen an, ihre eigene Arbeit zu bewerten

In meinem Architektur-Beitrag habe ich das große Ganze beschrieben, wie mein Smart Home für sich selbst denkt. Dieser Beitrag geht tiefer auf einen Teil davon ein — den Teil, der mich aktuell am meisten begeistert: eine wachsende Flotte spezialisierter lokaler KI-Agenten, die im Stillen echte Arbeit für mich erledigen — und die langsam lernen, wie gut sie eigentlich darin sind.

Das Problem mit einem großen Assistenten

Eine Zeit lang hatte ich eine einzige, universelle KI, die alles übernommen hat, was ich ihr vorgesetzt habe — Konfigurationen schreiben, Firmware reviewen, Content entwerfen. Hat funktioniert, aber „funktioniert für alles“ und „funktioniert gut“ sind zwei verschiedene Dinge. Ein Modell, das ordentlich Marketingtexte schreibt, ist nicht zwangsläufig dasjenige, dem ich eine Home-Assistant-Konfiguration vor dem Live-Gang anvertrauen will — und erst recht nicht eines, das in die Nähe von Dateien kommt, die ich als privat einstufe.

Also baue ich statt eines Generalisten inzwischen lokale Spezialisten — mittlerweile 27 an der Zahl, von CAD und Firmware bis Security und Content. Es kommen laufend neue dazu, sobald sich eine Aufgabe lohnt, ausgegliedert zu werden.

Den lokalen Agenten beibringen, sich selbst zu bewerten

Der Teil, der tatsächlich verändert hat, wie ich mit ihnen arbeite, ist die Review-Schleife. Jedes Mal, wenn einer dieser lokalen Agenten eine Aufgabe abschließt, prüfe ich das Ergebnis so, wie ich einen Pull Request von einem Kollegen prüfen würde — hat er es richtig gemacht, hat er etwas übersehen, hat er sich etwas ausgedacht, das er nicht hätte erfinden dürfen. Aus diesem Review entsteht ein Konfidenz-Score, getrackt pro Agent und pro Aufgabenkategorie.

Unterhalb einer bestimmten Konfidenz-Schwelle prüfe ich alles doppelt, bevor es an etwas Echtes rangelassen wird. Sobald ein Agent die Schwelle für eine Kategorie geknackt hat — nach genug reviewten Aufgaben —, darf er diese Kategorie eigenständig übernehmen, ohne dass ich jede einzelne Ausgabe nochmal nachprüfe. Das ist kein einmaliger Bestanden/Durchgefallen-Test, sondern eine laufende Erfolgsbilanz, die sich Autonomie über Zeit verdient — oder auch wieder verliert.

Proaktivität ist auch etwas, das ich aktiv weiter ausbaue — aktuell handeln die lokalen Agenten vor allem auf meine Anfrage hin, aber einige schicken mir schon unaufgefordert Vorschläge, wenn ihnen etwas auffällt, das es wert ist, angesprochen zu werden. Das ist eine Richtung, die ich noch deutlich stärker ausbauen will.

Der Teil, der nie in die Cloud geht

Ein Prinzip, auf das ich immer wieder zurückkomme: Manche Aufgaben betreffen Daten, die mein lokales Netzwerk niemals verlassen sollten — nicht mal anonymisiert, nicht mal „nur dieses eine Mal“. Für solche Fälle ist Cloud-KI komplett tabu, egal wie gut sie ist. Für diese Art von Arbeit nutze ich stattdessen vollständig lokale Sprachmodelle auf lokaler Hardware — keine API-Aufrufe nach außen, kein Account, keine laufenden Kosten.

Ein echtes Beispiel: Ein lokaler Agent entdeckt von sich aus eine verschmutzte Kamera-Linse

Einer meiner lokalen Agenten hat etwas gebaut, das ich so im Detail gar nicht explizit angefordert hatte: einen Wächter, der jede Außenkamera an meinem Haus komplett eigenständig auf Probleme prüft. Die Kameraliste ist nicht fest hinterlegt — sie kommt live aus meinem Frigate NVR, das auf demselben lokalen Mini-PC läuft, jede neue Kamera wird also automatisch mit erfasst, ohne zusätzliche Einrichtung.

Der Agent läuft mehrmals täglich auf meinem lokalen Mini-PC und vergleicht das aktuelle Bild jeder Kamera mit einem gespeicherten Referenzbild. Das erkennt, wenn eine Kamera verdreht oder aus der Position gebracht wurde. Zusätzlich prüft er Schärfe und Belichtung — und genau das hat kürzlich einen echten Fund geliefert: Eine Außenkamera hatte eine verschmutzte Linse, automatisch erkannt und gemeldet, bevor es mir selbst aufgefallen wäre.

Alarmiert wird erst, wenn derselbe Befund zweimal in Folge auftritt, und höchstens einmal alle 24 Stunden — kein Alarm-Spam — und sobald das Problem behoben ist, kommt automatisch eine Entwarnung. Für all das braucht es kein Cloud-Modell; es ist reiner lokaler Bildvergleich, der durchgehend läuft, ohne dass ich je danach gefragt hätte.

Das ist der Teil, der mir eigentlich am wichtigsten ist: Es geht nicht nur darum, dass die lokalen Agenten etwas können — sie fangen an, echte Probleme von sich aus zu finden und zu melden, bevor ich es selbst bemerkt hätte.

Wohin das führt

Die Flotte lokaler Agenten wird weiter wachsen — neue Spezialisten für neue wiederkehrende Aufgaben, mehr Kategorien, die sich die volle Autonomie verdienen, und mehr proaktive Vorschläge, statt dass ich immer zuerst fragen muss. Ich werde weiter darüber schreiben, was hier tatsächlich funktioniert — auch über die Teile, die es nicht tun.