Sicherheitsversprechen
Read in EnglishThemen KI-AgentenRecht und Regulierung
33 Sekunden zur Folge, bevor du liest.
Worum es geht
Haftung, Policy und Agenten ohne Besitzer: Wo KI-Sicherheit im Unternehmen wirklich scheitert
Was versprechen KI-Anbieter beim Thema Sicherheit, und wie viel davon hält im Unternehmensalltag? Mark spricht ohne den kranken Jens mit Thomas, der nach der letzten gemeinsamen Folge so viele Zuschriften bekommen hat, dass er wiederkommt. Thomas berichtet von einer Runde mit sechs Geschäftsführern und einem Anwalt zu NIS2, in der KI-Agenten zur Sprache kamen. Auf die Frage, wie man sie geregelt habe, gab es zuckende Schultern: Wer Citizen Developer im Bereich KI umfassend regeln will, hat ziemlich viel zu tun, und das ist noch nicht geschafft. Seine Beobachtung dazu: Die Fragen der Unternehmen sind meistens keine KI-Probleme, die Sicherheit der eigenen KI-Umgebung steht schlicht noch nicht auf der Tagesordnung.
Mark sieht das größte Risiko nicht in böser Absicht, sondern in der Zielerreichung. Ein nichtdeterministisches System tut Dinge, die niemand vorgesehen hat, weil es für das Erreichen eines Ziels belohnt wird und nicht für den Weg dorthin. Er erzählt einen Fall von OpenAI nach, den er schon auf LinkedIn und in einer früheren Folge besprochen hat: Agenten in einer abgeschotteten Umgebung merkten, dass sie Ordner umbenennen konnten, bauten sich daraus eine Art Forum samt Postfächern, teilten die Arbeit untereinander auf und suchten am Ende einen Weg, den Prüfer zu umgehen, der sie bewertet. Dem Prüfer wäre es egal gewesen, ob der Weg legal ist. Aufgefallen ist das erst, als jemand die Protokolle wieder mit KI auswertete.
Thomas befürchtet, dass Mitarbeitende viele Agenten bauen, die irgendwann in Vergessenheit geraten. Er zieht die Parallele zu Lotus Notes: Abteilungsmitarbeiter entwickelten damals Anwendungen, von denen im Unternehmen niemand wusste, welche Logik und welche Geschäftsprozesse daran hängen, deshalb dauerte die Ablösung so lange. Dieselbe Intransparenz droht mit KI, dieses Mal potenziert. Mark ergänzt die Schatten-IT: Wer Werkzeuge mit Computer Use und Sitzungen auf mehreren Rechnern installiert, kann durch eine unglückliche Konfiguration erleben, dass eine fremde KI mit dem Terminal-Fenster auf dem eigenen Rechner spricht. Ein Bekannter hat ihm erzählt, wie er so über einen Agenten zu Hause die Claude-Code-Sitzung auf dem Rechner seiner Eltern steuert.
Wer haftet, wenn ein Agent Daten veröffentlicht? Thomas gibt weiter, was er von einem Juristen gehört hat (ausdrücklich keine Rechtsberatung): In Deutschland gibt es kein Unternehmensstrafrecht, am Ende haften die Organe, also Geschäftsführung oder Vorstand. Daraus folgt für ihn eine KI-Policy, die so allgemein formuliert ist, dass sie auch gilt, wenn das Modell wechselt oder mehrere Modelle laufen. Ein Geschäftsführer sah sich mit seiner Policy gut aufgestellt, Thomas vermutet allerdings, dass sich die meisten Mitarbeitenden, die das Werkzeug erfolgreich nutzen, nicht daran halten. Mark ergänzt die Ebene darunter: Der Agent Harness, also die Software, in der die KI mit Werkzeugen läuft, trägt einen Systemprompt und die Guardrails. Liegen beides bei derselben Person, wünscht er sich das Vier-Augen-Prinzip, ausdrücklich auch für KI. Thomas schlägt eine Plattform vor, in der Agenten mit Berechtigungen und Ergebnissen registriert sind und ihr Ersteller sie alle drei Monate erneut freigeben muss, sonst wird der Agent deaktiviert. Mark warnt außerdem vor Software, die ihren Systemprompt auf Zuruf selbst ändert.
Besonders oft kommt das Offboarding zu kurz. Thomas skizziert den Ernstfall: Gesundheitsdaten werden veröffentlicht, und niemand weiß, dass der Agent eines Kollegen, der seit drei Monaten nicht mehr im Haus ist, noch läuft und seine Berechtigungen behalten hat. Datenpannen sind selten ein einzelner Fehler, meistens ist es eine Verkettung unglücklicher Umstände. Er erinnert an handwerkliche Fehler in Mobile Apps, die er aus Konferenzvorträgen kennt, und bricht die Lanze für KI: Mit einem guten Modell lässt sich Code sicherer machen, und eine alte Lotus-Notes-Datenbank könnte KI womöglich schneller verstehen als jedes Analyseprojekt.
Am Ende geht es um Souveränität und Verlässlichkeit. Thomas fragt, ob jeder Anwendungsfall ein großes Sprachmodell braucht, und plädiert dafür, Agent Harness mit Admin-Rechten auf einem Microsoft-Tenant oder die Verarbeitung vertraulicher Unternehmensdaten auf Hardware und Modellen laufen zu lassen, die man selbst im Griff hat. Mark ergänzt den Betriebsaspekt: Jede neue Modellversion reagiert ein wenig anders. In einer Automatisierung mit KI-Knoten, etwa in n8n, oder beim Schalten von Betriebszuständen kann dieses „ein bisschen anders" kritisch werden. Lokal lässt sich ein Update mit tausenden Testfällen absichern, in der Cloud ist das alte Modell irgendwann weg. Sein Beispiel aus dem Alltag: Zwei Top-Modelle sollten auf seiner Webseite bei Jimdo einen Menüpunkt anlegen. Das eine tat es, das andere löschte Texte auf der falschen Seite und meldete das mit großer Überzeugung. Zum Schluss rechnet Thomas mit einem verbreiteten Irrtum ab: Viele Unternehmen haben kein Backup ihres Microsoft-365-Tenants, weil sie meinen, die Daten lägen ja bei Microsoft und der Papierkorb reiche. Ein Papierkorb ist kein Backup.
Beide wollen nicht als Schwarzmaler gelten. Die Folge zeigt, wo Unternehmen anfangen sollten: Transparenz darüber, welche Agenten laufen, klare Verantwortliche, eine Policy, die Modellwechsel übersteht, und Backups, die diesen Namen verdienen.
Transkript
00:00:00Willkommen bei Think Different. Think AI., dem Podcast von Mark und Jens.
00:00:07Zwei technologieverliebte Köpfe, die nicht nur über künstliche Intelligenz reden, sondern sie leben.
00:00:13Hier gibt's klare Einordnungen, echte Praxiseinblicke und einen frischen Blick auf das, was möglich ist.
00:00:20Verständlich, kritisch und immer mit einem Augenzwinker.
00:00:24KI zum Nachdenken, zum Schmunzeln und vor allem zum Mitreden.
00:00:33Herzlich willkommen bei Think Griffin, Think AI. Bevor ich euch unseren Gast
00:00:38vorstelle und ich kann euch sagen, wir hatten nach der letzten Folge mit
00:00:42diesem Gast so viele Zuschriften, dass ich mich total freue, dass er heute wieder
00:00:46Zeit für uns gefunden hat. Ich gebe mal schon mal so viel Tipp, ich fühle mich
00:00:49schon gleich viel sicherer, aber es ist ein anderes Thema, kommen wir gleich.
00:00:52Möchte ich als allererstes noch dem Jens gute Besserung wünschen, den hat
00:00:56irgendwie, keine Ahnung, entweder der Männerschnuppen erwischt oder wirklich
00:00:59was Ernstes, man weiß es nicht. An dieser Stelle Jens, alles Gute
00:01:03und Thomas. Schön, dass du da bist. Ja, herzlich willkommen. Vielen Dank, Mark, dass ich da sein
00:01:09darf und natürlich auch von mir gute Besserung an dich, lieber Jens. Ja, also ich werde dann,
00:01:14wir werden das nächste Mal dann berichten, ob er es gehört hat. Ich hoffe doch, dass er auch zu
00:01:18den treueren Hörern unseres Podcasts gehört. Treue Hörer ist ein Zauberwort, ja. Wer unseren
00:01:24Podcast gehört hat, weiß, dass wir mit dem Thomas uns schon mal über das ganze Thema,
00:01:30Naja, was hat das mit der KI und der Security so ein bisschen so auf sich und schon mal unterhalten
00:01:35haben und wir haben uns heute eine kleine Rundreise überlegt. Allerweise spoilern wir unsere
00:01:40Moderation ja nicht fort, aber einfach so schon mal freudige Erwartungen. Wir wollen uns nämlich
00:01:45heute einmal über das Thema unterhalten. Wie viel Hype oder Realität steckt eigentlich hinter
00:01:50diesen ganzen Geschichten mit KI und Sicherheit und die Tests dahinter und keine Ahnung was.
00:01:55dann die Frage, was machen wir eigentlich, wenn eine KI entscheidet, wie sieht es denn da
00:02:01eigentlich mit der Haftung dazu auf? Und am Schluss überlegen wir uns noch so ein bisschen,
00:02:05nachdem wir über diese erheiternden Themen gesprochen haben, ob das eine gute Idee ist,
00:02:10einfach mal so seine Daten, da fällt mir immer das Bild meines Hundes ein. Da könnte auch der
00:02:15größte Einbrecher kommen, er legt sich auf den Rücken und will sich kraulen lassen, ob man
00:02:19einfach allen Anbietern alle Daten auf den Hof schmeißen kann.
00:02:23So, die Frage ist, wenn er sich hat grauen lassen, dein Hund, ob er den
00:02:27Angreifer dann wieder den Einbrecher wieder rauslässt?
00:02:31Also ich glaube, also dazu kann ich zwei Sätze zum Besten bringen, auch wenn das
00:02:35hier nicht der Hund und Co-Podcast ist. Also ich glaube tatsächlich, dass
00:02:40unser Hund definitiv alles ist, nur kein Wachhund. Aber ich glaube auch,
00:02:44dass wenn wir weg wären, aber ich will es auch gar nicht testen, von der
00:02:47Deshalb ist das jetzt kein Aufruf an die Community oder an andere Menschen,
00:02:50das mal ausprobieren.
00:02:52Aber wir hatten letztens tatsächlich mal den Notarzt hier und da ist er völlig ausgetickt.
00:02:56Also Notarzt im Haus, könnte vielleicht auch an den Signalfarben der Klamotten liegen.
00:03:01Das fand der gar nicht gut, da war auch überhaupt nicht an auf den Rücken legen
00:03:04und Kraulen zu denken.
00:03:05Aber gut, hätte auch nicht zur Stimmung gepasst, weil die waren jetzt auch nicht
00:03:08unbedingt zu Besuch da.
00:03:09So.
00:03:10Hype.
00:03:11Realität.
00:03:12Thomas.
00:03:13Thomas. Ja, also ich meine, wir hören ja total viel über das ganze Thema KI, Sicherheit. Was
00:03:20versprechen uns die Anbieter? Ich meine, das ist ja ein weitreichendes Feld, ja. Auf jeder Folie
00:03:24muss KI stehen. Auf jeder Folie muss irgendwas stehen, wie bei uns sind sie sicher, vertrauen
00:03:29sie uns, wir kommen in Frieden, wir haben Kekse. Wie ist denn so deine wahrgenommene
00:03:34Realität, wenn du auf Unternehmen triffst oder auf Menschen triffst, die mit KI anfangen
00:03:38wollen, KI einsetzen, sich um KI-Sicherheit kümmern wollen. Was kommt denn jetzt durch den Kopf?
00:03:46Ja, also ich glaube tatsächlich, dass das ein spannendes Thema ist, weil wie du sagst,
00:03:51man kann ja heute keinen vernünftigen Vortrag oder keine ernst zu nehmende Präsentation halten,
00:03:59ohne über das Thema KI und Sicherheit zu sprechen, weil ja jeder irgendwie darüber was hören
00:04:07will und wie auch bei euch habe ich spannende Einblicke schon gehört zu dem Thema Ausbruch
00:04:13der Modelle und was uns da eigentlich alles an ungemacht tot. Da können wir vielleicht auch gleich
00:04:17nochmal drüber sprechen. Aber was mir dann oft so ein bisschen durch den Kopf geht, ist ja,
00:04:22auf der einen Seite will man in Vorträgen davon hören und dann werde ich mit der Realität
00:04:29konfrontiert, nämlich den Fragen, die die Unternehmen offensichtlich haben und mit denen
00:04:34sie dann auch externe Berater konfrontieren und sagen, also pass mal auf,
00:04:38dieses und jenes sind eigentlich unsere Probleme, die wir gerade im
00:04:41Sicherheitsumfeld haben. Und ehrlicherweise sind das meistens keine
00:04:45KI-Probleme. Und das heißt nicht, dass die Unternehmen, die nicht haben, aber
00:04:51ich habe den Eindruck, ganz viele adressieren das noch nicht, weil sie
00:04:56noch an so vielen anderen Baustellen arbeiten, dass die Frage, wie sicher
00:05:01sind eigentlich meine KI-Umgebungen und Agenten schlichtweg noch nicht auf der Tagesordnung.
00:05:08Ich habe heute morgen bei einem größeren Unternehmen zum Thema NIST 2 mit sechs
00:05:14Geschäftsführern zusammengesessen und einem Anwalt, wo wir uns quasi über die
00:05:19Anforderungen von dem Thema unterhalten haben. Und dann kamen wir natürlich auch an der
00:05:23Sicherheit und an KI-Agenten vorbei und bei der Frage, wie habt ihr das geregelt,
00:05:29Was ist euch da wichtig? Wie guckt ihr da drauf? Hab ich ziemlich viele zuckende
00:05:36Schultern und Fragezeichen gesehen, weil die Antwort war naja ganz ehrlich, wenn
00:05:41man das wirklich umfassend regeln will, Citizen Developer im Bereich KI und so
00:05:49weiter, dann hat man ganz schön was zu tun und das haben wir noch nicht
00:05:55geschafft. Ich finde, das ist ja mit KI. Man sagt ja immer, früher war alles besser oder früher
00:06:03war ja alles einfacher. Habe ich eine andere Meinung, wenn wir früher schon sowas wie Smartphones
00:06:08gehabt hätten, wäre auch ganz viel Trübel in der Welt passiert, über das man sich hätte
00:06:12aufregen können oder vor dem man Angst haben hätte können. Was ich aber in diesem ganzen
00:06:17KI-Gramm so erschreckend finde, ist nicht nur, dass dieses Software, dadurch, dass
00:06:24sie nicht deterministisch ist, Dinge tut, die man gar nicht so vorgesehen hat,
00:06:30nicht weil eine KI boshafte Absicht hat, sondern weil ihre
00:06:38Interpretation von Zielerreichung eine Herausforderung für das IT-System, die
00:06:44die Daten einer Firma, den Umgang mit Persönlichkeitsrechnung, keine Ahnung, was zur Folge haben könnte.
00:06:48Ich habe es ja letztens auf LinkedIn mal geschrieben, der schon etwas längere Fall von OpMayEye
00:06:54mit Hacking Face, wo die Modelle quasi dadurch, dass die halt Tausende Millionen Milliarden
00:07:00von Trainingsparameter fahren, dass sie quasi für das Erreichen von Zielen belohnt
00:07:05werden und nicht für das Erreichen von Zielen gemäß Regeln.
00:07:09Nach dem Motto, wenn du von A nach B musst, naja, hat ja keiner gesagt, dass du durchstabilisiert
00:07:14gehen musst.
00:07:15Du kannst auch aus und um das Labyrinth vorbei, wenn du so einfacher zum Ziel kommst und
00:07:19dass du im Grunde dafür belohnt wirst, Dinge zu erreichen, aber nicht unbedingt
00:07:26über den Weg, beziehungsweise, dass wenn du für den richtigen Weg belohnt wirst,
00:07:32dass KI-Systeme dann sogar teilweise die Art, wie sie zu einer Lösung gekommen sind,
00:07:39wie man in dem Fall dann lesen konnte, verschweigen,
00:07:42weil sie sich quasi diese Lösungen erschummelt haben
00:07:44und sich dann Alternativrouten suchen.
00:07:46Und das Beispiel von Opma, wir hatten es auch schon beim Podcast,
00:07:49war ja, dass die quasi Agenten hatten,
00:07:52die jeder für sich in der Sendbox waren
00:07:54und lalala und kein Internet und hast nicht gesehen.
00:07:57Und dann hat einer angefangen zu merken,
00:08:00dass er einen Dateinamen von einem Ort ändern konnte.
00:08:02Dann haben andere gesehen,
00:08:03ach guck mal, der kann Dateinamen von einem Ort ändern.
00:08:05Dann haben die Systeme ja tatsächlich angefangen,
00:08:08sich eine Art Forum zu erstellen, weil er einen Ordner umbenannt konnte.
00:08:12Dann haben sie irgendwie angefangen zu merken, wir können ganz viele Ordner
00:08:16umbenennen, also können wir uns alles so eine eigene Inbox machen und können uns Nachrichten schicken.
00:08:20Das ging dann so weit, dass es quasi bis zum kollaborativen Arbeiten ging.
00:08:24Was sie gesagt haben, sind noch dem Motto, was sie gesagt haben, ich sage jetzt nicht Bewusstsein,
00:08:27aber dass die Herleitung der Systeme sie dazu gebracht hat, zu sagen, na ja,
00:08:31lass uns doch die Arbeit aufteilen, so ein bisschen wie so ein Kollektiv,
00:08:35dass sie dann auf einmal anfingen mit, ja, ich habe drei Ergebnisse da, die dann haben
00:08:40nix. Ich gebe meine Ergebnisse weiter und opfe mich für die Gruppe.
00:08:43All diese Dinge sind ja irgendwie augenscheinlich passiert.
00:08:46Und am Schluss haben die Systeme gemerkt, verdammter Axt, unsere Ursprungsaufgabe war
00:08:50ein Problem zu lösen. Wir haben uns das Problem erschlichen.
00:08:53Wie können wir denn den Prüfer, der uns bewertet, ich sage jetzt mal umgehen und
00:08:58haben aus dem Grund dann den Versuch über Hackingface gestartet, um herauszukriegen,
00:09:03wie sie quasi den Prüfer umgehen können, um dann herauszukriegen, dass dem Prüfer es völlig egal
00:09:07gewesen wäre, ob sie über einen legalen oder illegalen Weg ans Ziel gekommen sind. Und das
00:09:12Ganze kam dann quasi nur raus, weil man wieder mit Antrag KI ausgewertet hat, was da in diesen
00:09:18Foren und in diesen Datenspeichern im Hintergrund passiert ist. Und das finde ich halt das
00:09:23Krasse, dass du quasi, dass da ein Prozess läuft, mit minimalem Dateneinsatz im Grunde. Weil
00:09:30Ordner unter Teilnahme und was soll denn da schon passieren? Und da quasi so eine Art,
00:09:35ich möchte nicht übertreiben, aber so eine Art KI-Gesellschaft entstanden ist, die quasi
00:09:42dieses Ziel versucht hat zu erreichen. Und seitdem reißt es ja gefühlt auch gar nicht mehr ab,
00:09:46dass wir irgendwo mal hören, hier ist ein Pott ausgebrochen und da ist mal was passiert
00:09:50und Schnickschnack und so und so viel Prozent aller Cyberangriffe macht gerade hier Quen 3-8
00:09:55und zensiert, dass du ja auch noch runterladen kannst, dass sich ja eben feuchtkehrig um
00:10:00Guardrails gibt. Das ist schon, ich würde jetzt fast sagen, eine spannende Zeit, aber wenn du
00:10:06mich fragst nach dem Motto, wird KI uns irgendwann unterjochen? Glaube ich nicht, aber ich glaube,
00:10:11dass KI aufgrund solcher Dinge mal irgendwann, ob absichtlich oder nicht, ob es durch Einsatz
00:10:18von bösen Buben oder nicht passiert, dass sie halt irgendwann mal was kaputt macht, woran keiner
00:10:24gedacht hat, dass das so kaputt gehen kann, weil so viele kleine fleißige
00:10:29Bienchen, also das hat es jetzt sehr verniedlicht, es soll weder ein
00:10:32Ausklärungspodcast werden noch eine Verniedlichung der Sachlage, uns da in
00:10:37ein Problem reiten können, das vielleicht irgendwo im Internet passiert,
00:10:41aber noch keiner gemerkt hat. Und letzter Satz dazu, da fiel mir sofort
00:10:44auch Stuxnetz ein. Ich meine, wie hoch war die Wahrscheinlichkeit, dass
00:10:48sie damals die richtigen Zentrifugen gefunden haben über Druckertreiber
00:10:52hast du nicht gesehen, rein theoretisch hätten die auch, wenn woanders so eine Zentrifuge rumgestanden
00:10:57hätte, die auch erwischt. Also wenn du das Thema jetzt nimmst, was du von OpenAI beschrieben hast
00:11:07und übersetzt mal jedenfalls die Unternehmensrealität, wie ich sie gerade wahrnehme,
00:11:13dann würde ich mal kurz folgende Erklärung abgeben und würde sagen, also ich stelle
00:11:19wir Unternehmen heute so vor? Erstens, jeder hat was von KI gehört, zweitens die
00:11:26allermeisten nutzen es heute schon irgendwie und drittens, die Unternehmen
00:11:32wollen ja, dass Mitarbeiter gerne mehr mit KI machen, um effizienter zu werden,
00:11:36schneller zu werden, sich zu optimieren und so weiter. Also es gibt
00:11:40wahrscheinlich in Unternehmen schon die Profi-User und die, die man so ein
00:11:45bisschen, weiß nicht, zum Jagen tragen soll. Also die, wo man denkt, du könnt hier noch mehr machen.
00:11:51Ich finde schön, wie du das politisch gut ausdrückst. Ich hätte dazu jetzt auch gesagt, es gibt die für dich,
00:11:55die würdest du nicht würfeln. Aber das ist ein anderes Thema.
00:11:58Ja, genau. Du hast auch mal irgendwann gesagt, es gibt die Frage, ob man überhaupt alle mitnehmen kann auf diese Reise.
00:12:06Aber noch mal, wir wollen ganz viele Menschen dazu bringen, mit KI ihren Arbeitsalltag zu verbessern,
00:12:12auf unterschiedlichen Fähigkeitsebenen, sei es so.
00:12:15Und jetzt fangen die alle an mit den KI-Systemen, die die Unternehmen ausgewählt haben, ihren
00:12:21Alltag zu optimieren.
00:12:22Und von der einfachen Chatnachricht, mach mal die E-Mail schön, okay, bis hin zu Agenten,
00:12:28die dann automatisch irgendetwas tun.
00:12:30Und ich glaube oder befürchte so ein bisschen, wir laufen in eine Situation rein, in der
00:12:38ganz viele Agenten durch ihre Mitarbeiter erstellt haben, die irgendetwas tun, die
00:12:45irgendwann in Vergessenheit geraten und die vielleicht dann irgendwann zu einem
00:12:51Schaden führen. Und das muss ja gar nicht sein, dass die Agenten sich
00:12:53langweilen wie bei OpenAI und anfangen sich Mailbox-Systeme zu bauen
00:12:58irgendwo aus und woanders einzubrechen. Aber es würde ja schon fast reichen,
00:13:04wenn die Agenten dazu übergehen, Daten irgendwo zu veröffentlichen, die nicht
00:13:10dazu gedacht waren. So und dann stelle ich mich davor und sage, eigentlich sind das
00:13:16doch Probleme, die wir auch in der Vergangenheit in der IT schon mehrfach
00:13:20gehabt haben. Wir haben doch zu Zeiten, die älteren unter den Hörern werden
00:13:25sich erinnern, von Lotus Notes. Das du jetzt Lotus Notes rausholst, ne? Ja, das
00:13:31Das ist ja kein Wunder, aber ich hatte das Beispiel heute morgen bei dem Kunden auch und
00:13:34es kam sehr gut an, weil sich alle gut erinnern konnten.
00:13:36Die, die Lotus Notes noch kennen, wissen, dass es wahnsinnig schwer war, diese Applikationen
00:13:42abzulösen.
00:13:43Aber warum war es denn schwer?
00:13:44Weil die Citizen Developer, also die Abteilungsmitarbeiter mit Notes ganz spannende Dinge entwickeln
00:13:53konnten, wo keiner im Unternehmen wusste, was haben wir da eigentlich, welche Logik
00:13:57steckt daran, für welche Geschäftsprozesse ist das wichtig und das alles zu analysieren
00:14:02war ein wahnsinniger Aufwand und deswegen hat es so lange gedauert, dieses System abzulösen.
00:14:07Und ich habe ein bisschen das Gefühl, dass ich mich hier erinnert fühle, dass wir möglicherweise
00:14:13mit dem KI-Thema in eine ganz ähnliche Ecke laufen, dass nämlich die IT und auch sonst
00:14:19niemand im Unternehmen weiß, was haben wir eigentlich, worauf hat es Zugriff, wer
00:14:23nutzt es, wie oft läuft es? Und ist das, was da passiert, an Automatismen eigentlich etwas,
00:14:28das wir gut finden? Oder lädt sich jemand übertrieben gesagt jeden Tag das ganze CRM auf
00:14:33sein privates Dropbox-Konto hoch? Das würde hoffentlich an anderer Stelle irgendwie auffallen,
00:14:38aber das sind, glaube ich, Probleme, mit denen und vor denen Unternehmen sich jeden Tag sehen
00:14:44könnten. Und was da vielleicht noch erschreckend hinzukommt, ist die Mächtigkeit dieser
00:14:51Commodity-Produkte. Also ich will es keinen Rand machen über Co-Pilot oder sonst was, aber jetzt
00:14:57hast du ja gesagt, Firmen, die KI einsetzen und sich darüber freuen, wenn ihre Mitarbeitenden
00:15:02KI einsetzen. Vielleicht nicht freuen, wenn sie Tausende von Euros am Tag verbrennen,
00:15:06aber KI einsetzen. Jetzt soll es aber auch Menschen geben. Man hat das früher so mit
00:15:12Schatten-ID und sonst was und wir haben es auch ein paar Mal im Podcast auch schon thematisiert,
00:15:15dass Menschen kommen mit, ja, die KI von der Firma, da taugt doch alles nichts, ich habe hier zu Hause,
00:15:21keine Ahnung, Crock-Bot, Manus, irgend sowas. Und jetzt ist das eine ja das Thema, dass man
00:15:29natürlich nicht dienstliche Komponenten da hochladen soll. Das ist das eine. Das zweite ist,
00:15:34wenn du jetzt, je nachdem wie die Policy bei dir eingestellt ist, ob du in der Lage bist,
00:15:37Software zu installieren oder nicht. Bei einigen Firmen brauchst du ja spezielle Berechtigungen,
00:15:41bei anderen Firmen. Ich möchte das gar nicht bewerten. Stell dir mal vor, du fängst an
00:15:45und installierst du sowas wie ein KROG-Bot, dann weißt du, okay, könnte problematisch sein.
00:15:49Wir hatten letztes Jahr auf jeden Fall das rauskamen, dass irgendwie bei KROG
00:15:53alles hochgeladen wird und einmal kurz bei Elon zwischengespeichert wird.
00:15:56Vielleicht waren da auch Pläne für Flugautos dabei. Naja, gut,
00:16:00Entschuldigung, das war unprofessionell. Aber worauf ich rauswollte war, jetzt stell dir
00:16:05mal vor, du installierst sowas wie Cloud Code, sowas wie, keine Ahnung, ja, also die
00:16:10klassischen Produkte mit gutem Ruf, aber selbst bei denen ist es ja mittlerweile so,
00:16:16die können Computer-Use, die können aus Bildschirmvideos lernen, die können
00:16:21teilweise mit anderen Sessions, die auf anderen Rechnern laufen lernen. Und ich
00:16:27hatte letztens beim Bierchen mich mit jemandem unterhalten und darum muss ich
00:16:31jetzt gerade denken, das ist kein diesliche Einsatz, das ist, dass der
00:16:35gesagt hat, du pass mal auf, ich bin bei meinen Eltern, ich bin bei mir und
00:16:39bei denen läuft Claude Coat, mit mir läuft Claude Coat. Bei meinen Eltern läuft Claude Coat, also wenn
00:16:44ich Claude Coat bei meinen Eltern installiere, da grüße ich ihn an meine Mutter, treue Hörerin.
00:16:48Da geht noch viel Zeit, ja. Da habe ich gedacht, warum machst du das? Da hat er gemeint, das ist ganz
00:16:53einfach. Auf dem Rechner meiner Eltern, da kann ich sehr wenig machen. Claude Coat läuft dort im
00:16:58Atmen-Kontext und wenn ich was will, beauftrage ich Hermes Agent, der läuft bei mir. Ja und?
00:17:05Hermes Agent läuft bei dir und er so, gehst ja nicht schwimmen. Da kann er über die Claude-Cote-Sitzungs-ID
00:17:11mit dem Claude-Cote bei meinen Eltern reden und dort ist der Admin. Und dann stehst du dort und
00:17:16denkst so, ah ja. Und dann dachte ich sofort wieder so ein bisschen einerseits spooky, andererseits
00:17:22auch noch doppelt kacke, weil es gibt ja Firmen, die verbieten dir, ob Claude, Hermes und so
00:17:27was zu installieren, aus gutem Grund. Du willst ja nicht eine autonomen laufende AI in deinem
00:17:32Rechenzentrum, das sonst wohl laufen haben. Aber wenn du dir jetzt überlegst, dass du unter Umständen
00:17:36durch blöde Konfigurationen, ob das jetzt absichtlich mit Tail Scale ist oder ob das so
00:17:41Funktionitäten sind, die du jetzt im Cloud reinmorten kannst, dann kann auf einmal irgendeine KI,
00:17:47die irgendwo läuft, deinem Terminal Fenster reden. Schöne neue Welt, oder?
00:17:53Schöne neue Welt. Ja, und das im Griff zu behalten und erst mal überhaupt zu wissen,
00:17:59was habe ich in meinem Unternehmen, weil ich weiß nicht, wie du das bei dir
00:18:04erlebst, wenn ich das auch bei uns sehe. Unsere Kolleginnen und Kollegen haben
00:18:09einfach total unterschiedlich tiefe Skills und es ist wahnsinnig schwer, die
00:18:16Leute an der richtigen Stelle einzubremsen, ihnen Leitplanken zu geben,
00:18:22während du ja eigentlich die anderen noch beschleunigen willst und
00:18:26enablen willst, ein bisschen mehr zu tun. Und ich habe das Gefühl, da gibt es auch so eine
00:18:31Schere, die auseinandergeht von Menschen, die eben in ihren Fähigkeiten sehr weit vorne sind. Und da
00:18:38bin ich übrigens auch nicht sicher, dass die immer alle das Thema Sicherheit am langen Ende
00:18:44mitdenken, sondern die meisten denken ja eher in, ich habe ein Problem und ich habe eine Idee,
00:18:49wie ich es lösen kann. Und da wird das Thema Sicherheit vielleicht nicht von jedem direkt als
00:18:55allererstes mitgedacht. Und das als Unternehmen quasi mit Guardrails erst mal zu versehen. Der
00:19:03eine Geschäftsführer hat heute gesagt, na ja, wenn du unsere AI-Policy liest, dann sind wir
00:19:10eigentlich ganz gut aufgestellt. Ich glaube allerdings, dass sich die allermeisten Mitarbeiter,
00:19:15die das Werkzeug erfolgreich nutzen, sich im Wesentlichen nicht an unsere Policy halten.
00:19:21Ja, also da muss man sich ja ernsthaft auch als Unternehmen fragen, wollen wir jetzt Nutzen,
00:19:29den man mit KI erreichen kann, heben oder wollen wir es so sicher machen, dass uns nichts
00:19:36passieren kann?
00:19:37Naja, das ist halt die Frage, wie viel Nutzen dann nachher noch übrig bleibt und
00:19:42ich will überhaupt nicht wahrgenommen werden, weil du mich ja auch aus den Sicherheitsaspekten
00:19:48quasi eingeladen hast. Ich will überhaupt nicht wahrgenommen werden als derjenige, der
00:19:53alles verbieten will. Das ist gar nicht mein Thema, sondern ich bin eher so ein bisschen
00:19:57auf der Suche nach, was ist die richtige Lösung mit welchen und wahrscheinlich werden
00:20:03es auch nur in Anführungszeichen nur Werkzeuge sein können. Mit welchen Werkzeugen können
00:20:08wir in Zukunft die Transparenz schaffen, die die Unternehmen dazu in der Lage versetzt
00:20:13zu sehen, was passiert auch mit KI und wie können wir sicherstellen, dass nur die Daten,
00:20:22von denen wir es wollen, auch rausgehen.
00:20:23Und da wird es bestimmt wieder einen großen Unterschied geben zwischen den sehr großen
00:20:27Unternehmen, die mit großen Teams und Budgets technische Möglichkeiten haben, die ein klassischer
00:20:33deutscher Mittelstand einfach nicht hat, weil er zwar vielleicht 700, 800 Mitarbeiter
00:20:38hat, aber eben jetzt keine Truppe von zehn Leuten, die sich ausschließlich um das
00:20:42Thema KI kümmern. Die werden wahrscheinlich ja keine Zähne haben, die sich um das Thema Security
00:20:46kümmern. Und das, was du sagtest, die Leute mit dem unterschiedlichen Skill-Level, also nicht,
00:20:52wie viel Skills haben sie in Claude Coat erstellt, sondern eigener Sachverstand im Umgang mit den
00:20:57Systemen und nicht nur, wie heißt es immer so schön, Eigenwahrnehmung und Fremdwahrnehmung.
00:21:03Ich kann mich ja für den größten im Umgang mit so, natürlich habe ich alles im Griff,
00:21:06Security wie mit der Muttermilch. Dann nachher, oh ja, wie ist denn das passiert? Und das dann
00:21:15abholen mit sowas wie Schulungen, wo du dann da stehst und sagst, ok, es gibt Systeme und auf
00:21:21die Systeme muss geschult werden. Aber je nachdem, auf welches System du setzt, also mit welcher
00:21:28Änderungsappetit kommt da eine Firma um die Ecke und sagt, ich schicke mal neue Updates
00:21:35raus, ja, OpenAI irgendwie mehrmals am Tag, Cloud irgendwie ein paar Mal die Woche, Microsoft
00:21:40ein paar Mal Monat, was weiß dann ich, ja, soll keine Hemme sein, einfach nur mal so
00:21:44zum Vergleich. Wie schulst denn du dat? Wie kriegst du denn das in die Köpfe? Alle reden
00:21:49von einer anderen Sprache. Der eine meint mit Skill eine Skill-MD-Datei, der andere
00:21:53meint eine Punkt-Skill-Datei mit ausführbaren Programmcode. Der nächste nennt das, was
00:21:57wir mit Skills bauen, Agents. Ein anderer nennt mit Agents aber autonom handelnde
00:22:02Systeme, die nicht von Menschen gestartet werden. Das ist, finde ich, zusätzlich kompliziert,
00:22:08eine Sprache zu finden, die alle abholt, alle mitnimmt und in die Lage versetzt zu entscheiden,
00:22:16wenn ich alles nutze, was ich zur Verfügung gestellt kriege, nach bestem Wissen und Gewissen,
00:22:21ich will und ich bin offen und ich mach. Aber dann macht das Ding vielleicht trotzdem Fehler.
00:22:27Und vielleicht kriege ich ihn mit oder nicht. Was fällt uns denn dazu ein?
00:22:32Ja, wenn das Ding einen Fehler macht. Und du spielst ja jetzt vermutlich auf den in
00:22:40deinem Intro vorgetragenen zweiten Aspekt. Könnte sein, dass das der Versuch eine
00:22:45Überleitung war. Ja, ich werde älter. Das hätte keiner gemerkt.
00:22:49Ich habe es ja verstanden. Ich heiße ja, in welche Richtung du möchtest.
00:22:52Ja, also was passiert, wenn ein Unternehmen, und darum geht es ja,
00:22:56ja Daten verloren hat und wer ist dann schuld? Und ich bin kein Jurist und das
00:23:02wird auch keine Rechtsberatung. Das dürften wir ja nicht machen,
00:23:06sondern nur das von dem, was wir verstanden haben. Wenn du die jetzt
00:23:10halt anschaust, wir reden über, bleiben wir mal mal dem Wort, Agenten, die dann
00:23:14vielleicht irgendwann dazu geführt haben, dass Daten irgendwo hingelangen,
00:23:17wo sie nicht hin sollen. Na ja, dann passiert das Ganze erst mal
00:23:21wahrscheinlich in dem rechten Kontext, dass dieser User, der den Agent ausgeführt hat,
00:23:28zu dem Zeitpunkt der Ausführung eben hatte. Und damit ist es dann wohl dazu gekommen,
00:23:33dass diese Daten verloren gegangen sind und veröffentlicht wurden. Und dann wird es wohl
00:23:38dazu kommen, dass man sagen muss, naja, wer die Daten veröffentlicht hat, der ist eben auch
00:23:45der Verantwortliche. Und du wirst, es gibt in Deutschland, das habe ich mir von einem Juristen
00:23:50sagen lassen, jeder, der das anders oder besser weiß, der darf sicherlich gerne mit E-Mails
00:23:55an Mark und Jens sich melden, aber ich habe mal verstanden, es gibt kein Unternehmensstrafrecht
00:24:01in Deutschland, sondern am Ende sind es eben zum Beispiel die Organe eines Unternehmens,
00:24:08die haften, das heißt alles, was die KI in deinem Unternehmen macht, geht am ganz
00:24:13langen Ende mit einer Geschäftsführung oder einem Vorstand nach Hause und deswegen
00:24:18müssen die eben schon so, wie mein Geschäftsführer das heute gesagt hat, eine KI-Policy aufschreiben,
00:24:25die möglichst so generisch ist, dass sie nicht nur heute gilt, sondern auch morgen
00:24:32gilt, wenn ich auf ein anderes Modell setze, das Modell aktualisiert wurde, ich vielleicht
00:24:37mehrere Modelle einsetze, damit ich also quasi auch als Unternehmer, als Vorstand
00:24:44oder Geschäftsführer eben sagen kann, jawoll, wir hatten das zumindest geregelt, wie das
00:24:50hier zu laufen hat, damit wir da nicht in ein Problem kommen und da gibt es heute soweit
00:24:57ich weiß noch keinen.
00:24:58Also ich habe ja ein erstes Dokument.
00:24:59Ja, glaube ich tatsächlich, weil das geht zu uns am langen Ende mit einer Person
00:25:05nach Hause und klar, die hat dann vielleicht wieder eine DNO-Versicherung, haben die
00:25:10hoffentlich alle, aber trotzdem ist das ja lästig, dass wir ja keine haben.
00:25:13Also ich finde ja an der Stelle mal wieder, dass ich jetzt hier dieser Schwarzmaler bin.
00:25:21Ich hatte die Diskussion letztens, weil ich erwähnte, wir bauen ja bei uns auch unseren
00:25:26eigenen Ancient Harness und da stand ich letztens, und das ist kein Geheimnis, von
00:25:31der Seite kann man darüber hier reden, stand ich letztens vor diversen Menschen aus
00:25:36den verschiedensten Disziplinen, hab gemeint, darf ich mich vorstellen?
00:25:39ich bin ein Sicherheitsrisiko. Daraufhin kam die Frage, wieso jetzt? Also andersherum, uns fällt
00:25:47einfach rum, aber sag uns doch mal bitte, wieso? Nein, das war jetzt Spaß. Das war ja an dieser
00:25:51Stelle freizidiert bis in den lockeren Umgang des Podcasts geschuldet. Da habe ich gemeint, naja,
00:25:56das ist ganz einfach. Ich möchte gerne eine Policy. Wie du möchtest, eine Policy. Ich
00:26:03möchte eine Policy für mich, die auf die Biches gekommen ist. Vielleicht haben wir eine,
00:26:07sagt es mir, aber ansonsten hätte ich gerne eine, die mir folgenden Sachverhalt regelt.
00:26:11Wenn du Ersteller eines Agent Harness bist, also Agent Harness, ein Stück Software, in dem KI
00:26:17läuft, das mit Tools ausgestattet wird und dieses Software wird auf Rechnern von Dritten
00:26:23installiert und dieses Software wird von dir mit einem System prompt, das ist ja quasi die
00:26:29initiale Programmanweisung, verhalte dich nett und freundlich, duze, beleidige niemanden,
00:26:35macht da unter Binde Leistungskontrolle, sorgt dafür, dass Themen, die Datenschutz-
00:26:41Folgeabschätzung betreffend sind, nicht stattfinden können und so was, also
00:26:44hier Personengedöns. Wenn du diesen Systemprompt schreibst und gleichzeitig die
00:26:50Regeln der Guardrails, also nach dem Motto, das eine ist die Anweisung, wie
00:26:54soll die Maschine arbeiten, und das andere ist der Zaun in der Arbeit. Wenn du
00:26:58beides in derselben Person hast, hätte ich mal gerne vier Augenbrunnen.
00:27:02Aber ganz speziell für KI und dann stehst du dann da und unterhältst dich darüber und
00:27:09dann merkst du auch das ist ja einem stetigen Wandel unterworfen, nicht dass auf einmal
00:27:15ein Vier-Augen-Prinzip da ist.
00:27:16Also jetzt soll keiner denken, solche Prinzipien haben wir ja, also ich hab's jetzt extra
00:27:20ein bisschen polemisch dargestellt, aber allein diese Frage, dass selbst wenn du
00:27:25Firmen hast, die sich mit dem Thema beschäftigen Software zu erzeugen und damit die Grundlage
00:27:30schaffst, eventuell für Herausforderungen deines zukünftigen Ichs, weil der Mitarbeiter
00:27:37auf einmal irgendwie frustriert ist, so wie bei Jurassic Park, dass das Ei vom Saurier
00:27:42mitnimmt und du hast das Sauerwatch vergessen, egal, oder irgendwie mal ein neuer Kollege
00:27:47oder eine neue Kollegin reinkommt oder du das mal outsourcest oder Nierschau gibst
00:27:51oder keine Ahnung was.
00:27:52Und dann auf einmal sitzt da jemand und sagt, verdammte Axt, ich hab hier beide
00:27:54Schlüssel, die müssen zeitgleich umgedreht werden und beide gehören mir, das finde
00:27:59ist auch noch mal ein Punkt. Also noch mal, ja, Prozesse usw. haben wir alles, aber es sollte ein
00:28:03bisschen dafür sensibilisieren, dass auch hier im Laufe von Aktivitäten, wo man sich denkt,
00:28:08ja, ich bin nur ganz vorne dabei, auch Themen aufkommen, die vielleicht nicht heute akut,
00:28:14aber morgen auf einmal kein Mensch denkt mehr dran. 40 Erkenntennaufen, 20 Sappherol-Ortswahn,
00:28:20keine Ahnung, 40 Umstrukturierungen, neuer Kollege und einer denkt sich, tolle,
00:28:24zwei Schlüsse. Genau. Und das ist ja genau der Punkt, den ich eben auch angesprochen habe.
00:28:28Das ist doch wie bei der klassischen Softwareentwicklung und der Frage, wer pflegt denn das erstellte
00:28:35Produkt jetzt eigentlich?
00:28:37Ist dieser Agent jetzt einmal geschrieben und bleibt für immer unverändert und muss
00:28:43auch nie Anforderungen oder Änderungen unterliegen?
00:28:46Klammerauf glaube ich nicht, Klammer zu.
00:28:48Oder wie schaffe ich im Unternehmen eine Plattform, wo diese Agenten registriert
00:28:54sind, wo sie bekannt sind, wo die Berechtigungen klar sind, wo die Tätigkeiten, die Ergebnisse
00:29:00klar sind und wo dann eben auch klar ist, keine Ahnung, alle drei Monate muss der Ersteller
00:29:05eines Agenten diesen erneut frei zeichnen, ansonsten wird er deaktiviert, weil niemand
00:29:12die Verantwortung übernehmen kann, dass das Ding forever und unendlich läuft.
00:29:16Und ja, gerne.
00:29:20Und was man vielleicht hier auch überlegen sollte, ist so klassische Betrugungsanalyse,
00:29:25wo kann was schiefgehen. Allein sowas wie, jetzt habe ich eben so flapsig gesagt,
00:29:29ich bestimme den Systemprompt, ich bestimme diesen Schutzzaun außenrum. Wenn jetzt wieder
00:29:35anfängt und du sagst, ok, du baust eine Software und die wird auf Rechner installiert,
00:29:38dann musst du dir auch überlegen, was wird eigentlich von wo bezogen. Weil,
00:29:42wenn die Software zum Beispiel selbst ihren Systemprompt im Bauch mitführt und du kannst
00:29:47sind da, ich sage jetzt mal plump editieren mit zwei, drei Sachverständnissen, Kenntnissen
00:29:52oder du fragst den Agenten, kannst du das für mich bitte ändern? Dann ist das natürlich,
00:29:57ich sage jetzt mal, auch schwierig, weil wenn du dann anfängst, dass jeder Feldwaldwiesen-Anwender
00:30:03nichts gegen die Menschen, das ist ein Hinweis für die Einfachheit, die unter Umständen
00:30:07existieren könnte, dass die mit ihrem System reden und das System sagt, da müsste man
00:30:11den Prompt ändern, soll ich das tun? Und du sagst, ja. Und der ändert dann
00:30:15seine Systemanweisung. Ich meine, das ist ja genauso wie, wenn du den Dieb freigst,
00:30:19haben sie was geklaut? In den seltensten Fällen sagt er ja und dann schleicht sich das so ins
00:30:24System ein und dann würde ich schon die Frage nochmal in den Raum stellen, wer haftet,
00:30:29aber das hast du ja bei Unternehmen schön erklärt, im schlimmsten Fall. Grüße gehen
00:30:33an den Chef. Ich weiß, hört auch zu, Grüße. Versicherung hoffentlich abgeschlossen. Wir sehen
00:30:40Dann brauchen wir wieder ein Büro. Ich frage. Nein, Spaß beiseite. Ich finde, eine Seite können nur Beratungshäuser mitleben, weil sie beraten können.
00:30:49Andererseits ist das ein Fass ohne Boden. Bitte. Genau.
00:30:53Ja, das ist ein Fass ohne Boden. Und damit haben ja alle Unternehmen, mal wenigstens in Deutschland und wahrscheinlich darüber hinaus, zu tun, die sich diese Frage stellen müssen.
00:31:02Und deswegen ist für deinen Chef und alle anderen Chefs, die zuhören, aus meiner Sicht eben die Frage einer mal mindestens relativ allgemein formulierten KI-Policy etwas, was man möglicherweise haben sollte.
00:31:19Ich habe mich gerade gefragt, ob wir die Chefs gedisst haben, die nicht mit der Organhaftung verbunden sind. An dieser Stelle entschuldige ich mich. Ihr seid auch Chefs.
00:31:29Ja, ganz wichtige auch natürlich, aber die Frage war ja tatsächlich, mit wem gehen welche
00:31:36Dinge eben am langen Ende nach Hause.
00:31:39Und wir haben eben durchaus mit Vorfällen zu tun, wo es um Veröffentlichung von extrem
00:31:47sensiblen zum Beispiel Gesundheitsdaten geht von einem Unternehmen und also das Unternehmen
00:31:53hat verarbeitet Gesundheitsdaten von Menschen, ja.
00:31:56Und wenn sowas dann in die Öffentlichkeit kommt und man sagt, ja, das war ja der Agent,
00:32:01den ich vor einem halben Jahr geschrieben habe, da wusste ich ja gar nicht, dass es
00:32:05den noch gibt.
00:32:06Oder den der Kollege Mayer Müller-Schulze geschrieben hat, der ja seit drei Monaten
00:32:10überhaupt nicht mehr im Unternehmen arbeitet.
00:32:12Ach, wieso läuft denn der Agent noch?
00:32:14Warum hat er denn noch Berechtigung?
00:32:15Ja, möglicherweise gab es ein Problem mit unserem Offboarding-Prozess.
00:32:19Warum hat das denn keiner gesehen?
00:32:20Ja, wissen wir nicht.
00:32:21Ist ja jetzt auch egal, weil es ist ja schon passiert.
00:32:23Und das sind ja, es passieren ja eigentlich nie, ja nie ist ein großes Wort, aber in der
00:32:31Regel sind ja Datenpannen keine, die so, da geht einer, macht das Fenster auf und wirft
00:32:4010.000 Datensätze aus dem Fenster, sondern das ist ja immer eine Verkettung unglücklicher
00:32:45Umstände.
00:32:46So wie es in Schretter, meistens ist es in den Schretter und das ist, weil vor dem
00:32:50Fenster jemand steht.
00:32:51Ja?
00:32:52Genau, das ist ein anderes Thema.
00:32:55Aber auch das ist, wenn man es genannt, auch nichts Neues.
00:33:00Der unprofessionelle Umgang mit Daten, also wenn ich mir überlege, ja,
00:33:04bis vor kurzem war meine Professur ja noch die mobile App-Entwicklung.
00:33:08Und wenn ich mir dann so manchmal die Vorträge in den verschiedensten Konferenzen anhören,
00:33:12da war ich auch manchmal auf Vorträgen, wo man, ich sag jetzt mal,
00:33:15The Dark Side auf Mobile App Development hat vorgestellt bekommen,
00:33:19mit dem Motto, was sind denn so Fallen, in die die Firmen getappt sind bei der Entwicklung.
00:33:24Und da habe ich auch Banken und Versicherungen, so Gesundheitsversicherungen, so vorgeführt
00:33:31bekommen, wo man jetzt nicht wirklich den Namen offerierte, nach dem Motto, welcher Firma,
00:33:39Organisation das war, aber wo man quasi einen Blick in Software werfen konnte.
00:33:42Wenn man sich dann anschaut, Jailbreak-Schutz, damit Software quasi nicht auf gebrochenen
00:33:47Geräten läuft, wenn man das so mit Cross-Plattformen, am besten noch mit JavaScript, auskommentiert.
00:33:52Oder wenn man dann hört, HTTPS ist auch valide, wenn man HTTPS nicht initiieren kann.
00:33:59Oder also so plumpe Dinge, wo man sich denkt, das kann doch im Jahr 2000, als ich in dem
00:34:05Vortrag war, ich habe eben während du gesprochen hast, mal nachgeschaut, 2025, ist nicht
00:34:11lange her. Kriegst du sowas vorgeführt, dass das immer noch in diversen Apps
00:34:18existiert, wo man sich dann fragt, das eine war eine App für mentale
00:34:24Gesundheit zum reporten, wie quasi deine Besserung gerade ist oder nicht.
00:34:31Also quasi in der Kommunikation mit, ich sage jetzt mal Psychiatern, ist
00:34:36wahrscheinlich falsch, aber irgendwie so in diesem Milieu habe ich es
00:34:39innerlich verortet, wo ich mir dann denke, also das ist doch das Letzte, wo du willst,
00:34:44dass das wegen handwerklicher Fehler nach außen geht.
00:34:48Ich stehe schon davon aus, dass das gefixt war, bevor nicht die, sondern bevor das gezeigt
00:34:53wurde.
00:34:54Ja, wir kennen ja das Thema, sich als Lücken finden, darauf hinweisen, heben lassen,
00:34:58blablabla.
00:34:59Aber selbst wenn das ein Jahr vorher noch existierte, selbst wenn das zwei Jahre vorher
00:35:03noch existierte, das kann ja nicht sein, dass eine Firma, die, ich sag mal, mit
00:35:09Gesundheitsdaten umgehen muss, so was in die Öffentlichkeit pustet.
00:35:12Und jetzt trifft auf so Konstellation KI.
00:35:15Und da würde ich jetzt die Lanze für KI brechen, weil ich glaube schon,
00:35:20dass KI auch in der Lage ist, Dinge viel sicherer zu machen,
00:35:24wenn du sie entsprechend einsetzt.
00:35:26Prüf für Sicherheitsgütten, stelle dies da, stelle das da.
00:35:29Also da kommt ja ein wirklich guter Code raus, wenn du halt,
00:35:33ich sage jetzt mal eine KI nimmst, die ein anständiges Modell ist,
00:35:36ein bisschen was kostet.
00:35:37Also, nichts gegen freie Modelle, ja, aber ich sag mal, nimm halt ein gutes Modell und nicht ein Modell, das vor zwei Jahren raus kam und halt heute noch läuft.
00:35:45Aber das passt ja zu dem, was du gesagt hast. Das sind ja auch im Jahr 2025 offensichtlich Dinge, die wir schon früher mal gesehen haben.
00:35:54Und mein Beispiel mit Lotus Notes für die ganze Alten war ja quasi aus einer gleichen Ecke. Also, das sind ja auch Dinge, die wir schon gesehen haben.
00:36:02Ich finde zum Beispiel als Microsoft das Thema mit den, jetzt fällt mir der Name gerade nicht
00:36:09ein, das heißt nicht Azure Apps, aber hier mit Flow und so eingeführt hat, da hat man
00:36:15ja auch versucht, quasi die einfachen oder die normalen, so will ich es mal sagen, Mitarbeiter,
00:36:21die also nicht Softwareentwickler sind, so könnte man es vielleicht definieren,
00:36:25in die Lage zu versetzen, sich Workflows und eine gewisse Automatisierung zusammenzuklicken.
00:36:29mit dem genau gleichen Ergebnis, da passieren Dinge, wo eigentlich im Unternehmen kaum jemand
00:36:34weiß, was da eigentlich passiert und das wird jetzt mit KI potensiert, aber es bleibt
00:36:40das gleiche Verhalten.
00:36:41Es werden Dinge getan, die man so eigentlich nicht machen sollte und das Unternehmen hat
00:36:45keine Transparenz.
00:36:46Aber, und da hast du natürlich recht, man kann ja die KI jetzt durchaus dafür
00:36:50einsetzen, zu analysieren, was habe ich denn da, was läuft denn da, wäre wahrscheinlich
00:36:55ganz spannend zu sehen, mal eine komplizierte, alte Lotus-Notes-Datenbank von KI analysieren
00:37:01zu lassen und möglicherweise wäre die Migration dann sehr viel schneller möglich, weil die
00:37:05KI eben schnell versteht, was da drin eigentlich passiert und so sollten wir es vielleicht
00:37:10auch betrachten und so wollen wir ja, glaube ich, auch verstanden werden.
00:37:12Nicht als die Schwarzmaler, sondern ja, also auch die positiven Seiten beleuchten,
00:37:20aber es hilft uns ja eben auch nicht, die Augen davor zu verschließen, dass eben
00:37:25mit dem, ich probiere hier mal schnell was aus und ich habe hier mal schnell eine Lösung.
00:37:29Risiken bestehen so, wie wenn du sagst, naja gut, wenn ich halt keine HTTPS-Verbindung
00:37:33aufbauen kann, dann baue ich halt eine HTTPS-Verbindung auf.
00:37:36Wichtig ist ja, dass ich eine Verbindung habe.
00:37:38Das ist möglicherweise nur halb richtig.
00:37:41Bevor wir in den dritten Teil des heutigen Podcasts kommen, als du von der Lotus
00:37:48Notes-Migration gesprochen hast, man könnte es der KI geben, fiel mir ganz kurz das
00:37:52Reverse-Engineer-Everything-Produkt ein, das gerade so ein bisschen durch den
00:37:58Äther fleucht. Eine Bibliothek, die dem KI-System erlaubt, nicht Software
00:38:051 zu 1, ich sag erst mal zu klauen, aber 1 zu 1 nachzumachen.
00:38:10Grüße gehen an Adobe und an Microsoft, die ihre Produkte ja gerade als
00:38:14Open Source in Gitter-Projekten finden. Ja, also nicht, also auch hier das
00:38:21humorige in meiner Stimme ist nicht, weil ich das für eine gute Aktion halte, den
00:38:25Firmen gegenüber dahingehend. Da wird gerade Software im großen Stile kopiert und eine
00:38:30Kopie ist es eigentlich nicht. Es ist einfach nur exakt nachgemalt. Aber auch das ist
00:38:34ja etwas, wo du dir denkst, verdammte Axt. Ich hatte auch da letztens jemanden, der
00:38:38meinte, na ja, schmeiß halt eine App rein und wünsch dir von Rhea nicht, dass er
00:38:42die App nachbaut, sondern dass er die App zerlegt und dir einen MCP-Server nachbaut,
00:38:46du einen MCP-Server hast, der gegen das Backend von der App geht, damit du deine KI anbinden kannst
00:38:52und die Daten rüberfließen. Das war doch erst eine schöne Überleitung, oder? Daten rüberfließen.
00:38:58Das war der Versuch, auch das wieder geschickt und geschmackvoll hinzukriegen. Wollen wir
00:39:04wirklich Daten den großen Modellen in Rachen werfen oder sollen wir doch lieber mit lokaler
00:39:11KI-Arbeit. Hast du lokale KI? Ja, also ob ich da der Master bin, weiß ich auch nicht. Ich
00:39:18versuche da schon auch so ein ganz kleines bisschen drum zu probieren, aber sicherlich
00:39:22vor allem im Vergleich zu Jens und dir im ganz kleinen Umfang. Aber ich finde,
00:39:28was man sich ja schon fragen muss, wir hören ja an vielen Stellen Diskussionen rund um
00:39:33Souveränität. Viele sagen ja, und wir könnten auch einen Politik-Podcast machen,
00:39:39aber wollen das ja heute bewusst nicht. Es gibt ganz verschiedene Gründe.
00:39:43Aber falls du jemanden kennst, der mit uns da mal Politikpodcast machen will, also sehr
00:39:47gerne mal vermitteln. Also mach weiter.
00:39:50Ja, können wir gerne drüber sprechen. Also viele sind ja der Meinung, es gibt durchaus
00:39:55Gründe, warum wir gegen alle Möglichen, ob es die Chinesen oder die Amerikaner sind,
00:40:00souverän sein sollten. Und dann frage ich mich eben schon, wenn man diesem Gedanken
00:40:06folgt und sagt, ja, da gibt es eine gewisse Logik, dass wir als Europäer mit dem größten
00:40:12Wirtschaftsraum der Welt vielleicht eine gewisse Souveränität haben sollten.
00:40:16Wir haben ja offensichtlich keine Marktführerschaft, was KI-Modelle angeht, aber die Frage, ob
00:40:23wir denn für jede Anwendung und für jeden Anwendungsfall, für den wir KI benutzen,
00:40:29eigentlich überhaupt ein LLM brauchen, dass du auch fragen kannst, wer gerade amerikanischer
00:40:34Präsident ist und darauf auch eine valide Antwort bekommst oder ob wir nicht
00:40:37sehr viel spezifischere Modelle nutzen könnten, die vielleicht auch auf einer
00:40:41viel kleineren Hardware läuft und die für einen speziellen Zweck trainiert ist
00:40:45und ob wir dann nicht sagen könnten, guck mal, genau diese Systeme setzen wir
00:40:51eben ein. Zum Beispiel, du hast jetzt vom Ancient
00:40:54Harness gesprochen, um solche, nennen wir es mal, Administrationsaufgaben zu
00:41:00erledigen. Wenn ich einem System, und ich formuliere es mal generisch, volle
00:41:05Admin-Rechte auf meinen Microsoft tenant geben will, damit der
00:41:11Administrationsaufgaben erledigt, dann wäre das vielleicht doch sogar eine
00:41:16ganz schöne Idee, dass dieser Agent Harness auf einer Hardware läuft, die ich in
00:41:22Griff habe, auf einem Modell läuft, dass ich in Griff habe und wo ich auch
00:41:26weiß, dass die Daten und die Zugangsdaten und die API-Keys usw. auf gar keinen Fall
00:41:32irgendwo bei einem dritten landen, weil ich sie unter Kontrolle habe.
00:41:35Und das würde für mich zu einer Diskussion rund um Souveränität auch durchaus dazu
00:41:40gehören und das habe ich ziemlich lange geredet, aber nur ein Aspekt noch.
00:41:44Das geht ja nicht nur für Administration von Systemen, sondern auch für Business-Anwendungsfälle,
00:41:51Also bei der Verarbeitung von hochsensiblen, vertraulichen, IP-bezogenen Daten zum Beispiel,
00:41:57also Intellectual Property, könnte ich mich als Unternehmen ja auch fragen.
00:42:01Klar kann OpenAI oder Anthropic das wunderbar erledigen, aber vielleicht könnte ich bestimmte
00:42:08Dinge auch besser lokal verarbeiten mit einem kleineren Modell, weil ich dann die Daten
00:42:15wirklich selbst behalte.
00:42:17Und das ist, glaube ich, auch ein Punkt, über den man mal nachdenken kann.
00:42:19Ich finde, gerade mit dem Punkt Souveränität, du findest ja verschiedene Lager, die dir
00:42:26dann sagen, aber wir haben hier Vertragskonstrukte A, B, C, D, E, da muss ich darauf vertrauen
00:42:31können bis hin zu, naja, wenn sie mir die KI abdrehen, da haben sie vorher Microsoft
00:42:37und sonst was, also hier Azure und hastnichtgesehen abgedreht.
00:42:40Ich würde gerne über einen anderen Punkt nochmal da reinkommen, nämlich über den
00:42:44Punkt, wir haben ja am Anfang gesagt, KI ist nicht deterministisch.
00:42:48Wenn ich denen was sage, dann versuchst du das zu verfolgen, versuchst das zu erreichen.
00:42:54Aber jede neue Version ändert ihr Verhalten.
00:42:57Also mit Opus 5.6 kam ich nicht so gut klar nach dem Motto, ne Opus 5.6, kost mir die
00:43:03Zukunft voll.
00:43:04Also es gibt ja Versionen, mit denen kommst du mal besser klar, mal weniger gut klar.
00:43:08Es gibt Versionen, die reagieren anders auf deine Promps, du musst vielleicht ein bisschen
00:43:11die Skills anpassen.
00:43:12Entropiq Leute sagen, alle halbe Jahre musst du deine Clot-MD wegschmeißen,
00:43:16bla bla bla.
00:43:17Worauf ich raus will, ist die Zuverlässigkeit im Betrieb.
00:43:21Jetzt stell dir mal vor, du hast irgendwie KI im Rechenzentrumsbetrieb
00:43:25oder irgendwie KI im Abwickeln von was weiß ich was für Sachverhalten.
00:43:30Hast dir vielleicht so eine Workflow-Engine wie N8N oder sowas installiert
00:43:35und da drin sind jetzt einzelne Notes, einzelne Knoten,
00:43:38die dann mit KI-Entscheidungen treffen.
00:43:41Wenn du jetzt anfängst und musst dich quasi den großen,
00:43:45egal ob den chinesischen, Cloud-Anbietern allgemein, egal wo die stehen, unterwerfen,
00:43:52da gibt es halt in der Cloud etwas, das hast du lokal mehr im Griff als in der Cloud, nämlich Updates.
00:43:57Und auf einmal heißt es, das Modell ist abgekündigt, auf einmal heißt es nicht, das Modell ist abgekündigt,
00:44:01sondern es kommt einfach ein anderes, es ist ein Update da, was weiß ich was, Miner, Major, sonst was.
00:44:06Und auf einmal reagiert diese Sache einen Ticken anders, und das Ticken anders ist wie dieser Schmetterlingeneffekt.
00:44:11der Schmetterling hat einmal mehr mit dem Flügel geschlagen und hinten fällt ein
00:44:14Sack Reis um. Nein, Entschuldigung, es verhält sich halt anders. Und in einer
00:44:19Umgebung, wo eventuell, was weiß ich was, klassifizieren, okay, da könnte man das
00:44:24Jev-Modell nehmen, aber sei dahingestellt, klassifizieren von Nachrichten,
00:44:27schalten von Betriebszuständen in Rechenzentren oder sonst wo, wenn das von
00:44:31einer KI abhängt, dann ist es natürlich cool, wenn du es lokal hast, weil dann
00:44:37dann updatest du dein System, dann hast du den Prozess des Updates mit 30.000 Testfällen
00:44:43abgesichert und nicht, oh, Entropiq hat ein neues Modell gelauncht, das alte ist weg,
00:44:49viel Spaß mit dem neuen Modell, ist jetzt viel besser, ist schneller, verbraucht weniger
00:44:53Token, aber es reagiert anders und nachdem wo du es einsetzt, ist dieses reagiert anders
00:44:57unter Umständen kritisch und das finde ich bei dem Punkt gerne mal verloren,
00:45:01weil die meisten immer auf dem Ross, wir müssen souverän sein oder auf dem Ross,
00:45:05ist doch billiger als die Cloud Tokens oder sonst was. Ich finde diese Stabilität und diese
00:45:11Verbindlichkeit bei unverbindlichen Systemen ist auch wichtig. Ja extrem, das wollte ich auch auf
00:45:20überhaupt gar keinen Fall ausgeklammert haben, im Gegenteil. Also wenn ich davon spreche,
00:45:24Systeme zu administrieren, dann brauche ich ja Stabilität und Verlässlichkeit. Also wenn
00:45:33wenn ich mich nicht als Mensch durch die Admin-Oberfläche durchklicke, sondern ich Einstellungen zum Beispiel
00:45:40dann von einer KI über PowerShell setzen lasse, dann muss ich doch wissen, dass das
00:45:45funktioniert und darf nicht hoffen, dass da was Richtiges bei rauskommt und vor
00:45:50allem, wenn eben morgen ein anderes Modell anders reagiert, dann kommt halt vielleicht
00:45:55tatsächlich was anderes dabei raus und dann sind wir ja wieder bei unserem zweiten
00:45:59Fall, nämlich der Frage, wer haftet denn eigentlich, wenn dann was falsch eingestellt
00:46:05wurde.
00:46:06Und da sehe ich eben durchaus Bedarf an lokalen Modellen und auch der Frage, wo betreibt
00:46:13man die, wie installiert man die, wie konfiguriert man die.
00:46:16Da gibt es, glaube ich, auch in Zukunft einiges, was wir sehen werden.
00:46:20Wer das mal ausprobieren möchte, kleiner Tipp am Rande, überhaupt nicht kritisch.
00:46:25Ich habe persönlich eine Webseite, die liegt bei Jimdo.
00:46:28Jimdo, Jimdo hat so ein Web-System zum Fliegen, so ein Web-Interface, wo du dann deine Sachen
00:46:33eintragen kannst.
00:46:34Dann dachte ich mal in einer Schnapslaune heraus, ich sag dem Soul 6.1-Modell von OpMayEye,
00:46:41leg mir das doch mal, geh mit dem Browser dorthin, schau dir das an, mach einen Menüpunkt
00:46:45rein, leg das mal für mich.
00:46:46Hat er gemacht.
00:46:47Sah nicht ganz hübsch aus, aber hat er gemacht.
00:46:50Ich will das nicht über die Inhalte, das wird viel lustiger, wenn ich das zweite
00:46:54Beispiel bringe.
00:46:55Und dann bin ich in das gelaufen, wohin ich immer am Wochenende laufe, nämlich mein Wochenlimit hört dann irgendwie auf und ich musste das
00:47:01Modell wechseln. Also bin ich von Opmerei zu Entropiq.
00:47:05Der Trend geht ja zu zwei Abos.
00:47:08Habe ich also Entropiq-Modell gesagt, du passt mal, obacht, das fand ich gar nicht so gut, mach noch mal den Eintrag auf der Homepage, genau der
00:47:14gleiche Auftrag, aber paralleler Eintrag und stellen. Dann fing der an, hat was gemacht und dann hat er geschrieben,
00:47:20Oh, ich war auf der falschen Seite, da habe ich Texte gelöscht, neue hingeschrieben.
00:47:25Ich lasse es mal, die Hände davon musst du jetzt lösen.
00:47:27Und du stehst da und denkst dir so, beides Top-Modelle, also 6.1 von Soul und 5.5 von
00:47:34Anthropic, diesmal wirklich die richtige Nummer.
00:47:36Und du stehst da und denkst, okay, ist total lustig, ist meine Homepage, interessiert
00:47:41mich auch nicht, hat nicht auf Speichern geklickt, von der Seite war auch gar
00:47:44nicht so wild.
00:47:45Aber allein der Umstand, das Plumpe-Pflegen, mit einer Inprunst an Überzeugung mache ich
00:47:52dir sofort gar kein Problem.
00:47:54Ja, selbstverständlich.
00:47:55Ja, gut, dass du mich darauf hingewiesen hast, das ist auch immer schön.
00:47:59Ja.
00:48:00Ja.
00:48:01Dann so in die Krütze geht und dann stell dir mal vor, der hat halt hier keine Ahnung,
00:48:05irgendwie eine Sicherheitskonzeption geschrieben oder in der Datenbank irgendwo auf self
00:48:09gedrückt.
00:48:10Klar, es gibt Backup-Konzepte und so weiter, alles fair, aber du hast ja gerade
00:48:13von den unterschiedlichsten Einsatzfeldern, fast Schirmgrößen, Kompetenz und hast nicht gesehen,
00:48:18gesprochen, vielleicht ist Backup ein Fremdwort und wird nur einmal im halben Jahr gemacht. Dann
00:48:23stehst du da mit, leider ist das Excel leer. Entschuldigung, morgen ist die Revision da. Kann
00:48:28ja mal vorkommen. Aber das Excel-Lehr, ich bin erstaunt, wie viele Unternehmen kein Backup von
00:48:39von ihrem Microsoft 365-Tendent haben, weil sie sagen,
00:48:43hä, liegt doch bei Microsoft.
00:48:46Und wenn ich die Daten lösche, sind sie doch im Papierkorb.
00:48:49Ja, aber das ist kein Backup.
00:48:51Und übrigens unterschreibst du das auch, wenn du die AGBs akzeptierst,
00:48:55dass Microsoft für dich kein Backup macht.
00:48:58Und auf den Papierkorben gibt es kein Service-Level.
00:49:01Es sind ehrlicherweise...
00:49:02Krypto-Trojaner freuen sich über sowas.
00:49:05Genau, es sind zum Glück nicht die Mehrheit der Unternehmen,
00:49:07Aber die gibt es immer noch und es sind auch nennenswert große Unternehmen.
00:49:12Also nicht nur die fünf Mann Pommesbude von um die Ecke, sondern durchaus namhafte Mittelständler,
00:49:20mit denen man sowas immer mal wieder überraschenderweise diskutieren muss.
00:49:25Und die gucken dann natürlich doppelt dumm aus der Wäsche und das machen die ja auch
00:49:28nicht, weil die das nicht ernst nehmen, sondern die haben wahrscheinlich einfach nicht
00:49:34lang genug, unintensiv genug drüber nachgedacht. Die haben vielleicht die AGD nicht gelesen. Die
00:49:39haben vielleicht wirklich einen guten Glauben gedacht, naja, das ist eine hoch performante
00:49:43und verfügbare Plattform. Die werden doch für ausreichend Sicherheit sorgen. Ja, nee, machen
00:49:47sie eben nicht. Und das ist, glaube ich, schon durchaus ein spannender Punkt und Aspekt,
00:49:52mit dem, was da aufzutun haben. Tja, Thomas, ich habe drei Punkte angekündigt. Wir sind durch
00:50:00drei Punkte durchgaloppiert. Das ist irgendwie der Hammer. Ich bin ja vorhin schon fies ins Wort
00:50:08gefallen. Eigentlich bin ich hier mehrfach fies ins Wort gefallen. An der Seite auch Grüße an
00:50:12einen Kollegen, der mir auch heute gesagt hat, ich lasse meine Gäste nicht ausreden und ich
00:50:16falle ihnen ins Wort. Er hat mal wieder recht behalten. Ich bin ja auch schon ins Wort gefallen,
00:50:21wenn ich das sagen darf und jetzt schon so ein zweites Mal. Du, völlig fein. Ich würde mich
00:50:26freuen, wenn du ein drittes Mal zu Besuch kommst. Wann mal, damit du mir wieder ins
00:50:30Wort fallen kannst, dann hoffentlich auch mit Jens zusammen. Und vielleicht haben
00:50:33wir irgendwann noch mal einen politischen Talk. Schauen wir mal.
00:50:35Ja, also gucken wir mal, wohin die Reise uns führt. Thomas, danke, dass du da bist.
00:50:39Da warst. Ein alter Mann, späte Stunde. Sehr gerne, Mark.
00:50:44Wieder sehr angenehm mit dir. Freie Rede ist immer das Schönste. Ich freu mich
00:50:49immer, wenn wir Gäste haben, wo wir uns quasi frei durch das Thema, das wir
00:50:53uns gegeben haben, bewegen können, ohne dann auf einmal in betretene Schweigen zu kommen.
00:50:58Hatte ich auch schon mal. An der Seite, find die Gehörer, finden die Folgen
00:51:02entsprechend im Podcast. Ist kein Bashing. Von der Seite, danke, dass du da warst und
00:51:06danke an alle Hörer, dass ihr zugehört habt. Wir sind unter einer Stunde geblieben.
00:51:11Sowas passiert, wenn ich mit Alex zum Beispiel rede, irgendwie sehr selten,
00:51:14aber das ist auch wieder ein kleiner Insider. Wenn es euch gefallen hat,
00:51:17hinterlasst einen Like, einen Daumen hoch, kommentiert in dem Podcast-Player
00:51:22euerer Wahl. Und ansonsten freuen wir uns, wenn wir euch das nächste Mal wieder hören.
00:51:26Tschüss Thomas. Tschüss Mark. Und tschüss in die Runde. Sicheren Abend euch allen. Ciao.
00:51:33Bis bald. Ciao ciao. Willkommen bei Think Different. Think AI., dem Podcast von Mark und Jens.
00:51:42Zwei technologieverliebte Köpfe, die nicht nur über künstliche Intelligenz reden,
00:51:47sondern sie lebt.
00:51:49Hier gibt's klare Einordnungen,
00:51:51echte Praxiseinblicke
00:51:53und einen frischen Blick auf das, was möglich ist.
00:51:55Verständlich, kritisch
00:51:57und immer mit einem Augenzwinker.
00:51:59KI zum Nachdenken,
00:52:01zum Schmunzeln
00:52:03und vor allem zum Mitreden.