Skill Forge kennenlernen

Dein KI-Assistent wird über Nacht besser — ganz von allein. Lerne, wie du Skill Forge einsetzt.

Autonome Verbesserung Kein Code nötig Über Nacht laufen lassen

↓ Scrolle nach unten oder nutze die Pfeiltasten

01

Was ist Skill Forge?

Dein persönlicher Verbesserungsautomat für KI-Skills und Code

Die Grundidee

Stell dir vor, du hast eine Anweisung für deine KI geschrieben — einen sogenannten Skill. Er funktioniert okay, aber nicht perfekt.

Skill Forge nimmt diesen Skill, testet ihn automatisch, findet Schwachstellen und verbessert ihn — Schritt für Schritt. Und das Beste: Du kannst das über Nacht laufen lassen.

Wie eine Werkstatt für KI

1
Analysieren
Schwachstelle finden
→
2
Verbessern
Gezielte Änderung
→
3
Testen
Messen ob's besser ist
→
4
Entscheiden
Behalten oder verwerfen
💡 Aha-Moment
Das Prinzip stammt von KI-Forscher Andrej Karpathy: Kleine Änderungen automatisch testen, nur Verbesserungen behalten. Skill Forge überträgt das auf deine Arbeit.

Frühere Läufe

✍️
Humanizer-Skill
Von 74% auf 90% Qualität in nur 3 Experimenten. Texte klingen jetzt natürlicher und menschlicher.
📖
Fachbuch-Lektorat
Von 87% auf 100% — alle Testfälle bestanden nach 3 Runden automatischer Verbesserung.
📰
KI-News-Briefing
Von 93% auf 100% in nur einem einzigen Experiment. LinkedIn-Zeichenlimit wurde automatisch eingehalten.

Diese Läufe stammen aus der Zeit vor v3, mit dem alten Gate, in dem Effizienz 20 Prozent des Scores trug. Im Repo liegt zu keinem davon eine evals.json, history.json oder ein Snapshot, nachrechnen kann man sie also nicht. 74 auf 90 Prozent ist ein Composite unter der alten Gewichtung, 87 und 93 Prozent sind reine Assertion-Pass-Raten. Ab v3 werden Ergebnisse nur noch mit history.json und evals.json veröffentlicht.

Was passiert, wenn eine Änderung den Skill verschlechtert?
Die Änderung bleibt trotzdem bestehen
Die Änderung wird rückgängig gemacht
Der gesamte Skill wird gelöscht
Genau! Skill Forge macht jede Verschlechterung automatisch rückgängig. Dein Skill kann nur besser werden, nie schlechter.
Nicht ganz. Skill Forge hat ein Sicherheitsnetz: Jede Verschlechterung wird automatisch rückgängig gemacht. Dein Original ist sicher.
02

Die zwei Welten

Skill Forge hat zwei Modi — und du wählst, wie viel Kontrolle du haben willst

Was willst du verbessern?

🎯
Skill-Modus
Optimiert eine SKILL.md — also die Anweisung, die deine KI steuert. Ideal wenn du einen Claude-Skill verbessern willst.
⚙️
Generic-Modus
Optimiert beliebige Dateien gegen eine messbare Zahl — z.B. Testabdeckung, Dateigröße oder Performance-Score. Für Entwickler-Projekte.
ℹ️ Automatische Erkennung
Du musst den Modus nicht selbst wählen. Nennst du einen Skill-Namen, wählt Forge den Skill-Modus. Nennst du eine Metrik, wählt es den Generic-Modus.

Wie viel Kontrolle willst du?

🚀 Auto-Modus🎛️ Guided-Modus
AblaufLäuft allein durchDu entscheidest mit
Ideal fürÜber Nacht laufen lassenErstmalige Nutzung
HypothesenAutomatisch umgesetztDu siehst den Vorschlag vorher
ErgebnisMorgens den Report lesenSchritt für Schritt miterleben

Sechs Helfer im Hintergrund

Skill Forge nutzt sechs spezialisierte Agenten. Vier arbeiten in jeder Runde, der Archivar alle fünf Runden, der Bibliothekar nur wenn eine Tatsache fehlt:

🔬
Der Wissenschaftler
Analysiert, was schiefgeht, und stellt eine Hypothese auf: „Ich glaube, das Problem liegt hier."
🔧
Der Chirurg
Setzt die Hypothese als minimal-invasive Änderung um. So wenig wie möglich ändern, so viel wie nötig.
⚖️
Der Richter
Bewertet das Ergebnis neutral. War die Änderung eine Verbesserung? Oder hat sie etwas verschlechtert?
🎼
Der Dirigent
Hält die anderen im Takt: sammelt den Kontext für jeden Aufruf, wählt die Phase zwischen Erkunden und Vertiefen und schreibt History, Coverage-Matrix und Checkpoint fort.
📜
Der Archivar
Alle fünf Experimente destilliert er, welche Art von Änderung bei genau diesem Skill funktioniert. Seine Notizen sind für den Optimierer, nicht für den Skill selbst, und jeder Punkt braucht ein Experiment als Beleg.
📖
Der Bibliothekar
Kommt ins Spiel, wenn nicht die Anweisung fehlt, sondern eine Tatsache. Er sucht die Antwort in dem Material, das du bereitgestellt hast, und notiert sie mit Quelle und Fundstelle. Findet er nichts, ist das ein gültiges Ergebnis: dann steht die Frage morgens im Report.
Du willst deinen LinkedIn-Post-Skill über Nacht verbessern. Welchen Modus nutzt du?
Generic-Modus, Guided
Skill-Modus, Auto
Generic-Modus, Auto
Skill-Modus, Guided
Richtig! Ein LinkedIn-Post-Skill ist eine SKILL.md → Skill-Modus. Über Nacht → Auto-Modus. Perfekte Kombination.
Fast! Da es um einen Skill (SKILL.md) geht → Skill-Modus. Da es über Nacht laufen soll → Auto-Modus. Also: Skill-Modus, Auto.
03

Der Experiment-Loop

Das Kern-Feature Schritt für Schritt — klick dich durch den Loop

So läuft ein Durchgang ab

Jede Verbesserungsrunde folgt dem gleichen Muster. Klicke auf einen Schritt, um mehr zu erfahren:

🧙 Wizard
🔬 Hypothese
🔧 Mutation
📊 Messen
⚖️ Keep/Neutral/
Revert
Setup-Wizard: Bevor es losgeht, führt dich ein Assistent durch 6 einfache Schritte: Modus wählen, Ziel festlegen, Testfälle erstellen und einen Probelauf starten.

Der Wizard — dein Startpunkt

Bevor der Loop startet, richtet der Wizard alles ein:

6 Schritte zum Start
1
Modus wählen
Auto oder Guided? Skill oder Generic?
2
Ziel finden
Welche Datei soll verbessert werden?
3
Testfälle erstellen
3–5 automatische Tests, aufgeteilt in Training und Prüfung
4
Richtung festlegen
Höher ist besser? Oder niedriger?
5
Probelauf
Ein Testlauf, um sicherzustellen, dass alles funktioniert
6
Bestätigen & Starten
Alles in Ordnung? Dann geht's los!

Wenn Umformulieren nicht hilft

Manche Fehler liegen nicht an unklaren Anweisungen. Kennt ein Lektorats-Skill die Zitierregel eines Verlags nicht, hilft keine Umformulierung: es fehlt eine Tatsache.

Skill Forge erkennt solche Fälle und erfindet die Antwort nicht. Der naheliegende Weg wäre auch der gefährlichste: ein flüssig formulierter erfundener Satz besteht die Prüfungen leichter als eine sperrige Wahrheit. Die Messung würde ihn also belohnen, statt ihn zu fangen.

🔍
Erkennen
Vier Merkmale trennen Tatsache von Form: die gescheiterte Prüfung fragt nach einem Wert statt nach einer Form, der Agent hat etwas Konkretes behauptet das falsch war, die Antworten schwanken zwischen den Durchläufen, oder er hat gesucht und nichts gefunden.
📚
Beschaffen
Der Bibliothekar sucht in dem Material, das du beim Setup beigelegt hast. Jede Aussage braucht eine registrierte Quelle und eine Fundstelle darin, sonst wird sie nicht geschrieben. Eine offene Internetsuche gibt es nicht.
☀️
Fragen
Findet er nichts, blockiert der Lauf nicht. Die Frage wird aufgeschrieben, der Loop arbeitet weiter. Morgens steht sie im Report, mit dem Beleg, woran sie aufgefallen ist, und der Form einer brauchbaren Antwort. Meist in unter einer Minute zu beantworten.
🧮
Pflegen
Das Wissen liegt beim Skill und wandert mit ihm mit. Quellen sind mit einer Prüfsumme hinterlegt: ändert sich eine, werden die davon abhängigen Aussagen zur Prüfung markiert statt still aktualisiert. Was sich inhaltlich geändert hat, entscheidet ein Mensch.

Wann stoppt der Loop?

🎯
Ziel erreicht
Score von 95% oder höher — der Skill ist exzellent.
🔄
Maximum erreicht
10 Experimente durchgeführt (oder dein eigenes Limit).
📈
Plateau erkannt
3× hintereinander keine Verbesserung? Forge erkennt, dass das Optimum erreicht ist.
Warum macht Skill Forge vor dem eigentlichen Loop einen „Probelauf" (Dry Run)?
Um den Skill schon einmal zu verbessern
Um dir das Ergebnis vorab zu zeigen
Um sicherzustellen, dass die Messung funktioniert
Genau! Der Probelauf prüft, ob die Tests korrekt laufen und ein Score berechnet werden kann. So vermeidest du Fehler im Nachtlauf.
Nicht ganz. Der Probelauf prüft, ob die Messung überhaupt funktioniert, bevor der Loop startet. Schlägt er fehl, geht es nicht weiter.
04

Tipps & Einstellungen

So holst du das Beste aus Skill Forge heraus

Schnellstart — In drei Sätzen loslegen

💬
Einfach sagen:
„Nutze Skill Forge, um meinen linkedin-content Skill zu verbessern"
🎛️
Mit Kontrolle:
„Nutze Skill Forge im Guided-Modus für meinen humanizer Skill — ich will jeden Schritt sehen"

Wichtige Einstellungen

Du kannst diese Werte beim Start anpassen — oder die Standardwerte benutzen:

Experimente
Maximal 10 Runden (Standard). Erhöhe auf 15–20 für komplexe Skills.
Zeitbudget
120 Minuten (Standard). Für Overnight-Runs auf 360+ setzen.
Schwellenwert
Eine Änderung muss mindestens 2% Verbesserung bringen, um behalten zu werden. Bleibt sie darunter, wird sie zurückgerollt.
Crash-Limit
Nach 3 Fehlern in Folge stoppt der Loop. Schützt vor endlosen Schleifen.
Wissensquellen
Material, das der Skill kennen muss: Richtlinien, Normen, Glossare. Legst du beim Setup welche bei, kann der Loop Wissenslücken selbst schliessen, statt morgens danach zu fragen.

Der Morning Report

Nach dem Nachtlauf findest du eine Zusammenfassung mit allem, was passiert ist:

Was im Report steht
📊
Score-Verlauf
Wo du gestartet bist und wo du jetzt stehst
✅
Top-Verbesserungen
Die 3 wirkungsvollsten Änderungen im Detail
❌
Was nicht geklappt hat
Fehlgeschlagene Hypothesen — und warum
💡
Empfehlungen
Was du als Nächstes tun könntest
🛡️ Sicherheitsnetz
Skill Forge erstellt vor jeder Änderung eine Sicherungskopie (Snapshot). Die Sicherungen heißen pre-exp-001, pre-exp-002 und so weiter, jede ist der Zustand vor genau diesem Experiment. Selbst nach 10 Experimenten kannst du jederzeit zum Original zurückkehren.
05

Häufige Fragen

Antworten auf die wichtigsten Fragen — und was du bei Problemen tun kannst

Die wichtigsten Fragen

▸ Kann mein Skill durch Skill Forge schlechter werden?
Nein. Behalten wird nur, was messbar besser ist. Verschlechterungen werden zurückgerollt, und Runden ohne messbaren Effekt ebenfalls. Zusätzlich gibt es Snapshots, du kannst jederzeit zum Ausgangszustand zurückkehren.
▸ Was ist „Overfitting" und warum sollte mich das interessieren?
Overfitting wäre, wenn dein Skill nur die Testfälle perfekt kann, aber bei neuen Aufgaben versagt. Skill Forge schützt dagegen mit einem Train/Test-Split: 60% der Tests optimieren, 40% prüfen blind.
▸ Wie lange dauert ein Durchlauf?
Jedes einzelne Experiment dauert 5–15 Minuten. Ein voller Lauf mit 10 Experimenten liegt typischerweise bei 1–2 Stunden. Du kannst das Zeitbudget im Wizard anpassen.
▸ Was brauche ich, um loszulegen?
Nur einen Claude Cowork Zugang und den Skill-Forge-Ordner in deinem Skills-Verzeichnis. Dann sagst du einfach: „Nutze Skill Forge, um meinen [Skill-Name] zu verbessern" — und der Wizard führt dich durch den Rest.
▸ Was tun, wenn der Loop abstürzt?
Skill Forge hat eine eingebaute Crash-Erkennung. Einzelne Fehler werden übersprungen. Erst nach 3 Fehlern in Folge stoppt der Loop und meldet das Problem im Report. Dein Skill bleibt dabei immer sicher.
Wovor schützt der „Train/Test-Split" bei Skill Forge?
Vor Datenverlust bei Abstürzen
Davor, dass der Skill nur für die Testfälle optimiert wird
Vor zu langen Laufzeiten
Richtig! Der Split sorgt dafür, dass 40% der Tests blind bleiben — so wird geprüft, ob Verbesserungen auch bei neuen Aufgaben funktionieren.
Nicht ganz. Der Train/Test-Split schützt vor Overfitting: 60% der Tests optimieren, 40% bleiben blind — so wird geprüft, ob Verbesserungen generalisieren.

Bereit loszulegen?

Kopiere den skill-forge/ Ordner in dein Skills-Verzeichnis und sag Claude:

„Nutze Skill Forge, um meinen
[skill-name] Skill zu verbessern"
🎉 Geschafft!
Du weißt jetzt alles, was du brauchst. Der Wizard führt dich durch den Rest. Viel Erfolg mit deinem verbesserten Skill!