Skill Forge kennenlernen

Dein KI-Assistent wird über Nacht besser — ganz von allein. Lerne, wie du Skill Forge einsetzt.

Autonome Verbesserung Kein Code nötig Über Nacht laufen lassen

↓ Scrolle nach unten oder nutze die Pfeiltasten

01

Was ist Skill Forge?

Dein persönlicher Verbesserungsautomat für KI-Skills und Code

Die Grundidee

Stell dir vor, du hast eine Anweisung für deine KI geschrieben — einen sogenannten Skill. Er funktioniert okay, aber nicht perfekt.

Skill Forge nimmt diesen Skill, testet ihn automatisch, findet Schwachstellen und verbessert ihn — Schritt für Schritt. Und das Beste: Du kannst das über Nacht laufen lassen.

Wie eine Werkstatt für KI

1

Analysieren

Schwachstelle finden

→

2

Verbessern

Gezielte Änderung

→

3

Testen

Messen ob's besser ist

→

4

Entscheiden

Behalten oder verwerfen

💡 Aha-Moment

Das Prinzip stammt von KI-Forscher Andrej Karpathy: Kleine Änderungen automatisch testen, nur Verbesserungen behalten. Skill Forge überträgt das auf deine Arbeit.

Frühere Läufe

✍️

Humanizer-Skill

Von 74% auf 90% Qualität in nur 3 Experimenten. Texte klingen jetzt natürlicher und menschlicher.

📖

Fachbuch-Lektorat

Von 87% auf 100% — alle Testfälle bestanden nach 3 Runden automatischer Verbesserung.

📰

KI-News-Briefing

Von 93% auf 100% in nur einem einzigen Experiment. LinkedIn-Zeichenlimit wurde automatisch eingehalten.

Diese Läufe stammen aus der Zeit vor v3, mit dem alten Gate, in dem Effizienz 20 Prozent des Scores trug. Im Repo liegt zu keinem davon eine evals.json, history.json oder ein Snapshot, nachrechnen kann man sie also nicht. 74 auf 90 Prozent ist ein Composite unter der alten Gewichtung, 87 und 93 Prozent sind reine Assertion-Pass-Raten. Ab v3 werden Ergebnisse nur noch mit history.json und evals.json veröffentlicht.

Was passiert, wenn eine Änderung den Skill verschlechtert?

Die Änderung bleibt trotzdem bestehen

Die Änderung wird rückgängig gemacht

Der gesamte Skill wird gelöscht

Genau! Skill Forge macht jede Verschlechterung automatisch rückgängig. Dein Skill kann nur besser werden, nie schlechter.

Nicht ganz. Skill Forge hat ein Sicherheitsnetz: Jede Verschlechterung wird automatisch rückgängig gemacht. Dein Original ist sicher.

02

Die zwei Welten

Skill Forge hat zwei Modi — und du wählst, wie viel Kontrolle du haben willst

Was willst du verbessern?

🎯

Skill-Modus

Optimiert eine SKILL.md — also die Anweisung, die deine KI steuert. Ideal wenn du einen Claude-Skill verbessern willst.

⚙️

Generic-Modus

Optimiert beliebige Dateien gegen eine messbare Zahl — z.B. Testabdeckung, Dateigröße oder Performance-Score. Für Entwickler-Projekte.

ℹ️ Automatische Erkennung

Du musst den Modus nicht selbst wählen. Nennst du einen Skill-Namen, wählt Forge den Skill-Modus. Nennst du eine Metrik, wählt es den Generic-Modus.

Wie viel Kontrolle willst du?

	🚀 Auto-Modus	🎛️ Guided-Modus
Ablauf	Läuft allein durch	Du entscheidest mit
Ideal für	Über Nacht laufen lassen	Erstmalige Nutzung
Hypothesen	Automatisch umgesetzt	Du siehst den Vorschlag vorher
Ergebnis	Morgens den Report lesen	Schritt für Schritt miterleben

Fünf Helfer im Hintergrund

Skill Forge nutzt fünf spezialisierte Agenten, die zusammenarbeiten:

🔬

Der Wissenschaftler

Analysiert, was schiefgeht, und stellt eine Hypothese auf: „Ich glaube, das Problem liegt hier."

🔧

Der Chirurg

Setzt die Hypothese als minimal-invasive Änderung um. So wenig wie möglich ändern, so viel wie nötig.

⚖️

Der Richter

Bewertet das Ergebnis neutral. War die Änderung eine Verbesserung? Oder hat sie etwas verschlechtert?

🎼

Der Dirigent

Hält die anderen im Takt: sammelt den Kontext für jeden Aufruf, wählt die Phase zwischen Erkunden und Vertiefen und schreibt History, Coverage-Matrix und Checkpoint fort.

📜

Der Archivar

Alle fünf Experimente destilliert er, welche Art von Änderung bei genau diesem Skill funktioniert. Seine Notizen sind für den Optimierer, nicht für den Skill selbst, und jeder Punkt braucht ein Experiment als Beleg.

Du willst deinen LinkedIn-Post-Skill über Nacht verbessern. Welchen Modus nutzt du?

Generic-Modus, Guided

Skill-Modus, Auto

Generic-Modus, Auto

Skill-Modus, Guided

Richtig! Ein LinkedIn-Post-Skill ist eine SKILL.md → Skill-Modus. Über Nacht → Auto-Modus. Perfekte Kombination.

Fast! Da es um einen Skill (SKILL.md) geht → Skill-Modus. Da es über Nacht laufen soll → Auto-Modus. Also: Skill-Modus, Auto.

03

Der Experiment-Loop

Das Kern-Feature Schritt für Schritt — klick dich durch den Loop

So läuft ein Durchgang ab

Jede Verbesserungsrunde folgt dem gleichen Muster. Klicke auf einen Schritt, um mehr zu erfahren:

🧙 Wizard

🔬 Hypothese

🔧 Mutation

📊 Messen

⚖️ Keep/Neutral/
Revert

Setup-Wizard: Bevor es losgeht, führt dich ein Assistent durch 6 einfache Schritte: Modus wählen, Ziel festlegen, Testfälle erstellen und einen Probelauf starten.

Der Wizard — dein Startpunkt

Bevor der Loop startet, richtet der Wizard alles ein:

6 Schritte zum Start

1

Modus wählen

Auto oder Guided? Skill oder Generic?

2

Ziel finden

Welche Datei soll verbessert werden?

3

Testfälle erstellen

3–5 automatische Tests, aufgeteilt in Training und Prüfung

4

Richtung festlegen

Höher ist besser? Oder niedriger?

5

Probelauf

Ein Testlauf, um sicherzustellen, dass alles funktioniert

6

Bestätigen & Starten

Alles in Ordnung? Dann geht's los!

Wann stoppt der Loop?

🎯

Ziel erreicht

Score von 95% oder höher — der Skill ist exzellent.

🔄

Maximum erreicht

10 Experimente durchgeführt (oder dein eigenes Limit).

📈

Plateau erkannt

3× hintereinander keine Verbesserung? Forge erkennt, dass das Optimum erreicht ist.

Warum macht Skill Forge vor dem eigentlichen Loop einen „Probelauf" (Dry Run)?

Um den Skill schon einmal zu verbessern

Um dir das Ergebnis vorab zu zeigen

Um sicherzustellen, dass die Messung funktioniert

Genau! Der Probelauf prüft, ob die Tests korrekt laufen und ein Score berechnet werden kann. So vermeidest du Fehler im Nachtlauf.

Nicht ganz. Der Probelauf ist ein Sicherheitscheck: Er stellt sicher, dass die Messung funktioniert, bevor der Loop startet. So läuft alles sauber.

04

Tipps & Einstellungen

So holst du das Beste aus Skill Forge heraus

Schnellstart — In drei Sätzen loslegen

💬

Einfach sagen:

„Nutze Skill Forge, um meinen linkedin-content Skill zu verbessern"

🎛️

Mit Kontrolle:

„Nutze Skill Forge im Guided-Modus für meinen humanizer Skill — ich will jeden Schritt sehen"

Wichtige Einstellungen

Du kannst diese Werte beim Start anpassen — oder die Standardwerte benutzen:

Experimente

Maximal 10 Runden (Standard). Erhöhe auf 15–20 für komplexe Skills.

Zeitbudget

120 Minuten (Standard). Für Overnight-Runs auf 360+ setzen.

Schwellenwert

Eine Änderung muss mindestens 2% Verbesserung bringen, um behalten zu werden. Bleibt sie darunter, wird sie zurückgerollt.

Crash-Limit

Nach 3 Fehlern in Folge stoppt der Loop. Schützt vor endlosen Schleifen.

Der Morning Report

Nach dem Nachtlauf findest du eine Zusammenfassung mit allem, was passiert ist:

Was im Report steht

📊

Score-Verlauf

Wo du gestartet bist und wo du jetzt stehst

✅

Top-Verbesserungen

Die 3 wirkungsvollsten Änderungen im Detail

❌

Was nicht geklappt hat

Fehlgeschlagene Hypothesen — und warum

💡

Empfehlungen

Was du als Nächstes tun könntest

🛡️ Sicherheitsnetz

Skill Forge erstellt vor jeder Änderung eine Sicherungskopie (Snapshot). Die Sicherungen heißen pre-exp-001, pre-exp-002 und so weiter, jede ist der Zustand vor genau diesem Experiment. Selbst nach 10 Experimenten kannst du jederzeit zum Original zurückkehren.

05

Häufige Fragen

Antworten auf die wichtigsten Fragen — und was du bei Problemen tun kannst

Die wichtigsten Fragen

▸ Kann mein Skill durch Skill Forge schlechter werden?

Nein. Behalten wird nur, was messbar besser ist. Verschlechterungen werden zurückgerollt, und Runden ohne messbaren Effekt ebenfalls. Zusätzlich gibt es Snapshots, du kannst jederzeit zum Ausgangszustand zurückkehren.

▸ Was ist „Overfitting" und warum sollte mich das interessieren?

Overfitting wäre, wenn dein Skill nur die Testfälle perfekt kann, aber bei neuen Aufgaben versagt. Skill Forge schützt dagegen mit einem Train/Test-Split: 60% der Tests optimieren, 40% prüfen blind.

▸ Wie lange dauert ein Durchlauf?

Jedes einzelne Experiment dauert 5–15 Minuten. Ein voller Lauf mit 10 Experimenten liegt typischerweise bei 1–2 Stunden. Du kannst das Zeitbudget im Wizard anpassen.

▸ Was brauche ich, um loszulegen?

Nur einen Claude Cowork Zugang und den Skill-Forge-Ordner in deinem Skills-Verzeichnis. Dann sagst du einfach: „Nutze Skill Forge, um meinen [Skill-Name] zu verbessern" — und der Wizard führt dich durch den Rest.

▸ Was tun, wenn der Loop abstürzt?

Skill Forge hat eine eingebaute Crash-Erkennung. Einzelne Fehler werden übersprungen. Erst nach 3 Fehlern in Folge stoppt der Loop und meldet das Problem im Report. Dein Skill bleibt dabei immer sicher.

Wovor schützt der „Train/Test-Split" bei Skill Forge?

Vor Datenverlust bei Abstürzen

Davor, dass der Skill nur für die Testfälle optimiert wird

Vor zu langen Laufzeiten

Richtig! Der Split sorgt dafür, dass 40% der Tests blind bleiben — so wird geprüft, ob Verbesserungen auch bei neuen Aufgaben funktionieren.

Nicht ganz. Der Train/Test-Split schützt vor Overfitting: 60% der Tests optimieren, 40% bleiben blind — so wird geprüft, ob Verbesserungen generalisieren.

Bereit loszulegen?

Kopiere den skill-forge/ Ordner in dein Skills-Verzeichnis und sag Claude:

„Nutze Skill Forge, um meinen
[skill-name] Skill zu verbessern"

🎉 Geschafft!

Du weißt jetzt alles, was du brauchst. Der Wizard führt dich durch den Rest. Viel Erfolg mit deinem verbesserten Skill!