KI-Modelle im Vergleich: Netlify testet 11 Sprachmodelle für die Website-Generierung

Netlify hat eine Partnerschaft mit OpenRouter angekündigt und damit die Auswahl an KI-Modellen für seine Agent Runners erweitert. Um Nutzern die Entscheidung zu erleichtern, hat das Team einen Vergleichstest durchgeführt. Identische Prompts gingen an elf verschiedene Modelle. Die generierten Websites und der Credit-Verbrauch wurden gegenübergestellt. In diesem Fachartikel analysieren wir den verwendeten Prompt und diskutieren die Ergebnisse.

Überblick

Agent Runners ist ein Chat-basierter Assistent von Netlify. Er hilft Entwicklern, neue Projekte zu erstellen oder bestehenden Code zu iterieren. Bislang unterstützte das Tool vor allem Claude Agent, OpenAI Codex und Gemini CLI – agentische Systeme, die auf die Modelle ihrer Anbieter optimiert sind. Mit der Integration von OpenRouter und dem Open-Source-Agenten OpenCode nutzt Netlify nun eine breite Palette von Modellen, darunter auch Open-Weight-Modelle wie Kimi K3, GLM 5.2 und DeepSeek V4.

Zur Bewertung setzt Netlify intern das Open-Source-Tool AXIS ein. AXIS führt automatisierte Testläufe durch, bei denen Prompts für den Bau und die Iteration von Websites verwendet werden. Geprüft werden funktionale Aspekte – etwa ob eine Datenbank korrekt eingebunden wird – und der Ressourcenverbrauch in Credits. Für den öffentlichen Vergleichstest wählte das Team einen subjektiveren Ansatz: Drei typische Anwendungsszenarien wurden definiert, die Modelle gebeten, jeweils eine Website zu generieren. Dieser Artikel stellt das erste Szenario vor – eine einfache Website für ein Café.

Prompt-Analyse

Der Prompt

Build a one-page site for a neighbourhood coffee shop: opening hours, the address, a short menu and a photo. Nothing on it changes unless I edit it myself.

Bestandteile

Der Prompt ist bewusst einfach gehalten. Er enthält mehrere wesentliche Elemente, die wir aufschlüsseln:

Rolle/Persona: Keine explizite Rolle wird definiert. Der Prompt spricht das Modell implizit als Webdesigner und -entwickler an. Der Kontext „neighbourhood coffee shop“ legt eine informelle, lokale Designrichtung nahe – das gibt kreativen Spielraum.

Kontext: Die Anforderungen sind klar: Öffnungszeiten, Adresse, eine kurze Speisekarte und ein Foto. Diese Informationen sind typisch für eine lokale Geschäftswebsite und dienen als inhaltliche Grundlage. Der Zusatz „for a neighbourhood coffee shop“ gibt eine stilistische Richtung vor – gemütlich und charmant, nicht hochglanz-kommerziell.

Aufgabe: Die Kernaufgabe ist die Erstellung einer einseitigen Website („one-page site“). Erwartet wird eine vollständige, funktionierende Website aus HTML, CSS und ggf. JavaScript, die alle genannten Informationen ansprechend präsentiert.

Output-Format: Das Format ist nicht explizit spezifiziert – stillschweigend wird eine Website in Form von Code (HTML/CSS) erwartet. Netlify setzt voraus, dass die Modelle vollständige Webseiten ausgeben, die in der Vorschau direkt gerendert werden können.

Constraints: Der letzte Satz „Nothing on it changes unless I edit it myself“ ist eine klare Einschränkung: Es darf kein Content-Management-System oder dynamische Backend-Funktionalität eingebaut werden – die Seite soll statisch sein. Diese Anweisung verhindert unnötig komplexe Architekturen wie Datenbanken oder Server-Funktionen, die für diesen Anwendungsfall überdimensioniert wären.

Der Prompt ist ein Paradebeispiel für gut formuliertes Prompt Engineering. Er ist präzise, gibt den gewünschten Funktionsumfang vor und lässt gleichzeitig kreative Freiheiten. Die Modelle erhalten genug Information, um eine sinnvolle Website zu bauen, aber keine Vorgaben zu Design oder Technologie. So werden die unterschiedlichen Stärken der Modelle sichtbar.

Interessant ist, dass Netlify zusätzlich zu diesem Haupt-Prompt automatisch „Skills“ in den Agent Runner einspeist, die UI-Designeinblicke liefern – etwa Warnungen vor typischen KI-Designfehlern wie „Purple AI Slop“. Diese Meta-Prompts sind nicht öffentlich, beeinflussen aber die Ausgabe mit.

Ergebnisse im Detail

Die folgende Tabelle fasst den durchschnittlichen Credit-Verbrauch der elf getesteten Modelle zusammen. Jedes Modell wurde dreimal mit dem identischen Prompt ausgeführt. Die Links zu den generierten Websites finden sich im Originalartikel.

Die Verteilung ist extrem: Claude Opus 5 verbraucht im Schnitt über 200-mal mehr Credits als DeepSeek V4 Flash. Aber die Kosten korrelieren nicht zwingend mit der Qualität. Laut Netlify erzeugte Claude Opus 5 in einem Lauf ein besonders ansprechendes Design mit zahlreichen Details – etwa ein animierbares Kaffee-Siegel und eine individuelle Karte. Zwei andere Läufe lieferten deutlich standardisiertere Ergebnisse. GPT 5.6 Terra zeigte trotz niedriger Kosten ein überraschend gutes Design, das sich von den anderen abhebt. Die Gemini-Modelle enttäuschten unterschiedlich: Gemini 3.1 Pro erzeugte sehr minimale Seiten, Gemini 3.6 Flash betrieb deutlich mehr Aufwand.

Diese Ergebnisse zeigen: Die Wahl des KI-Modells hängt stark vom Anwendungsfall und Budget ab. Für einfache statische Seiten können Modelle wie DeepSeek V4 Flash oder Kimi K2.7 Code ausreichen. Komplexere Anforderungen mit visuellen Ambitionen rechtfertigen teurere Modelle wie Claude Opus oder GPT 5.6 Sol. Netlify weist darauf hin, dass die Standardeinstellungen – etwa GPT 5.6 Sol mit „low effort“ – oft eine gute Balance bieten und zukünftig anpassbar sind.

Häufig gestellte Fragen

Warum unterscheiden sich die Ergebnisse der KI-Modelle so stark?

Die Unterschiede resultieren aus unterschiedlichen Trainingsdaten, Architekturen und Optimierungszielen. Einige Modelle sind auf Agentik und Long-Horizon-Aufgaben spezialisiert, andere auf kreatives Schreiben oder Codegenerierung. Da der Test keine expliziten Designvorgaben machte, treten die jeweiligen „Persönlichkeiten“ der Modelle deutlich hervor. Auch die Menge der verbrauchten Credits variiert, weil Modelle unterschiedlich viele Tokens generieren oder Denkschleifen durchführen.

Was sind Credits und wie beeinflussen sie die Wahl des Modells?

Credits sind die interne Währung von Netlify, mit der KI-Nutzung abgerechnet wird. Jeder Aufruf eines Modells verbraucht eine bestimmte Anzahl an Credits, abhängig von Komplexität und Token-Anzahl. Ein günstiges Modell mit niedrigem Credit-Verbrauch ist nicht automatisch schlechter – es kann für einfache Aufgaben ideal sein. Umgekehrt kann ein teures Modell bei komplexen Anforderungen Zeit sparen und bessere Ergebnisse liefern. Die Wahl hängt also von Budget und Anspruch ab.

Wie kann ich OpenRouter-Modelle in Netlify nutzen?

Durch die Partnerschaft mit OpenRouter sind alle Modelle, die über OpenRouter verfügbar sind, auch über den Netlify AI Gateway erreichbar. Entwickler können in ihren eigenen Web-Apps über eine API auf die Modelle zugreifen. Zusätzlich sind die Modelle in Agent Runners integriert, sodass sie direkt im Chat-Prompt von Netlify verwendet werden können. Die Konfiguration erfolgt über die Netlify-Dokumentation. Zusätzliche API-Schlüssel werden nicht benötigt, da Netlify die Abrechnung übernimmt.

Was ist Agent Runners und wie funktioniert es?

Agent Runners ist ein Feature von Netlify, das einen vollwertigen Coding-Agenten in der Kommandozeile oder Web-UI bereitstellt. Im Gegensatz zu simplen Chatbots kann der Agent Kontext aus dem Projekt heranziehen, Befehle ausführen und Netlify-spezifische Funktionen nutzen – etwa Netlify Database, AI Gateway oder Identity. Der Agent führt das ausgewählte Modell aus (z.B. Claude, GPT, Gemini oder OpenCode) und gibt ihm zusätzliche Skills und Projektinformationen, um präzise Ergebnisse zu liefern.

Wie kann ich die Qualität der generierten Websites beurteilen?

Die Qualität lässt sich anhand mehrerer Kriterien bewerten: Verwendet die Seite die richtige Technologie (statisch vs. dynamisch)? Sind die Inhalte korrekt und vollständig? Wie gut ist das visuelle Design? Gibt es Bugs oder fehlende Elemente? Netlify betont, dass ihre internen Tests funktionale Korrektheit priorisieren, während der öffentliche Vergleich auch subjektive Designaspekte berücksichtigt. Entwickler sollten daher eine eigene Testmatrix aufstellen, die auf ihre individuellen Anforderungen zugeschnitten ist.

Quelle

Basiert auf diesem Artikel.