SkillProof tested Claude skills

Document Service

Wandelt eine Codebasis in CODEBASE_ANALYSIS.md mit Datei:Zeilen-Zitaten und Mermaid-Diagrammen um

von awslabs · awslabs/agent-plugins

Getestet · Funktioniert ★ 9.2/10

Document Service — Wandelt eine Codebasis in CODEBASE_ANALYSIS.md mit Datei:Zeilen-Zitaten und Mermaid-Diagrammen um

Was es kann

Analysiert eine bestehende Codebasis und schreibt eine einzelne CODEBASE_ANALYSIS.md, die Architektur, Request-Lebenszyklus, Datenmodelle, Bereitstellung, Konfiguration, Sicherheit, Fehlermodi und Timeout-Ketten abdeckt, mit einem klickbaren Datei:Zeilen-Zitat hinter jeder Behauptung und Inline-Mermaid-Diagrammen. Es führt eine outline-driven Pipeline aus (Dateibaum, Projekterkennung, sektionsweise Tiefenlesungen, Diskrepanzprüfung) und fügt AWS-spezifische Handhabung für CDK, CloudFormation und Terraform hinzu. Wird ausgelöst bei Anfragen wie „document this service“, „analyze this codebase“, „I inherited this code“ oder „this codebase has no docs“; es ist aus dem Bereich der Code-Reviews und Einzel-Funktions-Erklärungen ausgeschlossen.

Testbericht

Einen 7-Dateien-Beispiel-AWS-Dienst (FastAPI + CDK-Stack + 2 Unit-Tests + eine README, die über die Architektur lügt) in einem Scratch-Verzeichnis erstellt, dann zwei Docs dafür geschrieben: BASELINE.md ohne den Skill-Body und CODEBASE_ANALYSIS.md streng nach SKILL.md und references/technical-doc-template.md. Die Baseline war eine saubere, aber flache Beschreibung ohne Zitate, die berichtete: „Tests decken zwei Fälle ab, Ausführung mit pytest“; der Skill-Lauf – weil er die Überprüfung quantitativer Behauptungen durch Ausführung verlangt – zwang mich, score_receipt tatsächlich auszuführen, was zeigte, dass test_risky_merchant_bumps_score >0.5 behauptet, während die Funktion 0.4394 zurückgibt, d.h. die Suite ist rot. Seine obligatorischen Discrepancies- und Failure Modes-Tabellen deckten auch vier falsche README-Behauptungen auf (Lambda/Aurora/Cognito/nächtlicher Export vs. Fargate/DynamoDB/statischer Bearer-Token/toter Code), API_TOKEN nie in den CDK-Umgebungsblock verdrahtet, sodass der bereitgestellte Dienst sich mit dem Literal „dev-token“ authentifizieren würde, ContainerImage.fromAsset("../") ohne Dockerfile im Repo und eine nicht authentifizierte GET /receipts-Route – nichts davon erscheint in der Baseline. Installation in einem temporären HOME verifiziert (git clone + cp legten SKILL.md unter ~/.claude/skills/document-service/SKILL.md ab); alle 8 referenzierten reference/*.md-Dateien lieferten HTTP 200; keine curl|sh, base64-Blobs, Geheimnis-Exfiltration oder Injection-Text gefunden. Nicht getestet: die draw.io-Delegation an aws-architecture-diagram (nicht installiert, Mermaid-Fallback wie dokumentiert verwendet), drawio PNG-Export (nicht im PATH), die AWS MCP-Server und der .codebase-documentor-progress.md-Wiederaufnahmepfad für große Repos.

Getestet am: 2026-07-21 · Claude Code 2.x (agent harness)

Installation

git clone --depth 1 https://github.com/awslabs/agent-plugins.git /tmp/document-service-src
mkdir -p ~/.claude/skills
cp -R /tmp/document-service-src/plugins/codebase-documentor-for-aws/skills/document-service ~/.claude/skills/document-service
# Installs SKILL.md + references/ (8 files: template, citation format, discovery/framework/exclusion patterns, error scenarios, recursive analysis, business context).
# No API keys or runtime deps required for the core workflow; drawio CLI is optional (PNG export is skipped if absent).
# Optional: the skill tries the `aws-architecture-diagram` skill (deploy-on-aws plugin) for draw.io output and falls back to inline Mermaid when it is not installed.
# Optional MCP enrichment (awsknowledge HTTP + awsiac via uvx) ships with the parent plugin, not with this skill dir. To get those too, install the whole plugin instead:
#   /plugin install codebase-documentor-for-aws@agent-plugins-for-aws
# Usage: "document this service" or "analyze <dir> and generate technical docs" -> writes CODEBASE_ANALYSIS.md into the target directory.

Befehle & Beispiel-Prompts

  • /document-serviceWandelt eine Codebasis in CODEBASE_ANALYSIS.md mit Datei:Zeilen-Zitaten und Mermaid-Diagrammen um

Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):

  • Document this service's architecture from the code
  • Generate technical docs for this inherited codebase
  • Visualize the CDK architecture with source citations

Vollständiger Testbericht (Englisch) →