Optim-Agent

Disziplinierter ask/tell-Loop für Black-Box-Parameter-Tuning gegen ein messbares Ziel

von Optim-Agent · Optim-Agent/optim-agent

Getestet · Funktioniert ★ 8.4/10

Optim-Agent — Disziplinierter ask/tell-Loop für Black-Box-Parameter-Tuning gegen ein messbares Ziel

Was es kann

Verwandelt den Agenten in einen sequentiellen Sampler für teure Black-Box-Optimierung: Code lesen, eine Konfiguration vorschlagen, den echten Evaluator ausführen, über eine ask/tell-Studie aufzeichnen und das gemessene Ziel entscheiden lassen. Verwendung für Hyperparameter-, Inferenz-, Quant-Strategie-, RL- oder wissenschaftliche Workflow-Optimierung. Unterstützt durch das pip package optim-agent.

Testbericht

Führte eine echte 12-Evaluierungs-Black-Box-Minimierung auf beide Weisen durch: Der disziplinierte ask/tell-Loop des Skills (Baseline zuerst, dann Exploration und Exploitation über die aufgezeichnete Historie) erreichte das Ziel 0.03 direkt neben dem wahren Optimum, während ungestütztes intuitives Raten beim gleichen Budget bei 1.58 stagnierte – etwa 98% niedriger. Es ist hervorzuheben, dass das pip package im Wesentlichen ein ask/tell-Ledger ist (seine einzigen Sampler sind Random und AgentSampler), sodass der Gewinn aus dem vorgeschriebenen Workflow stammt, nicht aus einem eingebauten Bayes'schen Optimierer.

Getestet am: 2026-07-17 · Claude Code 2.x (agent harness)

Installation

python -m pip install optim-agent
git clone https://github.com/Optim-Agent/optim-agent.git
mkdir -p ~/.claude/skills/optim-agent
cd optim-agent && cp SKILL.md ~/.claude/skills/optim-agent/SKILL.md

Befehle & Beispiel-Prompts

  • /optim-agentDisziplinierter ask/tell-Loop für Black-Box-Parameter-Tuning gegen ein messbares Ziel

Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):

  • Help me tune XGBoost hyperparameters to minimize validation loss
  • Need to find the best backtest threshold and budget for our Sharpe ratio
  • Tune the reward-shaping parameters in our RL agent against episode return