SkillProof tested Claude skills

Optim-Agent

Disciplinovaný ask/tell cyklus pro black-box parameter tuning proti měřitelnému cíli

od Optim-Agent · Optim-Agent/optim-agent

Otestováno · Funguje ★ 8.4/10

Optim-Agent — Disciplinovaný ask/tell cyklus pro black-box parameter tuning proti měřitelnému cíli

Co umí

Přemění agenta na sequential sampler pro expensive black-box optimization: read the code, propose one config, run the real evaluator, record via an ask/tell study, a let the measured objective decide. Používá se pro hyperparameter, inference, quant-strategy, RL nebo scientific-workflow tuning. Podporováno pip package optim-agent.

Testovací report

Spustil jsem real 12-evaluation black-box minimisation oběma způsoby: skill's disciplined ask/tell loop (baseline first, explore then exploit over recorded history) dosáhl objective 0.03 hned vedle true optimum, zatímco unaided intuition-guessing se zastavilo na 1.58 při stejném budgetu -- asi o 98% níže. Stojí za zmínku, že pip package je v podstatě ask/tell ledger (jeho jediné samplers jsou Random a AgentSampler), takže win pochází z prescribed workflow, nikoli z built-in Bayesian optimiser.

Testováno: 2026-07-17 · Claude Code 2.x (agent harness)

Instalace

python -m pip install optim-agent
git clone https://github.com/Optim-Agent/optim-agent.git
mkdir -p ~/.claude/skills/optim-agent
cd optim-agent && cp SKILL.md ~/.claude/skills/optim-agent/SKILL.md

Příkazy a ukázkové prompty

  • /optim-agentDisciplinovaný ask/tell cyklus pro black-box parameter tuning proti měřitelnému cíli

Skilly se spouštějí běžnými požadavky — žádné příkazy k zapamatování. Po instalaci ho aktivují prompty jako tyto (anglicky):

  • Help me tune XGBoost hyperparameters to minimize validation loss
  • Need to find the best backtest threshold and budget for our Sharpe ratio
  • Tune the reward-shaping parameters in our RL agent against episode return

Kompletní testovací report (anglicky) →