diff options
Diffstat (limited to 'ep_run/casc_bp_train.py')
| -rw-r--r-- | ep_run/casc_bp_train.py | 4 |
1 files changed, 3 insertions, 1 deletions
diff --git a/ep_run/casc_bp_train.py b/ep_run/casc_bp_train.py index 0b155d4..bed8d1c 100644 --- a/ep_run/casc_bp_train.py +++ b/ep_run/casc_bp_train.py @@ -13,7 +13,7 @@ ap.add_argument('--B', type=int, default=24); ap.add_argument('--steps', type=in ap.add_argument('--lr', type=float, default=3e-4); ap.add_argument('--warmup', type=int, default=200) ap.add_argument('--seed', type=int, default=0) ap.add_argument('--save_every', type=int, default=500); ap.add_argument('--log', type=int, default=200) -ap.add_argument('--wandb', default='ept-cascade') # ON BY DEFAULT (user directive 07-13); --wandb '' to disable +ap.add_argument('--wandb', default='auto') # ON BY DEFAULT; 'auto' = per-regime project (ept-fineweb-72m / ept-tinystories-42m); --wandb '' to disable ap.add_argument('--wandb_run', default='') ap.add_argument('--amp', action='store_true') # bf16 autocast fwd/loss (no scaler needed for bf16) ap.add_argument('--opt', choices=['adamw', 'muon'], default='adamw') @@ -183,6 +183,8 @@ def evaluate(nb=6): return tot / nb wb = None +if args.wandb == 'auto': + args.wandb = 'ept-fineweb-72m' if 'fineweb' in args.data else 'ept-tinystories-42m' if args.wandb: try: import wandb as _w |