summaryrefslogtreecommitdiff
path: root/ep_run
diff options
context:
space:
mode:
Diffstat (limited to 'ep_run')
-rw-r--r--ep_run/casc_bp_train.py3
-rw-r--r--ep_run/casc_eq_train.py3
2 files changed, 4 insertions, 2 deletions
diff --git a/ep_run/casc_bp_train.py b/ep_run/casc_bp_train.py
index 6f09d0c..db8ab52 100644
--- a/ep_run/casc_bp_train.py
+++ b/ep_run/casc_bp_train.py
@@ -13,7 +13,8 @@ ap.add_argument('--B', type=int, default=24); ap.add_argument('--steps', type=in
ap.add_argument('--lr', type=float, default=3e-4); ap.add_argument('--warmup', type=int, default=200)
ap.add_argument('--seed', type=int, default=0)
ap.add_argument('--save_every', type=int, default=500); ap.add_argument('--log', type=int, default=200)
-ap.add_argument('--wandb', default='ept-cascade') # ON BY DEFAULT (user directive 07-13); pass --wandb '' to disable; ap.add_argument('--wandb_run', default='')
+ap.add_argument('--wandb', default='ept-cascade') # ON BY DEFAULT (user directive 07-13); --wandb '' to disable
+ap.add_argument('--wandb_run', default='')
ap.add_argument('--amp', action='store_true') # bf16 autocast fwd/loss (no scaler needed for bf16)
ap.add_argument('--opt', choices=['adamw', 'muon'], default='adamw')
ap.add_argument('--muon_lr', type=float, default=0.02)
diff --git a/ep_run/casc_eq_train.py b/ep_run/casc_eq_train.py
index d5d429a..18b58e1 100644
--- a/ep_run/casc_eq_train.py
+++ b/ep_run/casc_eq_train.py
@@ -17,7 +17,8 @@ ap.add_argument('--beta', type=float, default=0.003); ap.add_argument('--seed',
ap.add_argument('--K', type=int, default=3) # fb (message-passing) rounds
ap.add_argument('--geta', type=float, default=1.0) # fb mixing (1.0 = undamped)
ap.add_argument('--save_every', type=int, default=1000); ap.add_argument('--log', type=int, default=100)
-ap.add_argument('--wandb', default='ept-cascade') # ON BY DEFAULT (user directive 07-13); pass --wandb '' to disable; ap.add_argument('--wandb_run', default='')
+ap.add_argument('--wandb', default='ept-cascade') # ON BY DEFAULT (user directive 07-13); --wandb '' to disable
+ap.add_argument('--wandb_run', default='')
ap.add_argument('--kmax', type=int, default=8) # adaptive fb rounds cap
ap.add_argument('--noguard', action='store_true') # diagnosis: skip only non-finite grads
ap.add_argument('--untie', action='store_true') # separate readout matrix (untied from tok)