blob: ef6238802aaa0ce99a3a4eeff1d3407401cefe99 (plain)

ofs	hex dump	ascii
0000	f3 0d 0d 0a 00 00 00 00 d4 b9 c1 69 7c 12 00 00 e3 00 00 00 00 00 00 00 00 00 00 00 00 06 00 00	...........i|...................
0020	00 00 00 00 00 f3 b2 00 00 00 95 00 53 00 72 00 53 01 53 02 4b 01 72 01 53 01 53 02 4b 02 4a 03	............S.r.S.S.K.r.S.S.K.J.
0040	73 02 20 00 4a 04 72 05 20 00 53 01 53 02 4b 06 72 07 53 01 53 03 4b 08 4a 09 72 09 20 00 53 04	s...J.r...S.S.K.r.S.S.K.J.r...S.
0060	5c 01 52 14 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 05 5c 01 52 14 00 00 00 00	\.R...................S.\.R.....
0080	00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 06 5c 01 52 14 00 00 00 00 00 00 00 00 00 00 00 00	..............S.\.R.............
00a0	00 00 00 00 00 00 34 06 53 07 1a 00 6a 04 72 0b 53 0d 53 08 1a 00 6a 01 72 0c 53 0e 53 09 1a 00	......4.S...j.r.S.S...j.r.S.S...
00c0	6a 01 72 0d 53 0a 1a 00 72 0e 53 0f 53 0b 1a 00 6a 01 72 0f 53 0c 1a 00 72 10 67 02 29 10 7a db	j.r.S...r.S.S...j.r.S...r.g.).z.
00e0	0a 43 72 65 64 69 74 20 61 73 73 69 67 6e 6d 65 6e 74 20 64 69 61 67 6e 6f 73 74 69 63 20 6d 65	.Credit.assignment.diagnostic.me
0100	74 72 69 63 73 3a 0a 31 2e 20 45 78 61 63 74 20 63 6f 73 74 61 74 65 20 63 6f 73 69 6e 65 20 28	trics:.1..Exact.costate.cosine.(
0120	66 6f 72 20 74 6f 79 20 4c 51 29 0a 32 2e 20 4c 6f 63 61 6c 20 70 65 72 74 75 72 62 61 74 69 6f	for.toy.LQ).2..Local.perturbatio
0140	6e 20 63 6f 72 72 65 6c 61 74 69 6f 6e 20 72 68 6f 5f 6c 0a 33 2e 20 4e 75 64 67 69 6e 67 20 74	n.correlation.rho_l.3..Nudging.t
0160	65 73 74 20 44 65 6c 74 61 5f 6c 5e 6e 75 64 67 65 0a 34 2e 20 4f 66 66 6c 69 6e 65 20 42 50 20	est.Delta_l^nudge.4..Offline.BP.
0180	63 6f 73 69 6e 65 20 47 61 6d 6d 61 5f 6c 0a 35 2e 20 42 72 69 64 67 65 20 72 65 73 69 64 75 61	cosine.Gamma_l.5..Bridge.residua
01a0	6c 20 52 5f 6c 0a 36 2e 20 46 65 61 74 75 72 65 20 64 72 69 66 74 20 4d 5f 6c 0a e9 00 00 00 00	l.R_l.6..Feature.drift.M_l......
01c0	4e 29 01 da 08 70 65 61 72 73 6f 6e 72 da 01 61 da 01 62 da 06 72 65 74 75 72 6e 63 02 00 00 00	N)...pearsonr..a..b..returnc....
01e0	00 00 00 00 00 00 00 00 06 00 00 00 03 00 00 00 f3 e4 00 00 00 95 00 55 00 52 01 00 00 00 00 00	.......................U.R......
0200	00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 02 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	.............U.R................
0220	00 00 00 53 01 05 00 00 00 53 02 35 02 00 00 00 00 00 00 6e 02 55 01 52 01 00 00 00 00 00 00 00	...S.....S.5.......n.U.R........
0240	00 00 00 00 00 00 00 00 00 00 00 55 01 52 02 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	...........U.R..................
0260	00 53 01 05 00 00 00 53 02 35 02 00 00 00 00 00 00 6e 03 5b 04 00 00 00 00 00 00 00 00 52 06 00	.S.....S.5.......n.[.........R..
0280	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 23 53 02 53 03 39 03 6e 04 55 04 52	.................".X#S.S.9.n.U.R
02a0	09 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 52 0b 00 00 00	...................5.......R....
02c0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 24 00 29 04 7a 4e 43 6f 6d	...............5.......$.).zNCom
02e0	70 75 74 65 20 63 6f 73 69 6e 65 20 73 69 6d 69 6c 61 72 69 74 79 20 62 65 74 77 65 65 6e 20 61	pute.cosine.similarity.between.a
0300	20 61 6e 64 20 62 20 61 6c 6f 6e 67 20 6c 61 73 74 20 64 69 6d 2c 20 61 76 65 72 61 67 65 64 20	.and.b.along.last.dim,.averaged.
0320	6f 76 65 72 20 62 61 74 63 68 2e 72 02 00 00 00 e9 ff ff ff ff a9 01 da 03 64 69 6d 29 06 da 07	over.batch.r.............dim)...
0340	72 65 73 68 61 70 65 da 05 73 68 61 70 65 da 01 46 da 11 63 6f 73 69 6e 65 5f 73 69 6d 69 6c 61	reshape..shape..F..cosine_simila
0360	72 69 74 79 da 04 6d 65 61 6e da 04 69 74 65 6d 29 05 72 04 00 00 00 72 05 00 00 00 da 06 61 5f	rity..mean..item).r....r......a_
0380	66 6c 61 74 da 06 62 5f 66 6c 61 74 da 03 63 6f 73 73 05 00 00 00 20 20 20 20 20 da 2a 2f 68 6f	flat..b_flat..coss..........*/ho
03a0	6d 65 2f 79 75 72 65 6e 68 32 2f 66 61 2f 6d 65 74 72 69 63 73 2f 63 72 65 64 69 74 5f 6d 65 74	me/yurenh2/fa/metrics/credit_met
03c0	72 69 63 73 2e 70 79 da 17 63 6f 73 69 6e 65 5f 73 69 6d 69 6c 61 72 69 74 79 5f 62 61 74 63 68	rics.py..cosine_similarity_batch
03e0	72 15 00 00 00 10 00 00 00 73 57 00 00 00 80 00 e0 0d 0e 8f 59 89 59 90 71 97 77 91 77 98 71 91	r........sW.........Y.Y.q.w.w.q.
0400	7a a0 32 d3 0d 26 80 46 d8 0d 0e 8f 59 89 59 90 71 97 77 91 77 98 71 91 7a a0 32 d3 0d 26 80 46	z.2..&.F....Y.Y.q.w.w.q.z.2..&.F
0420	dc 0a 0b d7 0a 1d d2 0a 1d 98 66 b0 22 d1 0a 35 80 43 d8 0b 0e 8f 38 89 38 8b 3a 8f 3f 89 3f d3	..........f."..5.C....8.8.:.?.?.
0440	0b 1c d0 04 1c f3 00 00 00 00 63 05 00 00 00 00 00 00 00 00 00 00 00 07 00 00 00 03 00 00 00 f3	..........c.....................
0460	f2 02 00 00 95 00 55 00 52 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 75 02 00 00	......U.R...................u...
0480	70 56 55 00 52 02 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 6e 07 2f 00 6e 08 2f 00	pVU.R...................n./.n./.
04a0	6e 09 55 02 22 00 55 00 35 01 00 00 00 00 00 00 6e 0a 5b 05 00 00 00 00 00 00 00 00 55 04 35 01	n.U.".U.5.......n.[.........U.5.
04c0	00 00 00 00 00 00 13 00 48 c8 00 00 6e 0b 5b 06 00 00 00 00 00 00 00 00 52 08 00 00 00 00 00 00	........H...n.[.........R.......
04e0	00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 56 55 07 53 01 39 03 6e 0c 58 cc 52 0b 00 00 00 00	............".XVU.S.9.n.X.R.....
0500	00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 02 53 03 53 04 39 02 53 05 2d 00 00 00 2d 0b 00 00	..............S.S.S.9.S.-...-...
0520	6e 0c 58 13 55 0c 2d 05 00 00 2d 05 00 00 52 0d 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	n.X.U.-...-...R.................
0540	00 00 53 02 53 06 39 01 6e 0d 55 02 22 00 58 03 55 0c 2d 05 00 00 2d 00 00 00 35 01 00 00 00 00	..S.S.9.n.U.".X.U.-...-...5.....
0560	00 00 6e 0e 58 ea 2d 0a 00 00 6e 0f 55 08 52 0f 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	..n.X.-...n.U.R.................
0580	00 00 55 0d 52 11 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00	..U.R...................5.......
05a0	52 13 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 52 15 00 00	R...................5.......R...
05c0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 35 01 00 00 00 00 00 00	................5.......5.......
05e0	20 00 55 09 52 0f 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 0f 52 11 00 00 00 00	..U.R...................U.R.....
0600	00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 52 13 00 00 00 00 00 00 00 00	..............5.......R.........
0620	00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 52 15 00 00 00 00 00 00 00 00 00 00 00 00	..........5.......R.............
0640	00 00 00 00 00 00 35 00 00 00 00 00 00 00 35 01 00 00 00 00 00 00 20 00 4d ca 00 00 0b 00 20 00	......5.......5.........M.......
0660	5b 16 00 00 00 00 00 00 00 00 52 18 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00	[.........R...................".
0680	55 08 35 01 00 00 00 00 00 00 6e 10 5b 16 00 00 00 00 00 00 00 00 52 18 00 00 00 00 00 00 00 00	U.5.......n.[.........R.........
06a0	00 00 00 00 00 00 00 00 00 00 22 00 55 09 35 01 00 00 00 00 00 00 6e 11 5b 16 00 00 00 00 00 00	..........".U.5.......n.[.......
06c0	00 00 52 1a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 55 10 35 01 00 00 00 00	..R...................".U.5.....
06e0	00 00 53 07 3a 12 00 00 64 1a 00 00 5b 16 00 00 00 00 00 00 00 00 52 1a 00 00 00 00 00 00 00 00	..S.:...d...[.........R.........
0700	00 00 00 00 00 00 00 00 00 00 22 00 55 11 35 01 00 00 00 00 00 00 53 07 3a 12 00 00 61 01 00 00	..........".U.5.......S.:...a...
0720	67 08 5b 1d 00 00 00 00 00 00 00 00 55 10 55 11 35 02 00 00 00 00 00 00 75 02 00 00 6e 12 6e 0b	g.[.........U.U.5.......u...n.n.
0740	5b 1f 00 00 00 00 00 00 00 00 55 12 35 01 00 00 00 00 00 00 24 00 29 09 61 86 01 00 00 0a 43 6f	[.........U.5.......$.).a.....Co
0760	6d 70 75 74 65 20 6c 6f 63 61 6c 20 70 65 72 74 75 72 62 61 74 69 6f 6e 20 63 6f 72 72 65 6c 61	mpute.local.perturbation.correla
0780	74 69 6f 6e 20 72 68 6f 5f 6c 2e 0a 0a 41 72 67 73 3a 0a 20 20 20 20 68 5f 6c 3a 20 28 62 61 74	tion.rho_l...Args:.....h_l:.(bat
07a0	63 68 2c 20 64 29 20 68 69 64 64 65 6e 20 73 74 61 74 65 20 61 74 20 6c 61 79 65 72 20 6c 0a 20	ch,.d).hidden.state.at.layer.l..
07c0	20 20 20 61 5f 6c 3a 20 28 62 61 74 63 68 2c 20 64 29 20 63 72 65 64 69 74 20 73 69 67 6e 61 6c	...a_l:.(batch,.d).credit.signal
07e0	20 61 74 20 6c 61 79 65 72 20 6c 0a 20 20 20 20 66 6f 72 77 61 72 64 5f 66 6e 3a 20 63 61 6c 6c	.at.layer.l.....forward_fn:.call
0800	61 62 6c 65 20 74 68 61 74 20 74 61 6b 65 73 20 68 5f 6c 20 2d 3e 20 73 63 61 6c 61 72 20 6c 6f	able.that.takes.h_l.->.scalar.lo
0820	73 73 20 28 61 76 65 72 61 67 65 64 20 6f 76 65 72 20 62 61 74 63 68 20 64 69 6d 73 20 68 61 6e	ss.(averaged.over.batch.dims.han
0840	64 6c 65 64 20 69 6e 73 69 64 65 29 0a 20 20 20 20 65 70 73 69 6c 6f 6e 3a 20 70 65 72 74 75 72	dled.inside).....epsilon:.pertur
0860	62 61 74 69 6f 6e 20 6d 61 67 6e 69 74 75 64 65 0a 20 20 20 20 4d 3a 20 6e 75 6d 62 65 72 20 6f	bation.magnitude.....M:.number.o
0880	66 20 72 61 6e 64 6f 6d 20 64 69 72 65 63 74 69 6f 6e 73 0a 0a 52 65 74 75 72 6e 73 3a 0a 20 20	f.random.directions..Returns:...
08a0	20 20 72 68 6f 3a 20 50 65 61 72 73 6f 6e 20 63 6f 72 72 65 6c 61 74 69 6f 6e 20 62 65 74 77 65	..rho:.Pearson.correlation.betwe
08c0	65 6e 20 70 72 65 64 69 63 74 65 64 20 61 6e 64 20 74 72 75 65 20 6c 6f 73 73 20 63 68 61 6e 67	en.predicted.and.true.loss.chang
08e0	65 73 0a 29 01 da 06 64 65 76 69 63 65 72 08 00 00 00 54 a9 02 72 0a 00 00 00 da 07 6b 65 65 70	es.)...devicer....T..r......keep
0900	64 69 6d e7 3a 8c 30 e2 8e 79 45 3e 72 09 00 00 00 67 11 ea 2d 81 99 97 71 3d 67 00 00 00 00 00	dim.:.0..yE>r....g..-...q=g.....
0920	00 00 00 29 10 72 0c 00 00 00 72 18 00 00 00 da 05 72 61 6e 67 65 da 05 74 6f 72 63 68 da 05 72	...).r....r......range..torch..r
0940	61 6e 64 6e da 04 6e 6f 72 6d da 03 73 75 6d da 06 61 70 70 65 6e 64 da 06 64 65 74 61 63 68 da	andn..norm..sum..append..detach.
0960	03 63 70 75 da 05 6e 75 6d 70 79 da 02 6e 70 da 0b 63 6f 6e 63 61 74 65 6e 61 74 65 da 03 73 74	.cpu..numpy..np..concatenate..st
0980	64 72 03 00 00 00 da 05 66 6c 6f 61 74 29 13 da 03 68 5f 6c da 03 61 5f 6c da 0a 66 6f 72 77 61	dr......float)...h_l..a_l..forwa
09a0	72 64 5f 66 6e da 07 65 70 73 69 6c 6f 6e da 01 4d da 0a 62 61 74 63 68 5f 73 69 7a 65 da 01 64	rd_fn..epsilon..M..batch_size..d
09c0	72 18 00 00 00 da 09 70 72 65 64 5f 6c 69 73 74 da 09 74 72 75 65 5f 6c 69 73 74 da 09 62 61 73	r......pred_list..true_list..bas
09e0	65 5f 6c 6f 73 73 da 01 5f da 01 76 da 0a 64 65 6c 74 61 5f 70 72 65 64 da 0e 70 65 72 74 75 72	e_loss.._..v..delta_pred..pertur
0a00	62 65 64 5f 6c 6f 73 73 da 0a 64 65 6c 74 61 5f 74 72 75 65 da 08 70 72 65 64 5f 61 72 72 da 08	bed_loss..delta_true..pred_arr..
0a20	74 72 75 65 5f 61 72 72 da 03 72 68 6f 73 13 00 00 00 20 20 20 20 20 20 20 20 20 20 20 20 20 20	true_arr..rhos..................
0a40	20 20 20 20 20 72 14 00 00 00 da 18 70 65 72 74 75 72 62 61 74 69 6f 6e 5f 63 6f 72 72 65 6c 61	.....r......perturbation_correla
0a60	74 69 6f 6e 72 3b 00 00 00 18 00 00 00 73 48 01 00 00 80 00 f0 1c 00 15 18 97 49 91 49 81 4d 80	tionr;.......sH...........I.I.M.
0a80	4a d8 0d 10 8f 5a 89 5a 80 46 e0 10 12 80 49 d8 10 12 80 49 e1 10 1a 98 33 93 0f 80 49 e4 0d 12	J....Z.Z.F....I....I....3...I...
0aa0	90 31 8e 58 88 01 dc 0c 11 8f 4b 8a 4b 98 0a a8 66 d1 0c 35 88 01 d8 0c 0d 97 16 91 16 98 42 a8	.1.X......K.K...f..5..........B.
0ac0	04 90 16 d0 11 2d b0 04 d1 11 34 d1 0c 35 88 01 f0 06 00 17 1a a0 71 99 5b d1 16 29 d7 15 2e d1	.....-....4..5........q.[..)....
0ae0	15 2e b0 32 d0 15 2e d0 15 36 88 0a f1 06 00 1a 24 a0 43 b0 41 a9 2b d1 24 35 d3 19 36 88 0e d8	...2.....6......$.C.A.+.$5..6...
0b00	15 23 d1 15 2f 88 0a e0 08 11 d7 08 18 d1 08 18 98 1a d7 19 2a d1 19 2a d3 19 2c d7 19 30 d1 19	.#../...............*..*..,..0..
0b20	30 d3 19 32 d7 19 38 d1 19 38 d3 19 3a d4 08 3b d8 08 11 d7 08 18 d1 08 18 98 1a d7 19 2a d1 19	0..2..8..8..:..;.............*..
0b40	2a d3 19 2c d7 19 30 d1 19 30 d3 19 32 d7 19 38 d1 19 38 d3 19 3a d6 08 3b f1 19 00 0e 16 f4 1c	*..,..0..0..2..8..8..:..;.......
0b60	00 10 12 8f 7e 8a 7e 98 69 d3 0f 28 80 48 dc 0f 11 8f 7e 8a 7e 98 69 d3 0f 28 80 48 e4 07 09 87	....~.~.i..(.H....~.~.i..(.H....
0b80	76 82 76 88 68 d3 07 17 98 25 d3 07 1f a4 32 a7 36 a2 36 a8 28 d3 23 33 b0 65 d3 23 3b d8 0f 12	v.v.h....%....2.6.6.(.#3.e.#;...
0ba0	e4 0d 15 90 68 a0 08 d3 0d 29 81 46 80 43 88 11 dc 0b 10 90 13 8b 3a d0 04 15 72 16 00 00 00 63	....h....).F.C........:...r....c
0bc0	04 00 00 00 00 00 00 00 00 00 00 00 05 00 00 00 03 00 00 00 f3 c4 00 00 00 95 00 55 01 53 01 2d	...........................U.S.-
0be0	08 00 00 52 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 02 53 03 53 04 39 02 52	...R...................S.S.S.9.R
0c00	03 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 53 05 2d 00 00	...................5.......S.-..
0c20	00 6e 04 58 14 2d 0b 00 00 6e 05 58 03 55 05 2d 05 00 00 2d 0a 00 00 6e 06 55 02 22 00 55 00 35	.n.X.-...n.X.U.-...-...n.U.".U.5
0c40	01 00 00 00 00 00 00 6e 07 55 02 22 00 55 06 35 01 00 00 00 00 00 00 6e 08 58 87 2d 0a 00 00 52	.......n.U.".U.5.......n.X.-...R
0c60	01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 52 05 00 00 00	...................5.......R....
0c80	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 6e 09 55 09 24 00 29 06 61	...............5.......n.U.$.).a
0ca0	0b 01 00 00 0a 4e 75 64 67 69 6e 67 20 74 65 73 74 3a 20 63 68 65 63 6b 20 69 66 20 6d 6f 76 69	.....Nudging.test:.check.if.movi
0cc0	6e 67 20 68 5f 6c 20 69 6e 20 2d 61 5f 6c 20 64 69 72 65 63 74 69 6f 6e 20 64 65 63 72 65 61 73	ng.h_l.in.-a_l.direction.decreas
0ce0	65 73 20 6c 6f 73 73 2e 0a 0a 41 72 67 73 3a 0a 20 20 20 20 68 5f 6c 3a 20 28 62 61 74 63 68 2c	es.loss...Args:.....h_l:.(batch,
0d00	20 64 29 20 68 69 64 64 65 6e 20 73 74 61 74 65 0a 20 20 20 20 61 5f 6c 3a 20 28 62 61 74 63 68	.d).hidden.state.....a_l:.(batch
0d20	2c 20 64 29 20 63 72 65 64 69 74 20 73 69 67 6e 61 6c 0a 20 20 20 20 66 6f 72 77 61 72 64 5f 66	,.d).credit.signal.....forward_f
0d40	6e 3a 20 63 61 6c 6c 61 62 6c 65 20 68 20 2d 3e 20 6c 6f 73 73 20 70 65 72 20 73 61 6d 70 6c 65	n:.callable.h.->.loss.per.sample
0d60	20 28 62 61 74 63 68 2c 29 0a 20 20 20 20 65 74 61 3a 20 73 74 65 70 20 73 69 7a 65 0a 0a 52 65	.(batch,).....eta:.step.size..Re
0d80	74 75 72 6e 73 3a 0a 20 20 20 20 6d 65 61 6e 20 64 65 6c 74 61 5f 6e 75 64 67 65 20 28 6e 65 67	turns:.....mean.delta_nudge.(neg
0da0	61 74 69 76 65 20 69 73 20 67 6f 6f 64 29 0a e9 02 00 00 00 72 08 00 00 00 54 72 19 00 00 00 67	ative.is.good)......r....Tr....g
0dc0	8d ed b5 a0 f7 c6 b0 3e 29 03 72 0f 00 00 00 da 04 73 71 72 74 72 10 00 00 00 29 0a 72 29 00 00	.......>).r......sqrtr....).r)..
0de0	00 72 2a 00 00 00 72 2b 00 00 00 da 03 65 74 61 da 05 72 6d 73 5f 61 da 08 61 5f 6e 6f 72 6d 65	.r*...r+.....eta..rms_a..a_norme
0e00	64 da 08 68 5f 6e 75 64 67 65 64 72 32 00 00 00 da 0b 6e 75 64 67 65 64 5f 6c 6f 73 73 da 05 64	d..h_nudgedr2.....nudged_loss..d
0e20	65 6c 74 61 73 0a 00 00 00 20 20 20 20 20 20 20 20 20 20 72 14 00 00 00 da 0c 6e 75 64 67 69 6e	eltas..............r......nudgin
0e40	67 5f 74 65 73 74 72 45 00 00 00 46 00 00 00 73 6d 00 00 00 80 00 f0 1a 00 0e 11 90 41 89 58 8f	g_testrE...F...sm...........A.X.
0e60	4f 89 4f a0 02 a8 44 88 4f d0 0c 31 d7 0c 36 d1 0c 36 d3 0c 38 b8 34 d1 0c 3f 80 45 d8 0f 12 89	O.O...D.O..1..6..6..8.4..?.E....
0e80	7b 80 48 d8 0f 12 98 38 91 5e d1 0f 23 80 48 e1 10 1a 98 33 93 0f 80 49 d9 12 1c 98 58 d3 12 26	{.H....8.^..#.H....3...I....X..&
0ea0	80 4b d8 0d 18 d1 0d 24 d7 0c 2a d1 0c 2a d3 0c 2c d7 0c 31 d1 0c 31 d3 0c 33 80 45 d8 0b 10 80	.K.....$..*..*..,..1..1..3.E....
0ec0	4c 72 16 00 00 00 63 02 00 00 00 00 00 00 00 00 00 00 00 04 00 00 00 03 00 00 00 f3 18 00 00 00	Lr....c.........................
0ee0	95 00 5b 01 00 00 00 00 00 00 00 00 58 01 35 02 00 00 00 00 00 00 24 00 29 01 7a 77 0a 43 6f 6d	..[.........X.5.......$.).zw.Com
0f00	70 75 74 65 20 6f 66 66 6c 69 6e 65 20 42 50 20 63 6f 73 69 6e 65 20 73 69 6d 69 6c 61 72 69 74	pute.offline.BP.cosine.similarit
0f20	79 2e 0a 61 5f 6c 3a 20 28 62 61 74 63 68 2c 20 64 29 20 63 72 65 64 69 74 20 73 69 67 6e 61 6c	y..a_l:.(batch,.d).credit.signal
0f40	0a 62 70 5f 67 72 61 64 5f 6c 3a 20 28 62 61 74 63 68 2c 20 64 29 20 74 72 75 65 20 42 50 20 67	.bp_grad_l:.(batch,.d).true.BP.g
0f60	72 61 64 69 65 6e 74 20 61 74 20 6c 61 79 65 72 20 6c 0a 29 01 72 15 00 00 00 29 02 72 2a 00 00	radient.at.layer.l.).r....).r*..
0f80	00 da 09 62 70 5f 67 72 61 64 5f 6c 73 02 00 00 00 20 20 72 14 00 00 00 da 11 6f 66 66 6c 69 6e	...bp_grad_ls......r......offlin
0fa0	65 5f 62 70 5f 63 6f 73 69 6e 65 72 48 00 00 00 5d 00 00 00 73 0f 00 00 00 80 00 f4 0c 00 0c 23	e_bp_cosinerH...]...s..........#
0fc0	a0 33 d3 0b 32 d0 04 32 72 16 00 00 00 63 08 00 00 00 00 00 00 00 00 00 00 00 07 00 00 00 03 00	.3..2..2r....c..................
0fe0	00 00 f3 cc 01 00 00 95 00 5b 00 00 00 00 00 00 00 00 00 52 02 00 00 00 00 00 00 00 00 00 00 00	.........[.........R............
1000	00 00 00 00 00 00 00 22 00 35 00 00 00 00 00 00 00 02 00 20 00 55 00 22 00 58 23 55 04 35 03 00	.......".5...........U.".X#U.5..
1020	00 00 00 00 00 6e 08 5b 05 00 00 00 00 00 00 00 00 55 05 35 01 00 00 00 00 00 00 6e 09 2f 00 6e	.....n.[.........U.5.......n./.n
1040	0a 55 05 13 00 48 21 00 00 6e 0b 55 01 22 00 58 b6 55 04 35 03 00 00 00 00 00 00 6e 0c 55 0a 52	.U...H!..n.U.".X.U.5.......n.U.R
1060	07 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 0c 2a 00 55 07 2d 0b 00 00 35 01 00	...................U.*.U.-...5..
1080	00 00 00 00 00 20 00 4d 23 00 00 0b 00 20 00 5b 00 00 00 00 00 00 00 00 00 52 08 00 00 00 00 00	.......M#......[.........R......
10a0	00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 55 0a 53 01 53 02 39 02 6e 0a 55 07 2a 00 5b 00 00	.............".U.S.S.9.n.U.*.[..
10c0	00 00 00 00 00 00 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 55 0a 53	.......R...................".U.S
10e0	01 53 02 39 02 2d 05 00 00 55 07 5b 0c 00 00 00 00 00 00 00 00 52 0e 00 00 00 00 00 00 00 00 00	.S.9.-...U.[.........R..........
1100	00 00 00 00 00 00 00 00 00 22 00 55 09 35 01 00 00 00 00 00 00 2d 05 00 00 2d 00 00 00 6e 0d 58	.........".U.5.......-...-...n.X
1120	8d 2d 0a 00 00 52 11 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00	.-...R...................5......
1140	00 52 13 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 52 15 00	.R...................5.......R..
1160	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 6e 0e 53 03 53 03 53	.................5.......n.S.S.S
1180	03 35 02 00 00 00 00 00 00 20 00 55 0e 24 00 21 00 2c 00 28 00 00 00 00 00 00 00 64 01 00 00 66	.5.........U.$.!.,.(.......d...f
11a0	02 20 00 1f 00 20 00 20 00 57 0e 24 00 3d 03 1f 00 66 01 29 04 61 43 01 00 00 0a 43 6f 6d 70 75	.........W.$.=...f.).aC....Compu
11c0	74 65 20 62 72 69 64 67 65 20 72 65 73 69 64 75 61 6c 20 52 5f 6c 2e 0a 0a 41 72 67 73 3a 0a 20	te.bridge.residual.R_l...Args:..
11e0	20 20 20 56 5f 70 68 69 3a 20 76 61 6c 75 65 20 6e 65 74 77 6f 72 6b 0a 20 20 20 20 56 5f 62 61	...V_phi:.value.network.....V_ba
1200	72 5f 70 68 69 3a 20 45 4d 41 20 74 61 72 67 65 74 20 76 61 6c 75 65 20 6e 65 74 77 6f 72 6b 0a	r_phi:.EMA.target.value.network.
1220	20 20 20 20 68 5f 6c 3a 20 28 62 61 74 63 68 2c 20 64 29 0a 20 20 20 20 74 5f 6c 3a 20 28 62 61	....h_l:.(batch,.d).....t_l:.(ba
1240	74 63 68 2c 29 0a 20 20 20 20 73 3a 20 28 62 61 74 63 68 2c 20 73 5f 64 69 6d 29 0a 20 20 20 20	tch,).....s:.(batch,.s_dim).....
1260	68 5f 6c 5f 6e 65 78 74 5f 6e 6f 69 73 79 5f 6c 69 73 74 3a 20 6c 69 73 74 20 6f 66 20 4b 20 74	h_l_next_noisy_list:.list.of.K.t
1280	65 6e 73 6f 72 73 20 28 62 61 74 63 68 2c 20 64 29 2c 20 6e 6f 69 73 79 20 6e 65 78 74 20 73 74	ensors.(batch,.d),.noisy.next.st
12a0	61 74 65 73 0a 20 20 20 20 74 5f 6c 5f 6e 65 78 74 3a 20 28 62 61 74 63 68 2c 29 0a 20 20 20 20	ates.....t_l_next:.(batch,).....
12c0	6c 61 6d 3a 20 74 65 6d 70 65 72 61 74 75 72 65 0a 0a 52 65 74 75 72 6e 73 3a 0a 20 20 20 20 6d	lam:.temperature..Returns:.....m
12e0	65 61 6e 20 61 62 73 6f 6c 75 74 65 20 62 72 69 64 67 65 20 72 65 73 69 64 75 61 6c 0a 72 08 00	ean.absolute.bridge.residual.r..
1300	00 00 72 09 00 00 00 4e 29 0b 72 1d 00 00 00 da 07 6e 6f 5f 67 72 61 64 da 03 6c 65 6e 72 21 00	..r....N).r......no_grad..lenr!.
1320	00 00 da 05 73 74 61 63 6b da 09 6c 6f 67 73 75 6d 65 78 70 72 25 00 00 00 da 03 6c 6f 67 da 03	....stack..logsumexpr%.....log..
1340	61 62 73 72 0f 00 00 00 72 10 00 00 00 29 0f da 05 56 5f 70 68 69 da 09 56 5f 62 61 72 5f 70 68	absr....r....)...V_phi..V_bar_ph
1360	69 72 29 00 00 00 da 03 74 5f 6c da 01 73 da 13 68 5f 6c 5f 6e 65 78 74 5f 6e 6f 69 73 79 5f 6c	ir).....t_l..s..h_l_next_noisy_l
1380	69 73 74 da 08 74 5f 6c 5f 6e 65 78 74 da 03 6c 61 6d da 09 56 5f 63 75 72 72 65 6e 74 da 01 4b	ist..t_l_next..lam..V_current..K
13a0	da 09 6c 6f 67 5f 74 65 72 6d 73 da 06 68 5f 6e 65 78 74 da 06 56 5f 6e 65 78 74 da 08 56 5f 74	..log_terms..h_next..V_next..V_t
13c0	61 72 67 65 74 da 08 72 65 73 69 64 75 61 6c 73 0f 00 00 00 20 20 20 20 20 20 20 20 20 20 20 20	arget..residuals................
13e0	20 20 20 72 14 00 00 00 da 0f 62 72 69 64 67 65 5f 72 65 73 69 64 75 61 6c 72 5e 00 00 00 66 00	...r......bridge_residualr^...f.
1400	00 00 73 cd 00 00 00 80 00 f4 22 00 0a 0f 8f 1d 8a 1d 8d 1f d9 14 19 98 23 a0 41 d3 14 26 88 09	..s.......".............#.A..&..
1420	f4 06 00 0d 10 d0 10 23 d3 0c 24 88 01 d8 14 16 88 09 db 16 29 88 46 d9 15 1e 98 76 b0 11 d3 15	.......#..$.........).F....v....
1440	33 88 46 d8 0c 15 d7 0c 1c d1 0c 1c 98 66 98 57 a0 73 99 5d d6 0c 2b f1 05 00 17 2a f4 08 00 15	3.F..........f.W.s.]..+....*....
1460	1a 97 4b 92 4b a0 09 a8 72 d1 14 32 88 09 d8 14 17 90 34 9c 25 9f 2f 9a 2f a8 29 b8 12 d1 1a 3c	..K.K...r..2......4.%././.)....<
1480	d1 13 3c b8 73 c4 52 c7 56 c2 56 c8 41 c3 59 b9 7f d1 13 4e 88 08 e0 14 1d d1 14 28 d7 13 2d d1	..<.s.R.V.V.A.Y....N.......(..-.
14a0	13 2d d3 13 2f d7 13 34 d1 13 34 d3 13 36 d7 13 3b d1 13 3b d3 13 3d 88 08 f7 1b 00 0a 19 f0 1c	.-../..4..4..6..;..;..=.........
14c0	00 0c 14 80 4f f7 1d 00 0a 19 8c 1f f0 1c 00 0c 14 80 4f fa 73 0c 00 00 00 96 42 34 43 14 03 c3	....O.............O.s.....B4C...
14e0	14 0a 43 23 07 63 02 00 00 00 00 00 00 00 00 00 00 00 04 00 00 00 03 00 00 00 f3 d4 00 00 00 95	..C#.c..........................
1500	00 30 00 6e 02 55 00 13 00 48 5f 00 00 6e 03 58 31 3b 00 00 00 64 02 00 00 4d 0a 00 00 58 03 05	.0.n.U...H_..n.X1;...d...M...X..
1520	00 00 00 6e 04 58 13 05 00 00 00 6e 05 55 04 52 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	...n.X.....n.U.R................
1540	00 00 00 35 00 00 00 00 00 00 00 52 03 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35	...5.......R...................5
1560	00 00 00 00 00 00 00 6e 06 55 06 53 01 3a 94 00 00 64 02 00 00 4d 38 00 00 58 54 2d 0a 00 00 52	.......n.U.S.:...d...M8..XT-...R
1580	01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 52 03 00 00 00	...................5.......R....
15a0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 55 06 2d 0b 00 00 6e 07 58	...............5.......U.-...n.X
15c0	72 55 03 27 00 00 00 4d 61 00 00 0b 00 20 00 55 02 24 00 29 02 61 00 01 00 00 0a 43 6f 6d 70 75	rU.'...Ma......U.$.).a.....Compu
15e0	74 65 20 70 65 72 2d 6c 61 79 65 72 20 66 65 61 74 75 72 65 20 64 72 69 66 74 20 4d 5f 6c 20 3d	te.per-layer.feature.drift.M_l.=
1600	20 7c 7c 57 5f 66 69 6e 61 6c 20 2d 20 57 5f 69 6e 69 74 7c 7c 5f 46 20 2f 20 7c 7c 57 5f 69 6e	.||W_final.-.W_init||_F./.||W_in
1620	69 74 7c 7c 5f 46 2e 0a 0a 41 72 67 73 3a 0a 20 20 20 20 6d 6f 64 65 6c 5f 69 6e 69 74 5f 70 61	it||_F...Args:.....model_init_pa
1640	72 61 6d 73 3a 20 64 69 63 74 20 6f 66 20 7b 6e 61 6d 65 3a 20 74 65 6e 73 6f 72 7d 20 69 6e 69	rams:.dict.of.{name:.tensor}.ini
1660	74 69 61 6c 20 70 61 72 61 6d 65 74 65 72 73 0a 20 20 20 20 6d 6f 64 65 6c 5f 66 69 6e 61 6c 5f	tial.parameters.....model_final_
1680	70 61 72 61 6d 73 3a 20 64 69 63 74 20 6f 66 20 7b 6e 61 6d 65 3a 20 74 65 6e 73 6f 72 7d 20 66	params:.dict.of.{name:.tensor}.f
16a0	69 6e 61 6c 20 70 61 72 61 6d 65 74 65 72 73 0a 0a 52 65 74 75 72 6e 73 3a 0a 20 20 20 20 64 69	inal.parameters..Returns:.....di
16c0	63 74 20 6f 66 20 7b 6e 61 6d 65 3a 20 64 72 69 66 74 5f 72 61 74 69 6f 7d 0a 72 1b 00 00 00 29	ct.of.{name:.drift_ratio}.r....)
16e0	02 72 1f 00 00 00 72 10 00 00 00 29 08 da 11 6d 6f 64 65 6c 5f 69 6e 69 74 5f 70 61 72 61 6d 73	.r....r....)...model_init_params
1700	da 12 6d 6f 64 65 6c 5f 66 69 6e 61 6c 5f 70 61 72 61 6d 73 da 06 64 72 69 66 74 73 da 04 6e 61	..model_final_params..drifts..na
1720	6d 65 da 06 77 5f 69 6e 69 74 da 07 77 5f 66 69 6e 61 6c da 09 69 6e 69 74 5f 6e 6f 72 6d da 05	me..w_init..w_final..init_norm..
1740	64 72 69 66 74 73 08 00 00 00 20 20 20 20 20 20 20 20 72 14 00 00 00 da 0d 66 65 61 74 75 72 65	drifts............r......feature
1760	5f 64 72 69 66 74 72 68 00 00 00 88 00 00 00 73 72 00 00 00 80 00 f0 16 00 0e 10 80 46 db 10 21	_driftrh.......sr...........F..!
1780	88 04 d8 0b 0f d5 0b 25 d8 15 26 d1 15 2c 88 46 d8 16 28 d1 16 2e 88 47 d8 18 1e 9f 0b 99 0b 9b	.......%..&..,.F..(....G........
17a0	0d d7 18 2a d1 18 2a d3 18 2c 88 49 d8 0f 18 98 34 d5 0f 1f d8 19 20 d1 19 29 d7 18 2f d1 18 2f	...*..*..,.I....4........)../../
17c0	d3 18 31 d7 18 36 d1 18 36 d3 18 38 b8 39 d1 18 44 90 05 d8 1f 24 90 74 93 0c f1 0f 00 11 22 f0	..1..6..6..8.9..D....$.t......".
17e0	10 00 0c 12 80 4d 72 16 00 00 00 29 02 67 fc a9 f1 d2 4d 62 50 3f e9 20 00 00 00 29 01 67 7b 14	.....Mr....).g....MbP?.....).g{.
1800	ae 47 e1 7a 84 3f 29 01 67 9a 99 99 99 99 99 b9 3f 29 11 da 07 5f 5f 64 6f 63 5f 5f 72 1d 00 00	.G.z.?).g.......?)...__doc__r...
1820	00 da 13 74 6f 72 63 68 2e 6e 6e 2e 66 75 6e 63 74 69 6f 6e 61 6c da 02 6e 6e da 0a 66 75 6e 63	...torch.nn.functional..nn..func
1840	74 69 6f 6e 61 6c 72 0d 00 00 00 72 24 00 00 00 72 25 00 00 00 da 0b 73 63 69 70 79 2e 73 74 61	tionalr....r$...r%.....scipy.sta
1860	74 73 72 03 00 00 00 da 06 54 65 6e 73 6f 72 72 15 00 00 00 72 3b 00 00 00 72 45 00 00 00 72 48	tsr......Tensorr....r;...rE...rH
1880	00 00 00 72 5e 00 00 00 72 68 00 00 00 a9 00 72 16 00 00 00 72 14 00 00 00 da 08 3c 6d 6f 64 75	...r^...rh.....r....r......<modu
18a0	6c 65 3e 72 71 00 00 00 01 00 00 00 73 5c 00 00 00 f0 03 01 01 01 f1 02 08 01 04 f3 12 00 01 0d	le>rq.......s\..................
18c0	df 00 1f d0 00 1f db 00 12 dd 00 20 f0 06 05 01 1d 98 75 9f 7c 99 7c f0 00 05 01 1d b0 05 b7 0c	..................u.|.|.........
18e0	b1 0c f0 00 05 01 1d c0 15 c7 1c c1 1c f4 00 05 01 1d f4 10 2b 01 16 f4 5c 01 14 01 11 f2 2e 06	....................+...\.......
1900	01 33 f4 12 1f 01 14 f3 44 01 14 01 12 72 16 00 00 00	.3......D....r....