blob: 6b9985fc052ca09d41f7d1fb6bb63bb9279b5ea1 (plain)

ofs	hex dump	ascii
0000	f3 0d 0d 0a 00 00 00 00 90 09 96 6a af 0e 00 00 e3 00 00 00 00 00 00 00 00 00 00 00 00 05 00 00	...........j....................
0020	00 00 00 00 00 f3 18 01 00 00 95 00 53 00 72 00 53 01 53 02 4b 01 72 01 53 01 53 02 4b 02 72 02	............S.r.S.S.K.r.S.S.K.r.
0040	53 01 53 02 4b 03 4a 04 72 04 20 00 53 01 53 02 4b 05 4a 04 73 02 20 00 4a 06 72 07 20 00 53 03	S.S.K.J.r...S.S.K.J.s...J.r...S.
0060	53 04 4b 08 4a 09 72 09 4a 0a 72 0a 20 00 18 00 22 00 53 05 1a 00 53 06 5c 04 52 16 00 00 00 00	S.K.J.r.J.r.....".S...S.\.R.....
0080	00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 03 00 00 00 00 00 00 72 0c 18 00 22 00 53 07 1a 00	..............5.......r...".S...
00a0	53 08 5c 04 52 16 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 03 00 00 00 00 00 00	S.\.R...................5.......
00c0	72 0d 18 00 22 00 53 09 1a 00 53 0a 5c 04 52 16 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	r...".S...S.\.R.................
00e0	00 00 35 03 00 00 00 00 00 00 72 0e 18 00 22 00 53 0b 1a 00 53 0c 5c 04 52 16 00 00 00 00 00 00	..5.......r...".S...S.\.R.......
0100	00 00 00 00 00 00 00 00 00 00 00 00 35 03 00 00 00 00 00 00 72 0f 18 00 22 00 53 0d 1a 00 53 0e	............5.......r...".S...S.
0120	5c 04 52 16 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 03 00 00 00 00 00 00 72 10	\.R...................5.......r.
0140	67 02 29 0f 61 22 01 00 00 4f 4c 4d 6f 32 2d 73 74 79 6c 65 20 64 65 63 6f 64 65 72 20 4c 4d 20	g.).a"...OLMo2-style.decoder.LM.
0160	77 69 74 68 20 74 68 65 20 5a 42 50 20 70 68 79 73 69 63 61 6c 2f 64 69 67 69 74 61 6c 20 70 61	with.the.ZBP.physical/digital.pa
0180	72 74 69 74 69 6f 6e 20 28 70 61 72 74 2d 31 20 27 6d 69 78 73 63 6f 72 65 71 6b 2c 66 66 6e 27	rtition.(part-1.'mixscoreqk,ffn'
01a0	20 63 6f 6e 76 65 6e 74 69 6f 6e 29 3a 0a 70 68 79 73 69 63 61 6c 20 3d 20 73 63 6f 72 65 2d 73	.convention):.physical.=.score-s
01c0	70 61 63 65 20 61 74 74 65 6e 74 69 6f 6e 20 63 6f 72 65 20 28 70 65 72 20 68 65 61 64 20 78 20	pace.attention.core.(per.head.x.
01e0	72 6f 77 29 20 2b 20 77 68 6f 6c 65 20 53 77 69 47 4c 55 20 46 46 4e 20 62 72 61 6e 63 68 20 28	row).+.whole.SwiGLU.FFN.branch.(
0200	70 65 72 20 74 6f 6b 65 6e 29 3b 0a 64 69 67 69 74 61 6c 20 3d 20 65 6d 62 65 64 64 69 6e 67 73	per.token);.digital.=.embeddings
0220	2c 20 52 4d 53 4e 6f 72 6d 73 20 6f 75 74 73 69 64 65 20 62 6c 6f 63 6b 73 2c 20 71 2f 6b 2f 76	,.RMSNorms.outside.blocks,.q/k/v
0240	2f 70 72 6f 6a 20 6c 69 6e 65 61 72 73 2c 20 73 63 6f 72 65 20 70 72 6f 64 75 63 74 2c 20 72 65	/proj.linears,.score.product,.re
0260	61 64 6f 75 74 20 68 65 61 64 2e e9 00 00 00 00 4e e9 01 00 00 00 29 02 da 08 5a 42 50 42 6c 6f	adout.head......N.....)...ZBPBlo
0280	63 6b da 09 5a 42 50 43 6f 6e 66 69 67 63 00 00 00 00 00 00 00 00 00 00 00 00 03 00 00 00 00 00	ck..ZBPConfigc..................
02a0	00 00 f3 32 00 00 00 5e 00 95 00 5c 00 72 01 53 00 72 02 53 01 72 03 53 05 55 00 34 01 53 02 1a	...2...^...\.r.S.r.S.r.S.U.4.S..
02c0	00 6a 08 6a 01 72 04 53 03 1a 00 72 05 53 04 72 06 55 00 3d 01 72 07 24 00 29 06 da 07 52 4d 53	.j.j.r.S...r.S.r.U.=.r.$.)...RMS
02e0	4e 6f 72 6d e9 0c 00 00 00 63 03 00 00 00 00 00 00 00 00 00 00 00 05 00 00 00 03 00 00 00 f3 8c	Norm.....c......................
0300	00 00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00 00 54 03 55 00 5d 05 00 00 35 00 00 00 00 00 00	...>...[.........T.U.]...5......
0320	00 20 00 5b 04 00 00 00 00 00 00 00 00 52 06 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	...[.........R..................
0340	00 22 00 5b 08 00 00 00 00 00 00 00 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	.".[.........R..................
0360	00 22 00 55 01 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00 00 55 00 6c 06 00 00 00 00 00 00 00	.".U.5.......5.......U.l........
0380	00 58 20 6c 07 00 00 00 00 00 00 00 00 67 00 a9 01 4e 29 08 da 05 73 75 70 65 72 da 08 5f 5f 69	.X.l.........g...N)...super..__i
03a0	6e 69 74 5f 5f da 02 6e 6e da 09 50 61 72 61 6d 65 74 65 72 da 05 74 6f 72 63 68 da 04 6f 6e 65	nit__..nn..Parameter..torch..one
03c0	73 da 06 77 65 69 67 68 74 da 03 65 70 73 29 04 da 04 73 65 6c 66 da 01 64 72 12 00 00 00 da 09	s..weight..eps)...self..dr......
03e0	5f 5f 63 6c 61 73 73 5f 5f 73 04 00 00 00 20 20 20 80 da 3d 2f 68 6f 6d 65 2f 79 75 72 65 6e 68	__class__s.........=/home/yurenh
0400	32 2f 7a 62 70 2d 73 63 61 6c 69 6e 67 2f 73 63 72 69 70 74 73 2f 2e 2e 2f 73 72 63 2f 7a 62 70	2/zbp-scaling/scripts/../src/zbp
0420	5f 73 63 61 6c 69 6e 67 2f 6d 6f 64 65 6c 2e 70 79 72 0c 00 00 00 da 10 52 4d 53 4e 6f 72 6d 2e	_scaling/model.pyr......RMSNorm.
0440	5f 5f 69 6e 69 74 5f 5f 0d 00 00 00 73 2b 00 00 00 f8 80 00 dc 08 0d 89 07 d1 08 18 d4 08 1a dc	__init__....s+..................
0460	16 18 97 6c 92 6c a4 35 a7 3a a2 3a a8 61 a3 3d d3 16 31 88 04 8c 0b d8 13 16 8d 08 f3 00 00 00	...l.l.5.:.:.a.=..1.............
0480	00 63 02 00 00 00 00 00 00 00 00 00 00 00 08 00 00 00 03 00 00 00 f3 a2 00 00 00 95 00 55 01 5b	.c...........................U.[
04a0	00 00 00 00 00 00 00 00 00 52 02 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 55	.........R...................".U
04c0	01 52 05 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 01 35 01 00 00 00 00 00 00 52	.R...................S.5.......R
04e0	07 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 02 53 03 53 04 39 02 55 00 52 08 00	...................S.S.S.9.U.R..
0500	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 2d 00 00 00 35 01 00 00 00 00 00 00 2d 05 00	.................-...5.......-..
0520	00 55 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 2d 05 00 00 24 00 29 05 4e	.U.R...................-...$.).N
0540	e9 02 00 00 00 e9 ff ff ff ff 54 29 01 da 07 6b 65 65 70 64 69 6d 29 06 72 0f 00 00 00 da 05 72	..........T)...keepdim).r......r
0560	73 71 72 74 da 03 70 6f 77 da 04 6d 65 61 6e 72 12 00 00 00 72 11 00 00 00 a9 02 72 13 00 00 00	sqrt..pow..meanr....r......r....
0580	da 01 78 73 02 00 00 00 20 20 72 16 00 00 00 da 07 66 6f 72 77 61 72 64 da 0f 52 4d 53 4e 6f 72	..xs......r......forward..RMSNor
05a0	6d 2e 66 6f 72 77 61 72 64 12 00 00 00 73 3d 00 00 00 80 00 d8 0f 10 94 35 97 3b 92 3b 98 71 9f	m.forward....s=.........5.;.;.q.
05c0	75 99 75 a0 51 9b 78 9f 7d 99 7d a8 52 b8 14 98 7d d0 1f 3e c0 14 c7 18 c1 18 d1 1f 49 d3 13 4a	u.u.Q.x.}.}.R...}..>........I..J
05e0	d1 0f 4a c8 54 cf 5b c9 5b d1 0f 58 d0 08 58 72 18 00 00 00 29 02 72 12 00 00 00 72 11 00 00 00	..J.T.[.[..X..Xr....).r....r....
0600	29 01 67 f1 68 e3 88 b5 f8 e4 3e a9 08 da 08 5f 5f 6e 61 6d 65 5f 5f da 0a 5f 5f 6d 6f 64 75 6c	).g.h.....>....__name__..__modul
0620	65 5f 5f da 0c 5f 5f 71 75 61 6c 6e 61 6d 65 5f 5f da 0f 5f 5f 66 69 72 73 74 6c 69 6e 65 6e 6f	e__..__qualname__..__firstlineno
0640	5f 5f 72 0c 00 00 00 72 22 00 00 00 da 15 5f 5f 73 74 61 74 69 63 5f 61 74 74 72 69 62 75 74 65	__r....r".....__static_attribute
0660	73 5f 5f da 0d 5f 5f 63 6c 61 73 73 63 65 6c 6c 5f 5f a9 01 72 15 00 00 00 73 01 00 00 00 40 72	s__..__classcell__..r....s....@r
0680	16 00 00 00 72 07 00 00 00 72 07 00 00 00 0c 00 00 00 73 14 00 00 00 f8 86 00 f7 02 03 05 17 f7	....r....r........s.............
06a0	0a 01 05 59 01 f0 00 01 05 59 01 72 18 00 00 00 72 07 00 00 00 63 00 00 00 00 00 00 00 00 00 00	...Y.....Y.r....r....c..........
06c0	00 00 02 00 00 00 00 00 00 00 f3 32 00 00 00 5e 00 95 00 5c 00 72 01 53 00 72 02 53 01 72 03 53	...........2...^...\.r.S.r.S.r.S
06e0	02 72 04 55 00 34 01 53 03 1a 00 6a 08 72 05 53 04 1a 00 72 06 53 05 72 07 55 00 3d 01 72 08 24	.r.U.4.S...j.r.S...r.S.r.U.=.r.$
0700	00 29 06 da 05 5f 43 6f 72 65 e9 16 00 00 00 7a 63 73 6f 66 74 6d 61 78 28 51 4b 5e 54 2f 73 71	.)..._Core.....zcsoftmax(QK^T/sq
0720	72 74 28 64 68 29 29 20 56 20 66 72 6f 6d 20 63 6f 6e 63 61 74 65 6e 61 74 65 64 20 71 6b 76 20	rt(dh)).V.from.concatenated.qkv.
0740	5b 42 2c 54 2c 33 64 5d 20 2d 3e 20 5b 42 2c 54 2c 64 5d 3b 20 65 78 70 6c 69 63 69 74 20 28 66	[B,T,3d].->.[B,T,d];.explicit.(f
0760	6f 72 77 61 72 64 2d 41 44 20 66 72 69 65 6e 64 6c 79 29 2e 63 03 00 00 00 00 00 00 00 00 00 00	orward-AD.friendly).c...........
0780	00 03 00 00 00 03 00 00 00 f3 3e 00 00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00 00 54 03 55 00	..........>...>...[.........T.U.
07a0	5d 05 00 00 35 00 00 00 00 00 00 00 20 00 58 12 73 02 55 00 6c 02 00 00 00 00 00 00 00 00 55 00	]...5.........X.s.U.l.........U.
07c0	6c 03 00 00 00 00 00 00 00 00 67 00 72 0a 00 00 00 29 04 72 0b 00 00 00 72 0c 00 00 00 72 14 00	l.........g.r....).r....r....r..
07e0	00 00 da 01 68 29 04 72 13 00 00 00 72 14 00 00 00 da 05 68 65 61 64 73 72 15 00 00 00 73 04 00	....h).r....r......headsr....s..
0800	00 00 20 20 20 80 72 16 00 00 00 72 0c 00 00 00 da 0e 5f 43 6f 72 65 2e 5f 5f 69 6e 69 74 5f 5f	......r....r......_Core.__init__
0820	19 00 00 00 73 1b 00 00 00 f8 80 00 dc 08 0d 89 07 d1 08 18 d4 08 1a d8 19 1a 88 0e 88 04 8c 06	....s...........................
0840	90 04 95 06 72 18 00 00 00 63 02 00 00 00 00 00 00 00 00 00 00 00 07 00 00 00 03 00 00 00 f3 1a	....r....c......................
0860	03 00 00 95 00 55 01 52 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 75 03 00 00 70	.....U.R...................u...p
0880	23 6e 04 55 01 52 03 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 04 00 00 00	#n.U.R...................U.R....
08a0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 01 53 02 39 02 75 03 00 00 70 56 6e 07 55 00 52	...............S.S.9.u...pVn.U.R
08c0	04 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 06 00 00 00 00 00 00 00 00 00	...................U.R..........
08e0	00 00 00 00 00 00 00 00 00 2d 02 00 00 6e 08 55 05 52 09 00 00 00 00 00 00 00 00 00 00 00 00 00	.........-...n.U.R..............
0900	00 00 00 00 00 58 23 55 00 52 06 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 08 35	.....X#U.R...................U.5
0920	04 00 00 00 00 00 00 52 0b 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 03 53 04 35	.......R...................S.S.5
0940	02 00 00 00 00 00 00 6e 05 55 06 52 09 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 58	.......n.U.R...................X
0960	23 55 00 52 06 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 08 35 04 00 00 00 00 00	#U.R...................U.5......
0980	00 52 0b 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 03 53 04 35 02 00 00 00 00 00	.R...................S.S.5......
09a0	00 6e 06 55 07 52 09 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 58 23 55 00 52 06 00	.n.U.R...................X#U.R..
09c0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 08 35 04 00 00 00 00 00 00 52 0b 00 00 00	.................U.5.......R....
09e0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 03 53 04 35 02 00 00 00 00 00 00 6e 07 58 56 52	...............S.S.5.......n.XVR
0a00	0b 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 05 53 01 35 02 00 00 00 00 00 00 2d	...................S.S.5.......-
0a20	04 00 00 5b 0c 00 00 00 00 00 00 00 00 52 0e 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	...[.........R..................
0a40	00 22 00 55 08 35 01 00 00 00 00 00 00 2d 0b 00 00 6e 09 5b 10 00 00 00 00 00 00 00 00 52 12 00	.".U.5.......-...n.[.........R..
0a60	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 33 5b 10 00 00 00 00 00 00 00 00 52	.................".X3[.........R
0a80	14 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 01 52 16 00 00 00 00 00 00 00 00 00	...................U.R..........
0aa0	00 00 00 00 00 00 00 00 00 53 06 39 04 52 19 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	.........S.9.R..................
0ac0	00 35 00 00 00 00 00 00 00 6e 0a 55 09 52 1b 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	.5.......n.U.R..................
0ae0	00 55 0a 29 00 5b 1d 00 00 00 00 00 00 00 00 53 07 35 01 00 00 00 00 00 00 35 02 00 00 00 00 00	.U.).[.........S.5.......5......
0b00	00 52 1f 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 01 35 01 00 00 00 00 00 00 6e	.R...................S.5.......n
0b20	09 58 97 2d 04 00 00 52 0b 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 03 53 04 35	.X.-...R...................S.S.5
0b40	02 00 00 00 00 00 00 52 21 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 58 23 55 00 52	.......R!..................X#U.R
0b60	04 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 03 00 00 00 00 00 00 24 00 29 08 4e	...................5.......$.).N
0b80	72 1b 00 00 00 29 01 da 03 64 69 6d 72 03 00 00 00 72 1a 00 00 00 e9 fe ff ff ff 29 02 da 05 64	r....)...dimr....r.........)...d
0ba0	74 79 70 65 da 06 64 65 76 69 63 65 7a 04 2d 69 6e 66 29 11 da 05 73 68 61 70 65 da 05 73 70 6c	type..devicez.-inf)...shape..spl
0bc0	69 74 72 14 00 00 00 72 30 00 00 00 da 04 76 69 65 77 da 09 74 72 61 6e 73 70 6f 73 65 da 04 6d	itr....r0.....view..transpose..m
0be0	61 74 68 da 04 73 71 72 74 72 0f 00 00 00 72 10 00 00 00 da 04 62 6f 6f 6c 72 37 00 00 00 da 04	ath..sqrtr....r......boolr7.....
0c00	74 72 69 6c da 0b 6d 61 73 6b 65 64 5f 66 69 6c 6c da 05 66 6c 6f 61 74 da 07 73 6f 66 74 6d 61	tril..masked_fill..float..softma
0c20	78 da 07 72 65 73 68 61 70 65 29 0b 72 13 00 00 00 da 03 71 6b 76 da 01 42 da 01 54 da 01 5f da	x..reshape).r......qkv..B..T.._.
0c40	01 71 da 01 6b da 01 76 da 02 64 68 da 03 61 74 74 da 04 6d 61 73 6b 73 0b 00 00 00 20 20 20 20	.q..k..v..dh..att..masks........
0c60	20 20 20 20 20 20 20 72 16 00 00 00 72 22 00 00 00 da 0d 5f 43 6f 72 65 2e 66 6f 72 77 61 72 64	.......r....r"....._Core.forward
0c80	1d 00 00 00 73 2e 01 00 00 80 00 d8 12 15 97 29 91 29 89 07 88 01 88 61 d8 12 15 97 29 91 29 98	....s..........).).....a....).).
0ca0	44 9f 46 99 46 a8 02 90 29 d0 12 2b 89 07 88 01 88 61 d8 0d 11 8f 56 89 56 90 74 97 76 91 76 d1	D.F.F...)..+.....a....V.V.t.v.v.
0cc0	0d 1d 88 02 d8 0c 0d 8f 46 89 46 90 31 98 14 9f 16 99 16 a0 12 d3 0c 24 d7 0c 2e d1 0c 2e a8 71	........F.F.1..........$.......q
0ce0	b0 21 d3 0c 34 88 01 d8 0c 0d 8f 46 89 46 90 31 98 14 9f 16 99 16 a0 12 d3 0c 24 d7 0c 2e d1 0c	.!..4......F.F.1..........$.....
0d00	2e a8 71 b0 21 d3 0c 34 88 01 d8 0c 0d 8f 46 89 46 90 31 98 14 9f 16 99 16 a0 12 d3 0c 24 d7 0c	..q.!..4......F.F.1..........$..
0d20	2e d1 0c 2e a8 71 b0 21 d3 0c 34 88 01 d8 0f 10 97 3b 91 3b 98 72 a0 32 d3 13 26 d1 0f 26 ac 24	.....q.!..4......;.;.r.2..&..&.$
0d40	af 29 aa 29 b0 42 ab 2d d1 0e 37 88 03 dc 0f 14 8f 7a 8a 7a 98 21 a4 65 a7 6a a1 6a b8 13 bf 1a	.).).B.-..7......z.z.!.e.j.j....
0d60	b9 1a d1 0f 44 d7 0f 49 d1 0f 49 d3 0f 4b 88 04 d8 0e 11 8f 6f 89 6f 98 74 98 65 a4 55 a8 36 a3	....D..I..I..K......o.o.t.e.U.6.
0d80	5d d3 0e 33 d7 0e 3b d1 0e 3b b8 42 d3 0e 3f 88 03 d8 10 13 91 07 d7 0f 22 d1 0f 22 a0 31 a0 61	]..3..;..;.B..?........."..".1.a
0da0	d3 0f 28 d7 0f 30 d1 0f 30 b0 11 b0 74 b7 76 b1 76 d3 0f 3e d0 08 3e 72 18 00 00 00 29 02 72 14	..(..0..0...t.v.v..>..>r....).r.
0dc0	00 00 00 72 30 00 00 00 a9 09 72 25 00 00 00 72 26 00 00 00 72 27 00 00 00 72 28 00 00 00 da 07	...r0.....r%...r&...r'...r(.....
0de0	5f 5f 64 6f 63 5f 5f 72 0c 00 00 00 72 22 00 00 00 72 29 00 00 00 72 2a 00 00 00 72 2b 00 00 00	__doc__r....r"...r)...r*...r+...
0e00	73 01 00 00 00 40 72 16 00 00 00 72 2d 00 00 00 72 2d 00 00 00 16 00 00 00 73 15 00 00 00 f8 86	s....@r....r-...r-.......s......
0e20	00 d9 04 6d f5 04 02 05 22 f7 08 0a 05 3f f0 00 0a 05 3f 72 18 00 00 00 72 2d 00 00 00 63 00 00	...m...."....?....?r....r-...c..
0e40	00 00 00 00 00 00 00 00 00 00 02 00 00 00 00 00 00 00 f3 32 00 00 00 5e 00 95 00 5c 00 72 01 53	...................2...^...\.r.S
0e60	00 72 02 53 01 72 03 53 02 72 04 55 00 34 01 53 03 1a 00 6a 08 72 05 53 04 1a 00 72 06 53 05 72	.r.S.r.S.r.U.4.S...j.r.S...r.S.r
0e80	07 55 00 3d 01 72 08 24 00 29 06 da 07 5f 53 77 69 47 4c 55 e9 2a 00 00 00 7a 58 52 4d 53 20 2d	.U.=.r.$.)..._SwiGLU.*...zXRMS.-
0ea0	3e 20 28 57 31 20 78 29 20 2a 20 53 69 4c 55 28 57 33 20 78 29 20 2d 3e 20 57 32 2c 20 6f 6e 65	>.(W1.x).*.SiLU(W3.x).->.W2,.one
0ec0	20 70 65 72 2d 74 6f 6b 65 6e 20 70 68 79 73 69 63 61 6c 20 62 72 61 6e 63 68 20 28 69 64 65 6e	.per-token.physical.branch.(iden
0ee0	74 69 74 79 20 73 6b 69 70 20 6f 75 74 73 69 64 65 29 2e 63 04 00 00 00 00 00 00 00 00 00 00 00	tity.skip.outside).c............
0f00	06 00 00 00 03 00 00 00 f3 86 01 00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00 00 54 04 55 00 5d	.............>...[.........T.U.]
0f20	05 00 00 35 00 00 00 00 00 00 00 20 00 5b 05 00 00 00 00 00 00 00 00 55 01 35 01 00 00 00 00 00	...5.........[.........U.5......
0f40	00 55 00 6c 03 00 00 00 00 00 00 00 00 5b 08 00 00 00 00 00 00 00 00 52 0a 00 00 00 00 00 00 00	.U.l.........[.........R........
0f60	00 00 00 00 00 00 00 00 00 00 00 22 00 58 12 53 01 53 02 39 03 55 00 6c 06 00 00 00 00 00 00 00	...........".X.S.S.9.U.l........
0f80	00 5b 08 00 00 00 00 00 00 00 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22	.[.........R..................."
0fa0	00 58 12 53 01 53 02 39 03 55 00 6c 07 00 00 00 00 00 00 00 00 5b 08 00 00 00 00 00 00 00 00 52	.X.S.S.9.U.l.........[.........R
0fc0	0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 21 53 01 53 02 39 03 55 00 6c	...................".X!S.S.9.U.l
0fe0	08 00 00 00 00 00 00 00 00 5b 12 00 00 00 00 00 00 00 00 52 14 00 00 00 00 00 00 00 00 00 00 00	.........[.........R............
1000	00 00 00 00 00 00 00 22 00 35 00 00 00 00 00 00 00 02 00 20 00 55 00 52 10 00 00 00 00 00 00 00	.......".5...........U.R........
1020	00 00 00 00 00 00 00 00 00 00 00 52 16 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52	...........R...................R
1040	19 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 03 35 01 00 00 00 00 00 00 20 00 53	...................U.5.........S
1060	00 53 00 53 00 35 02 00 00 00 00 00 00 20 00 67 00 21 00 2c 00 28 00 00 00 00 00 00 00 64 01 00	.S.S.5.........g.!.,.(.......d..
1080	00 66 02 20 00 1f 00 20 00 20 00 67 00 3d 03 1f 00 66 01 29 03 4e 46 a9 01 da 04 62 69 61 73 29	.f.........g.=...f.).NF....bias)
10a0	0d 72 0b 00 00 00 72 0c 00 00 00 72 07 00 00 00 da 04 6e 6f 72 6d 72 0d 00 00 00 da 06 4c 69 6e	.r....r....r......normr......Lin
10c0	65 61 72 da 02 77 31 da 02 77 33 da 02 77 32 72 0f 00 00 00 da 07 6e 6f 5f 67 72 61 64 72 11 00	ear..w1..w3..w2r......no_gradr..
10e0	00 00 da 04 6d 75 6c 5f 29 05 72 13 00 00 00 72 14 00 00 00 da 06 68 69 64 64 65 6e da 05 73 63	....mul_).r....r......hidden..sc
1100	61 6c 65 72 15 00 00 00 73 05 00 00 00 20 20 20 20 80 72 16 00 00 00 72 0c 00 00 00 da 10 5f 53	aler....s.........r....r......_S
1120	77 69 47 4c 55 2e 5f 5f 69 6e 69 74 5f 5f 2d 00 00 00 73 78 00 00 00 f8 80 00 dc 08 0d 89 07 d1	wiGLU.__init__-...sx............
1140	08 18 d4 08 1a dc 14 1b 98 41 93 4a 88 04 8c 09 dc 12 14 97 29 92 29 98 41 a8 45 d1 12 32 88 04	.........A.J........).).A.E..2..
1160	8c 07 dc 12 14 97 29 92 29 98 41 a8 45 d1 12 32 88 04 8c 07 dc 12 14 97 29 92 29 98 46 a8 45 d1	......).).A.E..2........).).F.E.
1180	12 32 88 04 8c 07 dc 0d 12 8f 5d 8a 5d 8d 5f d8 0c 10 8f 47 89 47 8f 4e 89 4e d7 0c 1f d1 0c 1f	.2........].]._....G.G.N.N......
11a0	a0 05 d4 0c 26 f7 03 00 0e 1d 8f 5f 8e 5f fa 73 0c 00 00 00 c2 03 26 42 32 03 c2 32 0a 43 00 07	....&......_._.s......&B2..2.C..
11c0	63 02 00 00 00 00 00 00 00 00 00 00 00 08 00 00 00 03 00 00 00 f3 b0 00 00 00 95 00 55 00 52 01	c...........................U.R.
11e0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 01 35 01 00 00 00 00 00 00 6e 02 55 00	..................U.5.......n.U.
1200	52 03 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 05 00 00 00 00 00 00 00 00	R...................U.R.........
1220	00 00 00 00 00 00 00 00 00 00 55 02 35 01 00 00 00 00 00 00 5b 06 00 00 00 00 00 00 00 00 52 08	..........U.5.......[.........R.
1240	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 55 00 52 0b 00 00 00 00 00 00 00 00	..................".U.R.........
1260	00 00 00 00 00 00 00 00 00 00 55 02 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00 00 2d 05 00 00	..........U.5.......5.......-...
1280	35 01 00 00 00 00 00 00 24 00 72 0a 00 00 00 29 06 72 57 00 00 00 72 5b 00 00 00 72 59 00 00 00	5.......$.r....).rW...r[...rY...
12a0	da 01 46 da 04 73 69 6c 75 72 5a 00 00 00 29 03 72 13 00 00 00 72 21 00 00 00 72 30 00 00 00 73	..F..silurZ...).r....r!...r0...s
12c0	03 00 00 00 20 20 20 72 16 00 00 00 72 22 00 00 00 da 0f 5f 53 77 69 47 4c 55 2e 66 6f 72 77 61	.......r....r"....._SwiGLU.forwa
12e0	72 64 36 00 00 00 73 3c 00 00 00 80 00 d8 0c 10 8f 49 89 49 90 61 8b 4c 88 01 d8 0f 13 8f 77 89	rd6...s<.........I.I.a.L......w.
1300	77 90 74 97 77 91 77 98 71 93 7a a4 41 a7 46 a2 46 a8 34 af 37 a9 37 b0 31 ab 3a d3 24 36 d1 17	w.t.w.w.q.z.A.F.F.4.7.7.1.:.$6..
1320	36 d3 0f 37 d0 08 37 72 18 00 00 00 29 04 72 57 00 00 00 72 59 00 00 00 72 5b 00 00 00 72 5a 00	6..7..7r....).rW...rY...r[...rZ.
1340	00 00 72 4f 00 00 00 72 2b 00 00 00 73 01 00 00 00 40 72 16 00 00 00 72 52 00 00 00 72 52 00 00	..rO...r+...s....@r....rR...rR..
1360	00 2a 00 00 00 73 15 00 00 00 f8 86 00 d9 04 62 f5 04 07 05 27 f7 12 02 05 38 f0 00 02 05 38 72	.*...s.........b....'....8....8r
1380	18 00 00 00 72 52 00 00 00 63 00 00 00 00 00 00 00 00 00 00 00 00 02 00 00 00 00 00 00 00 f3 2e	....rR...c......................
13a0	00 00 00 5e 00 95 00 5c 00 72 01 53 00 72 02 53 01 72 03 55 00 34 01 53 02 1a 00 6a 08 72 04 53	...^...\.r.S.r.S.r.U.4.S...j.r.S
13c0	03 1a 00 72 05 53 04 72 06 55 00 3d 01 72 07 24 00 29 05 da 05 42 6c 6f 63 6b e9 3b 00 00 00 63	...r.S.r.U.=.r.$.)...Block.;...c
13e0	08 00 00 00 00 00 00 00 00 00 00 00 09 00 00 00 03 00 00 00 f3 f0 01 00 00 3e 01 95 00 5b 00 00	.........................>...[..
1400	00 00 00 00 00 00 00 54 09 55 00 5d 05 00 00 35 00 00 00 00 00 00 00 20 00 5b 05 00 00 00 00 00	.......T.U.]...5.........[......
1420	00 00 00 55 01 35 01 00 00 00 00 00 00 55 00 6c 03 00 00 00 00 00 00 00 00 5b 08 00 00 00 00 00	...U.5.......U.l.........[......
1440	00 00 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 55 01 53 01 55 01 2d	...R...................".U.S.U.-
1460	05 00 00 53 02 53 03 39 03 55 00 6c 06 00 00 00 00 00 00 00 00 5b 0f 00 00 00 00 00 00 00 00 5b	...S.S.9.U.l.........[.........[
1480	11 00 00 00 00 00 00 00 00 58 12 35 02 00 00 00 00 00 00 55 04 53 04 53 05 55 07 0e 00 53 06 33	.........X.5.......U.S.S.U...S.3
14a0	03 53 07 39 04 6e 08 58 12 58 11 53 00 53 08 53 09 2e 06 55 08 6c 09 00 00 00 00 00 00 00 00 58	.S.9.n.X.X.S.S.S...U.l.........X
14c0	80 6c 0a 00 00 00 00 00 00 00 00 5b 08 00 00 00 00 00 00 00 00 52 0a 00 00 00 00 00 00 00 00 00	.l.........[.........R..........
14e0	00 00 00 00 00 00 00 00 00 22 00 58 11 53 02 53 03 39 03 55 00 6c 0b 00 00 00 00 00 00 00 00 5b	.........".X.S.S.9.U.l.........[
1500	18 00 00 00 00 00 00 00 00 52 1a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 35	.........R...................".5
1520	00 00 00 00 00 00 00 02 00 20 00 55 00 52 16 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	...........U.R..................
1540	00 52 1c 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 1f 00 00 00 00 00 00 00 00 00	.R...................R..........
1560	00 00 00 00 00 00 00 00 00 55 06 35 01 00 00 00 00 00 00 20 00 53 00 53 00 53 00 35 02 00 00 00	.........U.5.........S.S.S.5....
1580	00 00 00 20 00 5b 0f 00 00 00 00 00 00 00 00 5b 21 00 00 00 00 00 00 00 00 58 13 55 06 35 03 00	.....[.........[!........X.U.5..
15a0	00 00 00 00 00 55 04 53 0a 53 0b 53 05 55 07 0e 00 53 0c 33 03 53 0d 39 05 55 00 6c 11 00 00 00	.....U.S.S.S.U...S.3.S.9.U.l....
15c0	00 00 00 00 00 67 00 21 00 2c 00 28 00 00 00 00 00 00 00 64 01 00 00 66 02 20 00 1f 00 20 00 20	.....g.!.,.(.......d...f........
15e0	00 4e 2f 3d 03 1f 00 66 01 29 0e 4e e9 03 00 00 00 46 72 55 00 00 00 72 03 00 00 00 da 01 4c 7a	.N/=...f.).N.....FrU...r......Lz
1600	05 2e 63 6f 72 65 29 02 da 0a 62 61 74 63 68 5f 64 69 6d 73 da 04 6e 61 6d 65 54 29 06 72 14 00	..core)...batch_dims..nameT).r..
1620	00 00 72 31 00 00 00 da 02 64 6b da 02 64 76 da 06 77 69 6e 64 6f 77 da 02 71 6b da 08 69 64 65	..r1.....dk..dv..window..qk..ide
1640	6e 74 69 74 79 72 1a 00 00 00 7a 04 2e 66 66 6e 29 03 da 04 73 6b 69 70 72 6b 00 00 00 72 6c 00	ntityr....z..ffn)...skiprk...rl.
1660	00 00 29 12 72 0b 00 00 00 72 0c 00 00 00 72 07 00 00 00 da 06 6e 6f 72 6d 5f 61 72 0d 00 00 00	..).r....r....r......norm_ar....
1680	72 58 00 00 00 72 44 00 00 00 72 04 00 00 00 72 2d 00 00 00 da 0b 73 63 6f 72 65 5f 70 72 6f 62	rX...rD...r....r-.....score_prob
16a0	65 da 04 63 6f 72 65 da 04 70 72 6f 6a 72 0f 00 00 00 72 5c 00 00 00 72 11 00 00 00 72 5d 00 00	e..core..projr....r\...r....r]..
16c0	00 72 52 00 00 00 da 03 66 66 6e 29 0a 72 13 00 00 00 72 14 00 00 00 72 31 00 00 00 72 5e 00 00	.rR.....ffn).r....r....r1...r^..
16e0	00 da 03 63 66 67 da 02 62 70 72 5f 00 00 00 da 02 6c 69 72 75 00 00 00 72 15 00 00 00 73 0a 00	...cfg..bpr_.....liru...r....s..
1700	00 00 20 20 20 20 20 20 20 20 20 80 72 16 00 00 00 72 0c 00 00 00 da 0e 42 6c 6f 63 6b 2e 5f 5f	............r....r......Block.__
1720	69 6e 69 74 5f 5f 3c 00 00 00 73 ce 00 00 00 f8 80 00 dc 08 0d 89 07 d1 08 18 d4 08 1a dc 16 1d	init__<...s.....................
1740	98 61 93 6a 88 04 8c 0b dc 13 15 97 39 92 39 98 51 a0 01 a0 41 a1 05 a8 45 d1 13 32 88 04 8c 08	.a.j........9.9.Q...A...E..2....
1760	dc 0f 17 9c 05 98 61 9b 0f a8 13 b8 11 c0 31 c0 52 c0 44 c8 05 c0 1d d1 0f 4f 88 04 d8 21 22 b8	......a.......1.R.D......O...!".
1780	21 d0 50 54 d0 5c 60 d1 1b 61 88 04 d4 08 18 d8 14 18 8c 09 dc 14 16 97 49 92 49 98 61 a8 15 d1	!.PT.\`..a..............I.I.a...
17a0	14 2f 88 04 8c 09 dc 0d 12 8f 5d 8a 5d 8d 5f d8 0c 10 8f 49 89 49 d7 0c 1c d1 0c 1c d7 0c 21 d1	./........].]._....I.I........!.
17c0	0c 21 a0 25 d4 0c 28 f7 03 00 0e 1d e4 13 1b 9c 47 a0 41 a8 75 d3 1c 35 b0 73 c0 1a d0 58 59 d0	.!.%..(.........G.A.u..5.s...XY.
17e0	62 63 d0 64 66 d0 63 67 d0 67 6b d0 60 6c d1 13 6d 88 04 8d 08 f7 05 00 0e 1d 8d 5f fa 73 0c 00	bc.df.cg.gk.`l..m.........._.s..
1800	00 00 c2 18 26 43 27 03 c3 27 0a 43 35 07 63 02 00 00 00 00 00 00 00 00 00 00 00 0a 00 00 00 03	....&C'..'.C5.c.................
1820	00 00 00 f3 a4 00 00 00 95 00 58 10 52 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	..........X.R...................
1840	55 00 52 03 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 05 00 00 00 00 00 00	U.R...................U.R.......
1860	00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 07 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	............U.R.................
1880	00 00 55 01 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00 00 35 01 00 00	..U.5.......5.......5.......5...
18a0	00 00 00 00 2d 00 00 00 6e 01 55 00 52 09 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	....-...n.U.R...................
18c0	55 01 35 01 00 00 00 00 00 00 24 00 72 0a 00 00 00 29 05 72 76 00 00 00 72 75 00 00 00 72 44 00	U.5.......$.r....).rv...ru...rD.
18e0	00 00 72 73 00 00 00 72 77 00 00 00 72 20 00 00 00 73 02 00 00 00 20 20 72 16 00 00 00 72 22 00	..rs...rw...r....s......r....r".
1900	00 00 da 0d 42 6c 6f 63 6b 2e 66 6f 72 77 61 72 64 48 00 00 00 73 3b 00 00 00 80 00 d8 0c 0d 97	....Block.forwardH...s;.........
1920	09 91 09 98 24 9f 29 99 29 a0 44 a7 48 a1 48 a8 54 af 5b a9 5b b8 11 ab 5e d3 24 3c d3 1a 3d d3	....$.).).D.H.H.T.[.[...^.$<..=.
1940	10 3e d1 0c 3e 88 01 d8 0f 13 8f 78 89 78 98 01 8b 7b d0 08 1a 72 18 00 00 00 29 05 72 75 00 00	.>..>......x.x...{...r....).ru..
1960	00 72 77 00 00 00 72 73 00 00 00 72 76 00 00 00 72 44 00 00 00 72 24 00 00 00 72 2b 00 00 00 73	.rw...rs...rv...rD...r$...r+...s
1980	01 00 00 00 40 72 16 00 00 00 72 66 00 00 00 72 66 00 00 00 3b 00 00 00 73 13 00 00 00 f8 86 00	....@r....rf...rf...;...s.......
19a0	f5 02 0a 05 6e 01 f7 18 02 05 1b f0 00 02 05 1b 72 18 00 00 00 72 66 00 00 00 63 00 00 00 00 00	....n...........r....rf...c.....
19c0	00 00 00 00 00 00 00 03 00 00 00 00 00 00 00 f3 32 00 00 00 5e 00 95 00 5c 00 72 01 53 00 72 02	................2...^...\.r.S.r.
19e0	53 01 72 03 53 05 55 00 34 01 53 02 1a 00 6a 08 6a 01 72 04 53 03 1a 00 72 05 53 04 72 06 55 00	S.r.S.U.4.S...j.j.r.S...r.S.r.U.
1a00	3d 01 72 07 24 00 29 06 da 09 53 63 61 6c 69 6e 67 4c 4d e9 4d 00 00 00 63 08 00 00 00 00 00 00	=.r.$.)...ScalingLM.M...c.......
1a20	00 00 00 00 00 0e 00 00 00 03 00 00 00 f3 44 03 00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00 00	..............D...>...[.........
1a40	54 0d 55 00 5d 05 00 00 35 00 00 00 00 00 00 00 20 00 55 07 3d 01 28 00 00 00 00 00 00 00 64 09	T.U.]...5.........U.=.(.......d.
1a60	00 00 20 00 5b 05 00 00 00 00 00 00 00 00 53 01 53 02 39 01 6e 07 55 07 52 07 00 00 00 00 00 00	....[.........S.S.9.n.U.R.......
1a80	00 00 00 00 00 00 00 00 00 00 00 00 53 01 53 02 39 01 6e 08 5b 09 00 00 00 00 00 00 00 00 55 06	............S.S.9.n.[.........U.
1aa0	5b 0a 00 00 00 00 00 00 00 00 35 02 00 00 00 00 00 00 28 00 00 00 00 00 00 00 61 14 00 00 5b 0d	[.........5.......(.......a...[.
1ac0	00 00 00 00 00 00 00 00 5b 0b 00 00 00 00 00 00 00 00 55 06 35 01 00 00 00 00 00 00 35 01 00 00	........[.........U.5.......5...
1ae0	00 00 00 00 4f 01 55 06 6e 09 5b 0f 00 00 00 00 00 00 00 00 5b 11 00 00 00 00 00 00 00 00 58 92	....O.U.n.[.........[.........X.
1b00	2d 05 00 00 53 03 2d 0b 00 00 35 01 00 00 00 00 00 00 53 03 2d 05 00 00 35 01 00 00 00 00 00 00	-...S.-...5.......S.-...5.......
1b20	6e 0a 53 04 5b 12 00 00 00 00 00 00 00 00 52 14 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	n.S.[.........R.................
1b40	00 00 22 00 53 05 55 03 2d 05 00 00 35 01 00 00 00 00 00 00 2d 0b 00 00 6e 0b 5b 16 00 00 00 00	..".S.U.-...5.......-...n.[.....
1b60	00 00 00 00 52 18 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 12 35 02 00 00	....R...................".X.5...
1b80	00 00 00 00 55 00 6c 0d 00 00 00 00 00 00 00 00 5b 16 00 00 00 00 00 00 00 00 52 18 00 00 00 00	....U.l.........[.........R.....
1ba0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 52 35 02 00 00 00 00 00 00 55 00 6c 0e 00 00	..............".XR5.......U.l...
1bc0	00 00 00 00 00 00 5b 16 00 00 00 00 00 00 00 00 52 1e 00 00 00 00 00 00 00 00 00 00 00 00 00 00	......[.........R...............
1be0	00 00 00 00 52 21 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 1a 00 00 00 00	....R!..................U.R.....
1c00	00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 22 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	..............R"................
1c20	00 00 53 06 53 07 39 02 20 00 5b 16 00 00 00 00 00 00 00 00 52 1e 00 00 00 00 00 00 00 00 00 00	..S.S.9...[.........R...........
1c40	00 00 00 00 00 00 00 00 52 21 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 1c	........R!..................U.R.
1c60	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 22 00 00 00 00 00 00 00 00 00 00 00 00	..................R"............
1c80	00 00 00 00 00 00 53 06 53 07 39 02 20 00 5b 16 00 00 00 00 00 00 00 00 52 24 00 00 00 00 00 00	......S.S.9...[.........R$......
1ca0	00 00 00 00 00 00 00 00 00 00 00 00 22 00 5b 27 00 00 00 00 00 00 00 00 55 03 35 01 00 00 00 00	............".['........U.5.....
1cc0	00 00 13 00 56 0c 73 02 2f 00 73 02 13 00 48 11 00 00 6e 0c 5b 29 00 00 00 00 00 00 00 00 58 24	....V.s./.s...H...n.[)........X$
1ce0	58 a7 58 8b 55 0c 35 07 00 00 00 00 00 00 50 02 4d 13 00 00 0b 00 20 00 73 02 6e 0c 36 00 55 00	X.X.U.5.......P.M.......s.n.6.U.
1d00	6c 15 00 00 00 00 00 00 00 00 5b 2d 00 00 00 00 00 00 00 00 55 02 35 01 00 00 00 00 00 00 55 00	l.........[-........U.5.......U.
1d20	6c 17 00 00 00 00 00 00 00 00 5b 16 00 00 00 00 00 00 00 00 52 30 00 00 00 00 00 00 00 00 00 00	l.........[.........R0..........
1d40	00 00 00 00 00 00 00 00 22 00 58 21 53 08 53 09 39 03 55 00 6c 19 00 00 00 00 00 00 00 00 58 50	........".X!S.S.9.U.l.........XP
1d60	6c 1a 00 00 00 00 00 00 00 00 67 00 73 02 20 00 73 02 6e 0c 66 00 29 0a 4e 72 79 00 00 00 29 01	l.........g.s...s.n.f.).Nry...).
1d80	da 04 6d 6f 64 65 e9 40 00 00 00 72 03 00 00 00 72 1a 00 00 00 67 7b 14 ae 47 e1 7a 94 3f 29 01	..mode.@...r....r....g{..G.z.?).
1da0	da 03 73 74 64 46 72 55 00 00 00 29 1b 72 0b 00 00 00 72 0c 00 00 00 72 05 00 00 00 da 07 72 65	..stdFrU...).r....r....r......re
1dc0	70 6c 61 63 65 da 0a 69 73 69 6e 73 74 61 6e 63 65 da 03 73 74 72 da 04 65 76 61 6c da 03 69 6e	place..isinstance..str..eval..in
1de0	74 da 05 72 6f 75 6e 64 72 3c 00 00 00 72 3d 00 00 00 72 0d 00 00 00 da 09 45 6d 62 65 64 64 69	t..roundr<...r=...r......Embeddi
1e00	6e 67 da 03 74 6f 6b da 03 70 6f 73 da 04 69 6e 69 74 da 07 6e 6f 72 6d 61 6c 5f 72 11 00 00 00	ng..tok..pos..init..normal_r....
1e20	da 0a 53 65 71 75 65 6e 74 69 61 6c da 05 72 61 6e 67 65 72 66 00 00 00 da 06 62 6c 6f 63 6b 73	..Sequential..rangerf.....blocks
1e40	72 07 00 00 00 da 06 6e 6f 72 6d 5f 66 72 58 00 00 00 da 04 68 65 61 64 da 07 73 65 71 5f 6c 65	r......norm_frX.....head..seq_le
1e60	6e 29 0e 72 13 00 00 00 da 05 76 6f 63 61 62 72 14 00 00 00 da 06 6c 61 79 65 72 73 72 31 00 00	n).r......vocabr......layersr1..
1e80	00 72 95 00 00 00 da 08 66 66 6e 5f 6d 75 6c 74 72 78 00 00 00 72 79 00 00 00 da 04 6d 75 6c 74	.r......ffn_multrx...ry.....mult
1ea0	72 5e 00 00 00 72 5f 00 00 00 da 01 69 72 15 00 00 00 73 0e 00 00 00 20 20 20 20 20 20 20 20 20	r^...r_.....ir....s.............
1ec0	20 20 20 20 80 72 16 00 00 00 72 0c 00 00 00 da 12 53 63 61 6c 69 6e 67 4c 4d 2e 5f 5f 69 6e 69	.....r....r......ScalingLM.__ini
1ee0	74 5f 5f 4e 00 00 00 73 2e 01 00 00 f8 80 00 dc 08 0d 89 07 d1 08 18 d4 08 1a d8 0e 11 d7 0e 29	t__N...s.......................)
1f00	94 59 a0 44 d1 15 29 88 03 d8 0d 10 8f 5b 89 5b 98 64 88 5b d0 0d 23 88 02 dc 26 30 b0 18 bc 33	.Y.D..)......[.[.d.[..#...&0...3
1f20	d7 26 3f d1 26 3f 8c 74 94 43 98 08 93 4d d4 0f 22 c0 58 88 04 dc 11 14 94 55 98 34 99 38 a0 62	.&?.&?.t.C...M..".X......U.4.8.b
1f40	99 3d d3 15 29 a8 42 d1 15 2e d3 11 2f 88 06 d8 10 11 94 44 97 49 92 49 98 61 a0 26 99 6a d3 14	.=..).B...../......D.I.I.a.&.j..
1f60	29 d1 10 29 88 05 dc 13 15 97 3c 92 3c a0 05 d3 13 29 88 04 8c 08 dc 13 15 97 3c 92 3c a0 07 d3	)..)......<.<....)........<.<...
1f80	13 2b 88 04 8c 08 dc 08 0a 8f 07 89 07 8f 0f 89 0f 98 04 9f 08 99 08 9f 0f 99 0f a8 54 88 0f d1	.+..........................T...
1fa0	08 32 b4 42 b7 47 b1 47 b7 4f b1 4f c0 44 c7 48 c1 48 c7 4f c1 4f d0 59 5d b0 4f d1 34 5e dc 16	.2.B.G.G.O.O.D.H.H.O.O.Y].O.4^..
1fc0	18 97 6d 92 6d d4 5a 5f d0 60 66 d4 5a 67 d3 25 68 d2 5a 67 d0 55 56 a4 65 a8 41 b0 66 c0 32 c8	..m.m.Z_.`f.Zg.%h.Zg.UV.e.A.f.2.
1fe0	61 d6 26 50 d1 5a 67 d1 25 68 d0 16 69 88 04 8c 0b dc 16 1d 98 61 93 6a 88 04 8c 0b dc 14 16 97	a.&P.Zg.%h..i........a.j........
2000	49 92 49 98 61 a8 55 d1 14 33 88 04 8c 09 d8 17 1e 8d 0c f9 f2 07 00 26 69 01 73 06 00 00 00 c5	I.I.a.U..3.............&i.s.....
2020	0b 18 46 1d 08 63 02 00 00 00 00 00 00 00 00 00 00 00 08 00 00 00 03 00 00 00 f3 00 01 00 00 95	..F..c..........................
2040	00 55 01 52 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 75 02 00 00 70 23 55 00 52	.U.R...................u...p#U.R
2060	03 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 01 35 01 00 00 00 00 00 00 55 00 52	...................U.5.......U.R
2080	05 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 5b 06 00 00 00 00 00 00 00 00 52 08 00	...................[.........R..
20a0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 31 52 0a 00 00 00 00 00 00 00 00 00	.................".X1R..........
20c0	00 00 00 00 00 00 00 00 00 53 01 39 02 35 01 00 00 00 00 00 00 53 00 05 00 00 00 2d 00 00 00 6e	.........S.9.5.......S.....-...n
20e0	04 55 00 52 0d 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 0f 00 00 00 00 00	.U.R...................U.R......
2100	00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 11 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	.............U.R................
2120	00 00 00 55 04 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00 00 24 00 29	...U.5.......5.......5.......$.)
2140	02 4e 29 01 72 37 00 00 00 29 09 72 38 00 00 00 72 8c 00 00 00 72 8d 00 00 00 72 0f 00 00 00 da	.N).r7...).r8...r....r....r.....
2160	06 61 72 61 6e 67 65 72 37 00 00 00 72 94 00 00 00 72 93 00 00 00 72 92 00 00 00 29 05 72 13 00	.aranger7...r....r....r....).r..
2180	00 00 da 03 69 64 78 72 45 00 00 00 72 46 00 00 00 72 21 00 00 00 73 05 00 00 00 20 20 20 20 20	....idxrE...rF...r!...s.........
21a0	72 16 00 00 00 72 22 00 00 00 da 11 53 63 61 6c 69 6e 67 4c 4d 2e 66 6f 72 77 61 72 64 5d 00 00	r....r".....ScalingLM.forward]..
21c0	00 73 5a 00 00 00 80 00 d8 0f 12 8f 79 89 79 89 04 88 01 d8 0c 10 8f 48 89 48 90 53 8b 4d 98 44	.sZ.........y.y........H.H.S.M.D
21e0	9f 48 99 48 a4 55 a7 5c a2 5c b0 21 bf 4a b9 4a d1 25 47 d3 1c 48 c8 14 d1 1c 4e d1 0c 4e 88 01	.H.H.U.\.\.!.J.J.%G..H....N..N..
2200	d8 0f 13 8f 79 89 79 98 14 9f 1b 99 1b a0 54 a7 5b a1 5b b0 11 a3 5e d3 19 34 d3 0f 35 d0 08 35	....y.y.......T.[.[...^..4..5..5
2220	72 18 00 00 00 29 06 72 92 00 00 00 72 94 00 00 00 72 93 00 00 00 72 8d 00 00 00 72 95 00 00 00	r....).r....r....r....r....r....
2240	72 8c 00 00 00 29 02 7a 03 38 2f 33 4e 72 24 00 00 00 72 2b 00 00 00 73 01 00 00 00 40 72 16 00	r....).z.8/3Nr$...r+...s....@r..
2260	00 00 72 7f 00 00 00 72 7f 00 00 00 4d 00 00 00 73 12 00 00 00 f8 86 00 f7 02 0d 05 1f f7 1e 03	..r....r....M...s...............
2280	05 36 f0 00 03 05 36 72 18 00 00 00 72 7f 00 00 00 29 11 72 50 00 00 00 72 3c 00 00 00 72 0f 00	.6....6r....r....).rP...r<...r..
22a0	00 00 da 08 74 6f 72 63 68 2e 6e 6e 72 0d 00 00 00 da 13 74 6f 72 63 68 2e 6e 6e 2e 66 75 6e 63	....torch.nnr......torch.nn.func
22c0	74 69 6f 6e 61 6c da 0a 66 75 6e 63 74 69 6f 6e 61 6c 72 62 00 00 00 da 03 7a 62 70 72 04 00 00	tional..functionalrb.....zbpr...
22e0	00 72 05 00 00 00 da 06 4d 6f 64 75 6c 65 72 07 00 00 00 72 2d 00 00 00 72 52 00 00 00 72 66 00	.r......Moduler....r-...rR...rf.
2300	00 00 72 7f 00 00 00 a9 00 72 18 00 00 00 72 16 00 00 00 da 08 3c 6d 6f 64 75 6c 65 3e 72 a6 00	..r......r....r......<module>r..
2320	00 00 01 00 00 00 73 71 00 00 00 f0 03 01 01 01 f1 02 02 01 63 01 f3 06 00 01 0c db 00 0c dd 00	......sq............c...........
2340	15 df 00 1f d0 00 1f e7 00 24 f4 06 07 01 59 01 88 62 8f 69 89 69 f4 00 07 01 59 01 f4 14 11 01	.........$....Y..b.i.i....Y.....
2360	3f 88 42 8f 49 89 49 f4 00 11 01 3f f4 28 0e 01 38 88 62 8f 69 89 69 f4 00 0e 01 38 f4 22 0f 01	?.B.I.I....?.(..8.b.i.i....8."..
2380	1b 88 42 8f 49 89 49 f4 00 0f 01 1b f4 24 13 01 36 90 02 97 09 91 09 f5 00 13 01 36 72 18 00 00	..B.I.I......$..6..........6r...
23a0	00	.