blob: df0135fef07b80d786107f61d159f6c14485a1b9 (plain)

ofs	hex dump	ascii
0000	f3 0d 0d 0a 00 00 00 00 e7 0a 96 6a 8a 0f 00 00 e3 00 00 00 00 00 00 00 00 00 00 00 00 05 00 00	...........j....................
0020	00 00 00 00 00 f3 18 01 00 00 95 00 53 00 72 00 53 01 53 02 4b 01 72 01 53 01 53 02 4b 02 72 02	............S.r.S.S.K.r.S.S.K.r.
0040	53 01 53 02 4b 03 4a 04 72 04 20 00 53 01 53 02 4b 05 4a 04 73 02 20 00 4a 06 72 07 20 00 53 03	S.S.K.J.r...S.S.K.J.s...J.r...S.
0060	53 04 4b 08 4a 09 72 09 4a 0a 72 0a 20 00 18 00 22 00 53 05 1a 00 53 06 5c 04 52 16 00 00 00 00	S.K.J.r.J.r.....".S...S.\.R.....
0080	00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 03 00 00 00 00 00 00 72 0c 18 00 22 00 53 07 1a 00	..............5.......r...".S...
00a0	53 08 5c 04 52 16 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 03 00 00 00 00 00 00	S.\.R...................5.......
00c0	72 0d 18 00 22 00 53 09 1a 00 53 0a 5c 04 52 16 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	r...".S...S.\.R.................
00e0	00 00 35 03 00 00 00 00 00 00 72 0e 18 00 22 00 53 0b 1a 00 53 0c 5c 04 52 16 00 00 00 00 00 00	..5.......r...".S...S.\.R.......
0100	00 00 00 00 00 00 00 00 00 00 00 00 35 03 00 00 00 00 00 00 72 0f 18 00 22 00 53 0d 1a 00 53 0e	............5.......r...".S...S.
0120	5c 04 52 16 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 03 00 00 00 00 00 00 72 10	\.R...................5.......r.
0140	67 02 29 0f 61 22 01 00 00 4f 4c 4d 6f 32 2d 73 74 79 6c 65 20 64 65 63 6f 64 65 72 20 4c 4d 20	g.).a"...OLMo2-style.decoder.LM.
0160	77 69 74 68 20 74 68 65 20 5a 42 50 20 70 68 79 73 69 63 61 6c 2f 64 69 67 69 74 61 6c 20 70 61	with.the.ZBP.physical/digital.pa
0180	72 74 69 74 69 6f 6e 20 28 70 61 72 74 2d 31 20 27 6d 69 78 73 63 6f 72 65 71 6b 2c 66 66 6e 27	rtition.(part-1.'mixscoreqk,ffn'
01a0	20 63 6f 6e 76 65 6e 74 69 6f 6e 29 3a 0a 70 68 79 73 69 63 61 6c 20 3d 20 73 63 6f 72 65 2d 73	.convention):.physical.=.score-s
01c0	70 61 63 65 20 61 74 74 65 6e 74 69 6f 6e 20 63 6f 72 65 20 28 70 65 72 20 68 65 61 64 20 78 20	pace.attention.core.(per.head.x.
01e0	72 6f 77 29 20 2b 20 77 68 6f 6c 65 20 53 77 69 47 4c 55 20 46 46 4e 20 62 72 61 6e 63 68 20 28	row).+.whole.SwiGLU.FFN.branch.(
0200	70 65 72 20 74 6f 6b 65 6e 29 3b 0a 64 69 67 69 74 61 6c 20 3d 20 65 6d 62 65 64 64 69 6e 67 73	per.token);.digital.=.embeddings
0220	2c 20 52 4d 53 4e 6f 72 6d 73 20 6f 75 74 73 69 64 65 20 62 6c 6f 63 6b 73 2c 20 71 2f 6b 2f 76	,.RMSNorms.outside.blocks,.q/k/v
0240	2f 70 72 6f 6a 20 6c 69 6e 65 61 72 73 2c 20 73 63 6f 72 65 20 70 72 6f 64 75 63 74 2c 20 72 65	/proj.linears,.score.product,.re
0260	61 64 6f 75 74 20 68 65 61 64 2e e9 00 00 00 00 4e e9 01 00 00 00 29 02 da 08 5a 42 50 42 6c 6f	adout.head......N.....)...ZBPBlo
0280	63 6b da 09 5a 42 50 43 6f 6e 66 69 67 63 00 00 00 00 00 00 00 00 00 00 00 00 03 00 00 00 00 00	ck..ZBPConfigc..................
02a0	00 00 f3 32 00 00 00 5e 00 95 00 5c 00 72 01 53 00 72 02 53 01 72 03 53 05 55 00 34 01 53 02 1a	...2...^...\.r.S.r.S.r.S.U.4.S..
02c0	00 6a 08 6a 01 72 04 53 03 1a 00 72 05 53 04 72 06 55 00 3d 01 72 07 24 00 29 06 da 07 52 4d 53	.j.j.r.S...r.S.r.U.=.r.$.)...RMS
02e0	4e 6f 72 6d e9 0c 00 00 00 63 03 00 00 00 00 00 00 00 00 00 00 00 05 00 00 00 03 00 00 00 f3 8c	Norm.....c......................
0300	00 00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00 00 54 03 55 00 5d 05 00 00 35 00 00 00 00 00 00	...>...[.........T.U.]...5......
0320	00 20 00 5b 04 00 00 00 00 00 00 00 00 52 06 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	...[.........R..................
0340	00 22 00 5b 08 00 00 00 00 00 00 00 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	.".[.........R..................
0360	00 22 00 55 01 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00 00 55 00 6c 06 00 00 00 00 00 00 00	.".U.5.......5.......U.l........
0380	00 58 20 6c 07 00 00 00 00 00 00 00 00 67 00 a9 01 4e 29 08 da 05 73 75 70 65 72 da 08 5f 5f 69	.X.l.........g...N)...super..__i
03a0	6e 69 74 5f 5f da 02 6e 6e da 09 50 61 72 61 6d 65 74 65 72 da 05 74 6f 72 63 68 da 04 6f 6e 65	nit__..nn..Parameter..torch..one
03c0	73 da 06 77 65 69 67 68 74 da 03 65 70 73 29 04 da 04 73 65 6c 66 da 01 64 72 12 00 00 00 da 09	s..weight..eps)...self..dr......
03e0	5f 5f 63 6c 61 73 73 5f 5f 73 04 00 00 00 20 20 20 80 da 32 2f 68 6f 6d 65 2f 79 75 72 65 6e 68	__class__s.........2/home/yurenh
0400	32 2f 7a 62 70 2d 73 63 61 6c 69 6e 67 2f 73 72 63 2f 7a 62 70 5f 73 63 61 6c 69 6e 67 2f 6d 6f	2/zbp-scaling/src/zbp_scaling/mo
0420	64 65 6c 2e 70 79 72 0c 00 00 00 da 10 52 4d 53 4e 6f 72 6d 2e 5f 5f 69 6e 69 74 5f 5f 0d 00 00	del.pyr......RMSNorm.__init__...
0440	00 73 2b 00 00 00 f8 80 00 dc 08 0d 89 07 d1 08 18 d4 08 1a dc 16 18 97 6c 92 6c a4 35 a7 3a a2	.s+.....................l.l.5.:.
0460	3a a8 61 a3 3d d3 16 31 88 04 8c 0b d8 13 16 8d 08 f3 00 00 00 00 63 02 00 00 00 00 00 00 00 00	:.a.=..1..............c.........
0480	00 00 00 08 00 00 00 03 00 00 00 f3 a2 00 00 00 95 00 55 01 5b 00 00 00 00 00 00 00 00 00 52 02	..................U.[.........R.
04a0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 55 01 52 05 00 00 00 00 00 00 00 00	..................".U.R.........
04c0	00 00 00 00 00 00 00 00 00 00 53 01 35 01 00 00 00 00 00 00 52 07 00 00 00 00 00 00 00 00 00 00	..........S.5.......R...........
04e0	00 00 00 00 00 00 00 00 53 02 53 03 53 04 39 02 55 00 52 08 00 00 00 00 00 00 00 00 00 00 00 00	........S.S.S.9.U.R.............
0500	00 00 00 00 00 00 2d 00 00 00 35 01 00 00 00 00 00 00 2d 05 00 00 55 00 52 0a 00 00 00 00 00 00	......-...5.......-...U.R.......
0520	00 00 00 00 00 00 00 00 00 00 00 00 2d 05 00 00 24 00 29 05 4e e9 02 00 00 00 e9 ff ff ff ff 54	............-...$.).N..........T
0540	29 01 da 07 6b 65 65 70 64 69 6d 29 06 72 0f 00 00 00 da 05 72 73 71 72 74 da 03 70 6f 77 da 04	)...keepdim).r......rsqrt..pow..
0560	6d 65 61 6e 72 12 00 00 00 72 11 00 00 00 a9 02 72 13 00 00 00 da 01 78 73 02 00 00 00 20 20 72	meanr....r......r......xs......r
0580	16 00 00 00 da 07 66 6f 72 77 61 72 64 da 0f 52 4d 53 4e 6f 72 6d 2e 66 6f 72 77 61 72 64 12 00	......forward..RMSNorm.forward..
05a0	00 00 73 3d 00 00 00 80 00 d8 0f 10 94 35 97 3b 92 3b 98 71 9f 75 99 75 a0 51 9b 78 9f 7d 99 7d	..s=.........5.;.;.q.u.u.Q.x.}.}
05c0	a8 52 b8 14 98 7d d0 1f 3e c0 14 c7 18 c1 18 d1 1f 49 d3 13 4a d1 0f 4a c8 54 cf 5b c9 5b d1 0f	.R...}..>........I..J..J.T.[.[..
05e0	58 d0 08 58 72 18 00 00 00 29 02 72 12 00 00 00 72 11 00 00 00 29 01 67 f1 68 e3 88 b5 f8 e4 3e	X..Xr....).r....r....).g.h.....>
0600	a9 08 da 08 5f 5f 6e 61 6d 65 5f 5f da 0a 5f 5f 6d 6f 64 75 6c 65 5f 5f da 0c 5f 5f 71 75 61 6c	....__name__..__module__..__qual
0620	6e 61 6d 65 5f 5f da 0f 5f 5f 66 69 72 73 74 6c 69 6e 65 6e 6f 5f 5f 72 0c 00 00 00 72 22 00 00	name__..__firstlineno__r....r"..
0640	00 da 15 5f 5f 73 74 61 74 69 63 5f 61 74 74 72 69 62 75 74 65 73 5f 5f da 0d 5f 5f 63 6c 61 73	...__static_attributes__..__clas
0660	73 63 65 6c 6c 5f 5f a9 01 72 15 00 00 00 73 01 00 00 00 40 72 16 00 00 00 72 07 00 00 00 72 07	scell__..r....s....@r....r....r.
0680	00 00 00 0c 00 00 00 73 14 00 00 00 f8 86 00 f7 02 03 05 17 f7 0a 01 05 59 01 f0 00 01 05 59 01	.......s................Y.....Y.
06a0	72 18 00 00 00 72 07 00 00 00 63 00 00 00 00 00 00 00 00 00 00 00 00 02 00 00 00 00 00 00 00 f3	r....r....c.....................
06c0	32 00 00 00 5e 00 95 00 5c 00 72 01 53 00 72 02 53 01 72 03 53 02 72 04 55 00 34 01 53 03 1a 00	2...^...\.r.S.r.S.r.S.r.U.4.S...
06e0	6a 08 72 05 53 04 1a 00 72 06 53 05 72 07 55 00 3d 01 72 08 24 00 29 06 da 05 5f 43 6f 72 65 e9	j.r.S...r.S.r.U.=.r.$.)..._Core.
0700	16 00 00 00 7a 63 73 6f 66 74 6d 61 78 28 51 4b 5e 54 2f 73 71 72 74 28 64 68 29 29 20 56 20 66	....zcsoftmax(QK^T/sqrt(dh)).V.f
0720	72 6f 6d 20 63 6f 6e 63 61 74 65 6e 61 74 65 64 20 71 6b 76 20 5b 42 2c 54 2c 33 64 5d 20 2d 3e	rom.concatenated.qkv.[B,T,3d].->
0740	20 5b 42 2c 54 2c 64 5d 3b 20 65 78 70 6c 69 63 69 74 20 28 66 6f 72 77 61 72 64 2d 41 44 20 66	.[B,T,d];.explicit.(forward-AD.f
0760	72 69 65 6e 64 6c 79 29 2e 63 03 00 00 00 00 00 00 00 00 00 00 00 03 00 00 00 03 00 00 00 f3 3e	riendly).c.....................>
0780	00 00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00 00 54 03 55 00 5d 05 00 00 35 00 00 00 00 00 00	...>...[.........T.U.]...5......
07a0	00 20 00 58 12 73 02 55 00 6c 02 00 00 00 00 00 00 00 00 55 00 6c 03 00 00 00 00 00 00 00 00 67	...X.s.U.l.........U.l.........g
07c0	00 72 0a 00 00 00 29 04 72 0b 00 00 00 72 0c 00 00 00 72 14 00 00 00 da 01 68 29 04 72 13 00 00	.r....).r....r....r......h).r...
07e0	00 72 14 00 00 00 da 05 68 65 61 64 73 72 15 00 00 00 73 04 00 00 00 20 20 20 80 72 16 00 00 00	.r......headsr....s........r....
0800	72 0c 00 00 00 da 0e 5f 43 6f 72 65 2e 5f 5f 69 6e 69 74 5f 5f 19 00 00 00 73 1b 00 00 00 f8 80	r......_Core.__init__....s......
0820	00 dc 08 0d 89 07 d1 08 18 d4 08 1a d8 19 1a 88 0e 88 04 8c 06 90 04 95 06 72 18 00 00 00 63 02	.........................r....c.
0840	00 00 00 00 00 00 00 00 00 00 00 07 00 00 00 03 00 00 00 f3 1a 03 00 00 95 00 55 01 52 00 00 00	..........................U.R...
0860	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 75 03 00 00 70 23 6e 04 55 01 52 03 00 00 00 00	................u...p#n.U.R.....
0880	00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 04 00 00 00 00 00 00 00 00 00 00 00 00 00 00	..............U.R...............
08a0	00 00 00 00 53 01 53 02 39 02 75 03 00 00 70 56 6e 07 55 00 52 04 00 00 00 00 00 00 00 00 00 00	....S.S.9.u...pVn.U.R...........
08c0	00 00 00 00 00 00 00 00 55 00 52 06 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 2d 02	........U.R...................-.
08e0	00 00 6e 08 55 05 52 09 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 58 23 55 00 52 06	..n.U.R...................X#U.R.
0900	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 08 35 04 00 00 00 00 00 00 52 0b 00 00	..................U.5.......R...
0920	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 03 53 04 35 02 00 00 00 00 00 00 6e 05 55 06	................S.S.5.......n.U.
0940	52 09 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 58 23 55 00 52 06 00 00 00 00 00 00	R...................X#U.R.......
0960	00 00 00 00 00 00 00 00 00 00 00 00 55 08 35 04 00 00 00 00 00 00 52 0b 00 00 00 00 00 00 00 00	............U.5.......R.........
0980	00 00 00 00 00 00 00 00 00 00 53 03 53 04 35 02 00 00 00 00 00 00 6e 06 55 07 52 09 00 00 00 00	..........S.S.5.......n.U.R.....
09a0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 58 23 55 00 52 06 00 00 00 00 00 00 00 00 00 00 00 00	..............X#U.R.............
09c0	00 00 00 00 00 00 55 08 35 04 00 00 00 00 00 00 52 0b 00 00 00 00 00 00 00 00 00 00 00 00 00 00	......U.5.......R...............
09e0	00 00 00 00 53 03 53 04 35 02 00 00 00 00 00 00 6e 07 58 56 52 0b 00 00 00 00 00 00 00 00 00 00	....S.S.5.......n.XVR...........
0a00	00 00 00 00 00 00 00 00 53 05 53 01 35 02 00 00 00 00 00 00 2d 04 00 00 5b 0c 00 00 00 00 00 00	........S.S.5.......-...[.......
0a20	00 00 52 0e 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 55 08 35 01 00 00 00 00	..R...................".U.5.....
0a40	00 00 2d 0b 00 00 6e 09 5b 10 00 00 00 00 00 00 00 00 52 12 00 00 00 00 00 00 00 00 00 00 00 00	..-...n.[.........R.............
0a60	00 00 00 00 00 00 22 00 58 33 5b 10 00 00 00 00 00 00 00 00 52 14 00 00 00 00 00 00 00 00 00 00	......".X3[.........R...........
0a80	00 00 00 00 00 00 00 00 55 01 52 16 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 06	........U.R...................S.
0aa0	39 04 52 19 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 6e 0a	9.R...................5.......n.
0ac0	55 09 52 1b 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 0a 29 00 5b 1d 00 00 00 00	U.R...................U.).[.....
0ae0	00 00 00 00 53 07 35 01 00 00 00 00 00 00 35 02 00 00 00 00 00 00 52 1f 00 00 00 00 00 00 00 00	....S.5.......5.......R.........
0b00	00 00 00 00 00 00 00 00 00 00 53 01 35 01 00 00 00 00 00 00 6e 09 58 97 2d 04 00 00 52 0b 00 00	..........S.5.......n.X.-...R...
0b20	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 03 53 04 35 02 00 00 00 00 00 00 52 21 00 00	................S.S.5.......R!..
0b40	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 58 23 55 00 52 04 00 00 00 00 00 00 00 00 00 00	................X#U.R...........
0b60	00 00 00 00 00 00 00 00 35 03 00 00 00 00 00 00 24 00 29 08 4e 72 1b 00 00 00 29 01 da 03 64 69	........5.......$.).Nr....)...di
0b80	6d 72 03 00 00 00 72 1a 00 00 00 e9 fe ff ff ff 29 02 da 05 64 74 79 70 65 da 06 64 65 76 69 63	mr....r.........)...dtype..devic
0ba0	65 7a 04 2d 69 6e 66 29 11 da 05 73 68 61 70 65 da 05 73 70 6c 69 74 72 14 00 00 00 72 30 00 00	ez.-inf)...shape..splitr....r0..
0bc0	00 da 04 76 69 65 77 da 09 74 72 61 6e 73 70 6f 73 65 da 04 6d 61 74 68 da 04 73 71 72 74 72 0f	...view..transpose..math..sqrtr.
0be0	00 00 00 72 10 00 00 00 da 04 62 6f 6f 6c 72 37 00 00 00 da 04 74 72 69 6c da 0b 6d 61 73 6b 65	...r......boolr7.....tril..maske
0c00	64 5f 66 69 6c 6c da 05 66 6c 6f 61 74 da 07 73 6f 66 74 6d 61 78 da 07 72 65 73 68 61 70 65 29	d_fill..float..softmax..reshape)
0c20	0b 72 13 00 00 00 da 03 71 6b 76 da 01 42 da 01 54 da 01 5f da 01 71 da 01 6b da 01 76 da 02 64	.r......qkv..B..T.._..q..k..v..d
0c40	68 da 03 61 74 74 da 04 6d 61 73 6b 73 0b 00 00 00 20 20 20 20 20 20 20 20 20 20 20 72 16 00 00	h..att..masks...............r...
0c60	00 72 22 00 00 00 da 0d 5f 43 6f 72 65 2e 66 6f 72 77 61 72 64 1d 00 00 00 73 2e 01 00 00 80 00	.r"....._Core.forward....s......
0c80	d8 12 15 97 29 91 29 89 07 88 01 88 61 d8 12 15 97 29 91 29 98 44 9f 46 99 46 a8 02 90 29 d0 12	....).).....a....).).D.F.F...)..
0ca0	2b 89 07 88 01 88 61 d8 0d 11 8f 56 89 56 90 74 97 76 91 76 d1 0d 1d 88 02 d8 0c 0d 8f 46 89 46	+.....a....V.V.t.v.v.........F.F
0cc0	90 31 98 14 9f 16 99 16 a0 12 d3 0c 24 d7 0c 2e d1 0c 2e a8 71 b0 21 d3 0c 34 88 01 d8 0c 0d 8f	.1..........$.......q.!..4......
0ce0	46 89 46 90 31 98 14 9f 16 99 16 a0 12 d3 0c 24 d7 0c 2e d1 0c 2e a8 71 b0 21 d3 0c 34 88 01 d8	F.F.1..........$.......q.!..4...
0d00	0c 0d 8f 46 89 46 90 31 98 14 9f 16 99 16 a0 12 d3 0c 24 d7 0c 2e d1 0c 2e a8 71 b0 21 d3 0c 34	...F.F.1..........$.......q.!..4
0d20	88 01 d8 0f 10 97 3b 91 3b 98 72 a0 32 d3 13 26 d1 0f 26 ac 24 af 29 aa 29 b0 42 ab 2d d1 0e 37	......;.;.r.2..&..&.$.).).B.-..7
0d40	88 03 dc 0f 14 8f 7a 8a 7a 98 21 a4 65 a7 6a a1 6a b8 13 bf 1a b9 1a d1 0f 44 d7 0f 49 d1 0f 49	......z.z.!.e.j.j........D..I..I
0d60	d3 0f 4b 88 04 d8 0e 11 8f 6f 89 6f 98 74 98 65 a4 55 a8 36 a3 5d d3 0e 33 d7 0e 3b d1 0e 3b b8	..K......o.o.t.e.U.6.]..3..;..;.
0d80	42 d3 0e 3f 88 03 d8 10 13 91 07 d7 0f 22 d1 0f 22 a0 31 a0 61 d3 0f 28 d7 0f 30 d1 0f 30 b0 11	B..?........."..".1.a..(..0..0..
0da0	b0 74 b7 76 b1 76 d3 0f 3e d0 08 3e 72 18 00 00 00 29 02 72 14 00 00 00 72 30 00 00 00 a9 09 72	.t.v.v..>..>r....).r....r0.....r
0dc0	25 00 00 00 72 26 00 00 00 72 27 00 00 00 72 28 00 00 00 da 07 5f 5f 64 6f 63 5f 5f 72 0c 00 00	%...r&...r'...r(.....__doc__r...
0de0	00 72 22 00 00 00 72 29 00 00 00 72 2a 00 00 00 72 2b 00 00 00 73 01 00 00 00 40 72 16 00 00 00	.r"...r)...r*...r+...s....@r....
0e00	72 2d 00 00 00 72 2d 00 00 00 16 00 00 00 73 15 00 00 00 f8 86 00 d9 04 6d f5 04 02 05 22 f7 08	r-...r-.......s.........m...."..
0e20	0a 05 3f f0 00 0a 05 3f 72 18 00 00 00 72 2d 00 00 00 63 00 00 00 00 00 00 00 00 00 00 00 00 02	..?....?r....r-...c.............
0e40	00 00 00 00 00 00 00 f3 32 00 00 00 5e 00 95 00 5c 00 72 01 53 00 72 02 53 01 72 03 53 02 72 04	........2...^...\.r.S.r.S.r.S.r.
0e60	55 00 34 01 53 03 1a 00 6a 08 72 05 53 04 1a 00 72 06 53 05 72 07 55 00 3d 01 72 08 24 00 29 06	U.4.S...j.r.S...r.S.r.U.=.r.$.).
0e80	da 07 5f 53 77 69 47 4c 55 e9 2a 00 00 00 7a 58 52 4d 53 20 2d 3e 20 28 57 31 20 78 29 20 2a 20	.._SwiGLU.*...zXRMS.->.(W1.x).*.
0ea0	53 69 4c 55 28 57 33 20 78 29 20 2d 3e 20 57 32 2c 20 6f 6e 65 20 70 65 72 2d 74 6f 6b 65 6e 20	SiLU(W3.x).->.W2,.one.per-token.
0ec0	70 68 79 73 69 63 61 6c 20 62 72 61 6e 63 68 20 28 69 64 65 6e 74 69 74 79 20 73 6b 69 70 20 6f	physical.branch.(identity.skip.o
0ee0	75 74 73 69 64 65 29 2e 63 04 00 00 00 00 00 00 00 00 00 00 00 06 00 00 00 03 00 00 00 f3 86 01	utside).c.......................
0f00	00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00 00 54 04 55 00 5d 05 00 00 35 00 00 00 00 00 00 00	..>...[.........T.U.]...5.......
0f20	20 00 5b 05 00 00 00 00 00 00 00 00 55 01 35 01 00 00 00 00 00 00 55 00 6c 03 00 00 00 00 00 00	..[.........U.5.......U.l.......
0f40	00 00 5b 08 00 00 00 00 00 00 00 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	..[.........R...................
0f60	22 00 58 12 53 01 53 02 39 03 55 00 6c 06 00 00 00 00 00 00 00 00 5b 08 00 00 00 00 00 00 00 00	".X.S.S.9.U.l.........[.........
0f80	52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 12 53 01 53 02 39 03 55 00	R...................".X.S.S.9.U.
0fa0	6c 07 00 00 00 00 00 00 00 00 5b 08 00 00 00 00 00 00 00 00 52 0a 00 00 00 00 00 00 00 00 00 00	l.........[.........R...........
0fc0	00 00 00 00 00 00 00 00 22 00 58 21 53 01 53 02 39 03 55 00 6c 08 00 00 00 00 00 00 00 00 5b 12	........".X!S.S.9.U.l.........[.
0fe0	00 00 00 00 00 00 00 00 52 14 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 35 00	........R...................".5.
1000	00 00 00 00 00 00 02 00 20 00 55 00 52 10 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	..........U.R...................
1020	52 16 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 19 00 00 00 00 00 00 00 00 00 00	R...................R...........
1040	00 00 00 00 00 00 00 00 55 03 35 01 00 00 00 00 00 00 20 00 53 00 53 00 53 00 35 02 00 00 00 00	........U.5.........S.S.S.5.....
1060	00 00 20 00 67 00 21 00 2c 00 28 00 00 00 00 00 00 00 64 01 00 00 66 02 20 00 1f 00 20 00 20 00	....g.!.,.(.......d...f.........
1080	67 00 3d 03 1f 00 66 01 29 03 4e 46 a9 01 da 04 62 69 61 73 29 0d 72 0b 00 00 00 72 0c 00 00 00	g.=...f.).NF....bias).r....r....
10a0	72 07 00 00 00 da 04 6e 6f 72 6d 72 0d 00 00 00 da 06 4c 69 6e 65 61 72 da 02 77 31 da 02 77 33	r......normr......Linear..w1..w3
10c0	da 02 77 32 72 0f 00 00 00 da 07 6e 6f 5f 67 72 61 64 72 11 00 00 00 da 04 6d 75 6c 5f 29 05 72	..w2r......no_gradr......mul_).r
10e0	13 00 00 00 72 14 00 00 00 da 06 68 69 64 64 65 6e da 05 73 63 61 6c 65 72 15 00 00 00 73 05 00	....r......hidden..scaler....s..
1100	00 00 20 20 20 20 80 72 16 00 00 00 72 0c 00 00 00 da 10 5f 53 77 69 47 4c 55 2e 5f 5f 69 6e 69	.......r....r......_SwiGLU.__ini
1120	74 5f 5f 2d 00 00 00 73 78 00 00 00 f8 80 00 dc 08 0d 89 07 d1 08 18 d4 08 1a dc 14 1b 98 41 93	t__-...sx.....................A.
1140	4a 88 04 8c 09 dc 12 14 97 29 92 29 98 41 a8 45 d1 12 32 88 04 8c 07 dc 12 14 97 29 92 29 98 41	J........).).A.E..2........).).A
1160	a8 45 d1 12 32 88 04 8c 07 dc 12 14 97 29 92 29 98 46 a8 45 d1 12 32 88 04 8c 07 dc 0d 12 8f 5d	.E..2........).).F.E..2........]
1180	8a 5d 8d 5f d8 0c 10 8f 47 89 47 8f 4e 89 4e d7 0c 1f d1 0c 1f a0 05 d4 0c 26 f7 03 00 0e 1d 8f	.]._....G.G.N.N..........&......
11a0	5f 8e 5f fa 73 0c 00 00 00 c2 03 26 42 32 03 c2 32 0a 43 00 07 63 02 00 00 00 00 00 00 00 00 00	_._.s......&B2..2.C..c..........
11c0	00 00 08 00 00 00 03 00 00 00 f3 b0 00 00 00 95 00 55 00 52 01 00 00 00 00 00 00 00 00 00 00 00	.................U.R............
11e0	00 00 00 00 00 00 00 55 01 35 01 00 00 00 00 00 00 6e 02 55 00 52 03 00 00 00 00 00 00 00 00 00	.......U.5.......n.U.R..........
1200	00 00 00 00 00 00 00 00 00 55 00 52 05 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55	.........U.R...................U
1220	02 35 01 00 00 00 00 00 00 5b 06 00 00 00 00 00 00 00 00 52 08 00 00 00 00 00 00 00 00 00 00 00	.5.......[.........R............
1240	00 00 00 00 00 00 00 22 00 55 00 52 0b 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55	.......".U.R...................U
1260	02 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00 00 2d 05 00 00 35 01 00 00 00 00 00 00 24 00 72	.5.......5.......-...5.......$.r
1280	0a 00 00 00 29 06 72 57 00 00 00 72 5b 00 00 00 72 59 00 00 00 da 01 46 da 04 73 69 6c 75 72 5a	....).rW...r[...rY.....F..silurZ
12a0	00 00 00 29 03 72 13 00 00 00 72 21 00 00 00 72 30 00 00 00 73 03 00 00 00 20 20 20 72 16 00 00	...).r....r!...r0...s.......r...
12c0	00 72 22 00 00 00 da 0f 5f 53 77 69 47 4c 55 2e 66 6f 72 77 61 72 64 36 00 00 00 73 3c 00 00 00	.r"....._SwiGLU.forward6...s<...
12e0	80 00 d8 0c 10 8f 49 89 49 90 61 8b 4c 88 01 d8 0f 13 8f 77 89 77 90 74 97 77 91 77 98 71 93 7a	......I.I.a.L......w.w.t.w.w.q.z
1300	a4 41 a7 46 a2 46 a8 34 af 37 a9 37 b0 31 ab 3a d3 24 36 d1 17 36 d3 0f 37 d0 08 37 72 18 00 00	.A.F.F.4.7.7.1.:.$6..6..7..7r...
1320	00 29 04 72 57 00 00 00 72 59 00 00 00 72 5b 00 00 00 72 5a 00 00 00 72 4f 00 00 00 72 2b 00 00	.).rW...rY...r[...rZ...rO...r+..
1340	00 73 01 00 00 00 40 72 16 00 00 00 72 52 00 00 00 72 52 00 00 00 2a 00 00 00 73 15 00 00 00 f8	.s....@r....rR...rR...*...s.....
1360	86 00 d9 04 62 f5 04 07 05 27 f7 12 02 05 38 f0 00 02 05 38 72 18 00 00 00 72 52 00 00 00 63 00	....b....'....8....8r....rR...c.
1380	00 00 00 00 00 00 00 00 00 00 00 02 00 00 00 00 00 00 00 f3 2e 00 00 00 5e 00 95 00 5c 00 72 01	........................^...\.r.
13a0	53 00 72 02 53 01 72 03 55 00 34 01 53 02 1a 00 6a 08 72 04 53 03 1a 00 72 05 53 04 72 06 55 00	S.r.S.r.U.4.S...j.r.S...r.S.r.U.
13c0	3d 01 72 07 24 00 29 05 da 05 42 6c 6f 63 6b e9 3b 00 00 00 63 08 00 00 00 00 00 00 00 00 00 00	=.r.$.)...Block.;...c...........
13e0	00 09 00 00 00 03 00 00 00 f3 6c 02 00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00 00 54 0a 55 00	..........l...>...[.........T.U.
1400	5d 05 00 00 35 00 00 00 00 00 00 00 20 00 5b 05 00 00 00 00 00 00 00 00 55 01 35 01 00 00 00 00	]...5.........[.........U.5.....
1420	00 00 55 00 6c 03 00 00 00 00 00 00 00 00 5b 08 00 00 00 00 00 00 00 00 52 0a 00 00 00 00 00 00	..U.l.........[.........R.......
1440	00 00 00 00 00 00 00 00 00 00 00 00 22 00 55 01 53 01 55 01 2d 05 00 00 53 02 53 03 39 03 55 00	............".U.S.U.-...S.S.9.U.
1460	6c 06 00 00 00 00 00 00 00 00 55 04 52 0e 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	l.........U.R...................
1480	53 04 3a 58 00 00 61 02 00 00 55 04 4f 2b 55 04 52 11 00 00 00 00 00 00 00 00 00 00 00 00 00 00	S.:X..a...U.O+U.R...............
14a0	00 00 00 00 5b 13 00 00 00 00 00 00 00 00 55 04 52 14 00 00 00 00 00 00 00 00 00 00 00 00 00 00	....[.........U.R...............
14c0	00 00 00 00 3d 01 28 00 00 00 00 00 00 00 64 02 00 00 20 00 53 05 53 05 35 02 00 00 00 00 00 00	....=.(.......d.....S.S.5.......
14e0	53 06 39 01 6e 08 5b 17 00 00 00 00 00 00 00 00 5b 19 00 00 00 00 00 00 00 00 58 12 35 02 00 00	S.9.n.[.........[.........X.5...
1500	00 00 00 00 55 08 53 07 53 08 55 07 0e 00 53 09 33 03 53 0a 39 04 6e 09 58 12 58 11 53 00 53 0b	....U.S.S.U...S.3.S.9.n.X.X.S.S.
1520	53 0c 2e 06 55 09 6c 0d 00 00 00 00 00 00 00 00 58 90 6c 0e 00 00 00 00 00 00 00 00 5b 08 00 00	S...U.l.........X.l.........[...
1540	00 00 00 00 00 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 11 53 02	......R...................".X.S.
1560	53 03 39 03 55 00 6c 0f 00 00 00 00 00 00 00 00 5b 20 00 00 00 00 00 00 00 00 52 22 00 00 00 00	S.9.U.l.........[.........R"....
1580	00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 35 00 00 00 00 00 00 00 02 00 20 00 55 00 52 1e	..............".5...........U.R.
15a0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 24 00 00 00 00 00 00 00 00 00 00 00 00	..................R$............
15c0	00 00 00 00 00 00 52 27 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 06 35 01 00 00	......R'..................U.5...
15e0	00 00 00 00 20 00 53 00 53 00 53 00 35 02 00 00 00 00 00 00 20 00 5b 17 00 00 00 00 00 00 00 00	......S.S.S.5.........[.........
1600	5b 29 00 00 00 00 00 00 00 00 58 13 55 06 35 03 00 00 00 00 00 00 55 04 53 0d 53 0e 53 08 55 07	[)........X.U.5.......U.S.S.S.U.
1620	0e 00 53 0f 33 03 53 10 39 05 55 00 6c 15 00 00 00 00 00 00 00 00 67 00 21 00 2c 00 28 00 00 00	..S.3.S.9.U.l.........g.!.,.(...
1640	00 00 00 00 64 01 00 00 66 02 20 00 1f 00 20 00 20 00 4e 2f 3d 03 1f 00 66 01 29 11 4e e9 03 00	....d...f.........N/=...f.).N...
1660	00 00 46 72 55 00 00 00 da 02 62 70 e9 04 00 00 00 29 01 da 0b 70 72 6f 62 65 5f 63 68 75 6e 6b	..FrU.....bp.....)...probe_chunk
1680	72 03 00 00 00 da 01 4c 7a 05 2e 63 6f 72 65 29 02 da 0a 62 61 74 63 68 5f 64 69 6d 73 da 04 6e	r......Lz..core)...batch_dims..n
16a0	61 6d 65 54 29 06 72 14 00 00 00 72 31 00 00 00 da 02 64 6b da 02 64 76 da 06 77 69 6e 64 6f 77	ameT).r....r1.....dk..dv..window
16c0	da 02 71 6b da 08 69 64 65 6e 74 69 74 79 72 1a 00 00 00 7a 04 2e 66 66 6e 29 03 da 04 73 6b 69	..qk..identityr....z..ffn)...ski
16e0	70 72 6e 00 00 00 72 6f 00 00 00 29 16 72 0b 00 00 00 72 0c 00 00 00 72 07 00 00 00 da 06 6e 6f	prn...ro...).r....r....r......no
1700	72 6d 5f 61 72 0d 00 00 00 72 58 00 00 00 72 44 00 00 00 da 04 6d 6f 64 65 da 07 72 65 70 6c 61	rm_ar....rX...rD.....mode..repla
1720	63 65 da 03 6d 69 6e 72 6c 00 00 00 72 04 00 00 00 72 2d 00 00 00 da 0b 73 63 6f 72 65 5f 70 72	ce..minrl...r....r-.....score_pr
1740	6f 62 65 da 04 63 6f 72 65 da 04 70 72 6f 6a 72 0f 00 00 00 72 5c 00 00 00 72 11 00 00 00 72 5d	obe..core..projr....r\...r....r]
1760	00 00 00 72 52 00 00 00 da 03 66 66 6e 29 0b 72 13 00 00 00 72 14 00 00 00 72 31 00 00 00 72 5e	...rR.....ffn).r....r....r1...r^
1780	00 00 00 da 03 63 66 67 72 6a 00 00 00 72 5f 00 00 00 da 02 6c 69 da 08 63 6f 72 65 5f 63 66 67	.....cfgrj...r_.....li..core_cfg
17a0	72 7b 00 00 00 72 15 00 00 00 73 0b 00 00 00 20 20 20 20 20 20 20 20 20 20 80 72 16 00 00 00 72	r{...r....s...............r....r
17c0	0c 00 00 00 da 0e 42 6c 6f 63 6b 2e 5f 5f 69 6e 69 74 5f 5f 3c 00 00 00 73 fd 00 00 00 f8 80 00	......Block.__init__<...s.......
17e0	dc 08 0d 89 07 d1 08 18 d4 08 1a dc 16 1d 98 61 93 6a 88 04 8c 0b dc 13 15 97 39 92 39 98 51 a0	...............a.j........9.9.Q.
1800	01 a0 41 a1 05 a8 45 d1 13 32 88 04 8c 08 e0 1a 1d 9f 28 99 28 a0 64 d3 1a 2a 91 33 b0 03 b7 0b	..A...E..2........(.(.d..*.3....
1820	b1 0b cc 03 c8 43 cf 4f c9 4f d7 4c 60 d0 5f 60 d0 62 63 d3 48 64 b0 0b d0 30 65 88 08 dc 0f 17	.....C.O.O.L`._`.bc.Hd...0e.....
1840	9c 05 98 61 9b 0f a8 18 b8 61 c8 01 c8 22 c8 14 c8 55 c0 6d d1 0f 54 88 04 d8 21 22 b8 21 d0 50	...a.....a..."...U.m..T...!".!.P
1860	54 d0 5c 60 d1 1b 61 88 04 d4 08 18 d8 14 18 8c 09 dc 14 16 97 49 92 49 98 61 a8 15 d1 14 2f 88	T.\`..a..............I.I.a..../.
1880	04 8c 09 dc 0d 12 8f 5d 8a 5d 8d 5f d8 0c 10 8f 49 89 49 d7 0c 1c d1 0c 1c d7 0c 21 d1 0c 21 a0	.......].]._....I.I........!..!.
18a0	25 d4 0c 28 f7 03 00 0e 1d e4 13 1b 9c 47 a0 41 a8 75 d3 1c 35 b0 73 c0 1a d0 58 59 d0 62 63 d0	%..(.........G.A.u..5.s...XY.bc.
18c0	64 66 d0 63 67 d0 67 6b d0 60 6c d1 13 6d 88 04 8d 08 f7 05 00 0e 1d 8d 5f fa 73 0c 00 00 00 c3	df.cg.gk.`l..m.........._.s.....
18e0	16 26 44 25 03 c4 25 0a 44 33 07 63 02 00 00 00 00 00 00 00 00 00 00 00 0a 00 00 00 03 00 00 00	.&D%..%.D3.c....................
1900	f3 a4 00 00 00 95 00 58 10 52 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52	.......X.R...................U.R
1920	03 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 05 00 00 00 00 00 00 00 00 00	...................U.R..........
1940	00 00 00 00 00 00 00 00 00 55 00 52 07 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55	.........U.R...................U
1960	01 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00	.5.......5.......5.......5......
1980	00 2d 00 00 00 6e 01 55 00 52 09 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 01 35	.-...n.U.R...................U.5
19a0	01 00 00 00 00 00 00 24 00 72 0a 00 00 00 29 05 72 7c 00 00 00 72 7b 00 00 00 72 44 00 00 00 72	.......$.r....).r|...r{...rD...r
19c0	76 00 00 00 72 7d 00 00 00 72 20 00 00 00 73 02 00 00 00 20 20 72 16 00 00 00 72 22 00 00 00 da	v...r}...r....s......r....r"....
19e0	0d 42 6c 6f 63 6b 2e 66 6f 72 77 61 72 64 4a 00 00 00 73 3b 00 00 00 80 00 d8 0c 0d 97 09 91 09	.Block.forwardJ...s;............
1a00	98 24 9f 29 99 29 a0 44 a7 48 a1 48 a8 54 af 5b a9 5b b8 11 ab 5e d3 24 3c d3 1a 3d d3 10 3e d1	.$.).).D.H.H.T.[.[...^.$<..=..>.
1a20	0c 3e 88 01 d8 0f 13 8f 78 89 78 98 01 8b 7b d0 08 1a 72 18 00 00 00 29 05 72 7b 00 00 00 72 7d	.>......x.x...{...r....).r{...r}
1a40	00 00 00 72 76 00 00 00 72 7c 00 00 00 72 44 00 00 00 72 24 00 00 00 72 2b 00 00 00 73 01 00 00	...rv...r|...rD...r$...r+...s...
1a60	00 40 72 16 00 00 00 72 66 00 00 00 72 66 00 00 00 3b 00 00 00 73 13 00 00 00 f8 86 00 f5 02 0c	.@r....rf...rf...;...s..........
1a80	05 6e 01 f7 1c 02 05 1b f0 00 02 05 1b 72 18 00 00 00 72 66 00 00 00 63 00 00 00 00 00 00 00 00	.n...........r....rf...c........
1aa0	00 00 00 00 03 00 00 00 00 00 00 00 f3 32 00 00 00 5e 00 95 00 5c 00 72 01 53 00 72 02 53 01 72	.............2...^...\.r.S.r.S.r
1ac0	03 53 05 55 00 34 01 53 02 1a 00 6a 08 6a 01 72 04 53 03 1a 00 72 05 53 04 72 06 55 00 3d 01 72	.S.U.4.S...j.j.r.S...r.S.r.U.=.r
1ae0	07 24 00 29 06 da 09 53 63 61 6c 69 6e 67 4c 4d e9 4f 00 00 00 63 08 00 00 00 00 00 00 00 00 00	.$.)...ScalingLM.O...c..........
1b00	00 00 0e 00 00 00 03 00 00 00 f3 44 03 00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00 00 54 0d 55	...........D...>...[.........T.U
1b20	00 5d 05 00 00 35 00 00 00 00 00 00 00 20 00 55 07 3d 01 28 00 00 00 00 00 00 00 64 09 00 00 20	.]...5.........U.=.(.......d....
1b40	00 5b 05 00 00 00 00 00 00 00 00 53 01 53 02 39 01 6e 07 55 07 52 07 00 00 00 00 00 00 00 00 00	.[.........S.S.9.n.U.R..........
1b60	00 00 00 00 00 00 00 00 00 53 01 53 02 39 01 6e 08 5b 09 00 00 00 00 00 00 00 00 55 06 5b 0a 00	.........S.S.9.n.[.........U.[..
1b80	00 00 00 00 00 00 00 35 02 00 00 00 00 00 00 28 00 00 00 00 00 00 00 61 14 00 00 5b 0d 00 00 00	.......5.......(.......a...[....
1ba0	00 00 00 00 00 5b 0b 00 00 00 00 00 00 00 00 55 06 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00	.....[.........U.5.......5......
1bc0	00 4f 01 55 06 6e 09 5b 0f 00 00 00 00 00 00 00 00 5b 11 00 00 00 00 00 00 00 00 58 92 2d 05 00	.O.U.n.[.........[.........X.-..
1be0	00 53 03 2d 0b 00 00 35 01 00 00 00 00 00 00 53 03 2d 05 00 00 35 01 00 00 00 00 00 00 6e 0a 53	.S.-...5.......S.-...5.......n.S
1c00	04 5b 12 00 00 00 00 00 00 00 00 52 14 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22	.[.........R..................."
1c20	00 53 05 55 03 2d 05 00 00 35 01 00 00 00 00 00 00 2d 0b 00 00 6e 0b 5b 16 00 00 00 00 00 00 00	.S.U.-...5.......-...n.[........
1c40	00 52 18 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 12 35 02 00 00 00 00 00	.R...................".X.5......
1c60	00 55 00 6c 0d 00 00 00 00 00 00 00 00 5b 16 00 00 00 00 00 00 00 00 52 18 00 00 00 00 00 00 00	.U.l.........[.........R........
1c80	00 00 00 00 00 00 00 00 00 00 00 22 00 58 52 35 02 00 00 00 00 00 00 55 00 6c 0e 00 00 00 00 00	...........".XR5.......U.l......
1ca0	00 00 00 5b 16 00 00 00 00 00 00 00 00 52 1e 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	...[.........R..................
1cc0	00 52 21 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 1a 00 00 00 00 00 00 00	.R!..................U.R........
1ce0	00 00 00 00 00 00 00 00 00 00 00 52 22 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53	...........R"..................S
1d00	06 53 07 39 02 20 00 5b 16 00 00 00 00 00 00 00 00 52 1e 00 00 00 00 00 00 00 00 00 00 00 00 00	.S.9...[.........R..............
1d20	00 00 00 00 00 52 21 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 1c 00 00 00	.....R!..................U.R....
1d40	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 22 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	...............R"...............
1d60	00 00 00 53 06 53 07 39 02 20 00 5b 16 00 00 00 00 00 00 00 00 52 24 00 00 00 00 00 00 00 00 00	...S.S.9...[.........R$.........
1d80	00 00 00 00 00 00 00 00 00 22 00 5b 27 00 00 00 00 00 00 00 00 55 03 35 01 00 00 00 00 00 00 13	.........".['........U.5........
1da0	00 56 0c 73 02 2f 00 73 02 13 00 48 11 00 00 6e 0c 5b 29 00 00 00 00 00 00 00 00 58 24 58 a7 58	.V.s./.s...H...n.[)........X$X.X
1dc0	8b 55 0c 35 07 00 00 00 00 00 00 50 02 4d 13 00 00 0b 00 20 00 73 02 6e 0c 36 00 55 00 6c 15 00	.U.5.......P.M.......s.n.6.U.l..
1de0	00 00 00 00 00 00 00 5b 2d 00 00 00 00 00 00 00 00 55 02 35 01 00 00 00 00 00 00 55 00 6c 17 00	.......[-........U.5.......U.l..
1e00	00 00 00 00 00 00 00 5b 16 00 00 00 00 00 00 00 00 52 30 00 00 00 00 00 00 00 00 00 00 00 00 00	.......[.........R0.............
1e20	00 00 00 00 00 22 00 58 21 53 08 53 09 39 03 55 00 6c 19 00 00 00 00 00 00 00 00 58 50 6c 1a 00	.....".X!S.S.9.U.l.........XPl..
1e40	00 00 00 00 00 00 00 67 00 73 02 20 00 73 02 6e 0c 66 00 29 0a 4e 72 6a 00 00 00 29 01 72 77 00	.......g.s...s.n.f.).Nrj...).rw.
1e60	00 00 e9 40 00 00 00 72 03 00 00 00 72 1a 00 00 00 67 7b 14 ae 47 e1 7a 94 3f 29 01 da 03 73 74	...@...r....r....g{..G.z.?)...st
1e80	64 46 72 55 00 00 00 29 1b 72 0b 00 00 00 72 0c 00 00 00 72 05 00 00 00 72 78 00 00 00 da 0a 69	dFrU...).r....r....r....rx.....i
1ea0	73 69 6e 73 74 61 6e 63 65 da 03 73 74 72 da 04 65 76 61 6c da 03 69 6e 74 da 05 72 6f 75 6e 64	sinstance..str..eval..int..round
1ec0	72 3c 00 00 00 72 3d 00 00 00 72 0d 00 00 00 da 09 45 6d 62 65 64 64 69 6e 67 da 03 74 6f 6b da	r<...r=...r......Embedding..tok.
1ee0	03 70 6f 73 da 04 69 6e 69 74 da 07 6e 6f 72 6d 61 6c 5f 72 11 00 00 00 da 0a 53 65 71 75 65 6e	.pos..init..normal_r......Sequen
1f00	74 69 61 6c da 05 72 61 6e 67 65 72 66 00 00 00 da 06 62 6c 6f 63 6b 73 72 07 00 00 00 da 06 6e	tial..rangerf.....blocksr......n
1f20	6f 72 6d 5f 66 72 58 00 00 00 da 04 68 65 61 64 da 07 73 65 71 5f 6c 65 6e 29 0e 72 13 00 00 00	orm_frX.....head..seq_len).r....
1f40	da 05 76 6f 63 61 62 72 14 00 00 00 da 06 6c 61 79 65 72 73 72 31 00 00 00 72 99 00 00 00 da 08	..vocabr......layersr1...r......
1f60	66 66 6e 5f 6d 75 6c 74 72 7e 00 00 00 72 6a 00 00 00 da 04 6d 75 6c 74 72 5e 00 00 00 72 5f 00	ffn_multr~...rj.....multr^...r_.
1f80	00 00 da 01 69 72 15 00 00 00 73 0e 00 00 00 20 20 20 20 20 20 20 20 20 20 20 20 20 80 72 16 00	....ir....s..................r..
1fa0	00 00 72 0c 00 00 00 da 12 53 63 61 6c 69 6e 67 4c 4d 2e 5f 5f 69 6e 69 74 5f 5f 50 00 00 00 73	..r......ScalingLM.__init__P...s
1fc0	2e 01 00 00 f8 80 00 dc 08 0d 89 07 d1 08 18 d4 08 1a d8 0e 11 d7 0e 29 94 59 a0 44 d1 15 29 88	.......................).Y.D..).
1fe0	03 d8 0d 10 8f 5b 89 5b 98 64 88 5b d0 0d 23 88 02 dc 26 30 b0 18 bc 33 d7 26 3f d1 26 3f 8c 74	.....[.[.d.[..#...&0...3.&?.&?.t
2000	94 43 98 08 93 4d d4 0f 22 c0 58 88 04 dc 11 14 94 55 98 34 99 38 a0 62 99 3d d3 15 29 a8 42 d1	.C...M..".X......U.4.8.b.=..).B.
2020	15 2e d3 11 2f 88 06 d8 10 11 94 44 97 49 92 49 98 61 a0 26 99 6a d3 14 29 d1 10 29 88 05 dc 13	..../......D.I.I.a.&.j..)..)....
2040	15 97 3c 92 3c a0 05 d3 13 29 88 04 8c 08 dc 13 15 97 3c 92 3c a0 07 d3 13 2b 88 04 8c 08 dc 08	..<.<....)........<.<....+......
2060	0a 8f 07 89 07 8f 0f 89 0f 98 04 9f 08 99 08 9f 0f 99 0f a8 54 88 0f d1 08 32 b4 42 b7 47 b1 47	....................T....2.B.G.G
2080	b7 4f b1 4f c0 44 c7 48 c1 48 c7 4f c1 4f d0 59 5d b0 4f d1 34 5e dc 16 18 97 6d 92 6d d4 5a 5f	.O.O.D.H.H.O.O.Y].O.4^....m.m.Z_
20a0	d0 60 66 d4 5a 67 d3 25 68 d2 5a 67 d0 55 56 a4 65 a8 41 b0 66 c0 32 c8 61 d6 26 50 d1 5a 67 d1	.`f.Zg.%h.Zg.UV.e.A.f.2.a.&P.Zg.
20c0	25 68 d0 16 69 88 04 8c 0b dc 16 1d 98 61 93 6a 88 04 8c 0b dc 14 16 97 49 92 49 98 61 a8 55 d1	%h..i........a.j........I.I.a.U.
20e0	14 33 88 04 8c 09 d8 17 1e 8d 0c f9 f2 07 00 26 69 01 73 06 00 00 00 c5 0b 18 46 1d 08 63 02 00	.3.............&i.s.......F..c..
2100	00 00 00 00 00 00 00 00 00 00 08 00 00 00 03 00 00 00 f3 00 01 00 00 95 00 55 01 52 00 00 00 00	.........................U.R....
2120	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 75 02 00 00 70 23 55 00 52 03 00 00 00 00 00 00 00	...............u...p#U.R........
2140	00 00 00 00 00 00 00 00 00 00 00 55 01 35 01 00 00 00 00 00 00 55 00 52 05 00 00 00 00 00 00 00	...........U.5.......U.R........
2160	00 00 00 00 00 00 00 00 00 00 00 5b 06 00 00 00 00 00 00 00 00 52 08 00 00 00 00 00 00 00 00 00	...........[.........R..........
2180	00 00 00 00 00 00 00 00 00 22 00 58 31 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	.........".X1R..................
21a0	00 53 01 39 02 35 01 00 00 00 00 00 00 53 00 05 00 00 00 2d 00 00 00 6e 04 55 00 52 0d 00 00 00	.S.9.5.......S.....-...n.U.R....
21c0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 0f 00 00 00 00 00 00 00 00 00 00 00 00 00	...............U.R..............
21e0	00 00 00 00 00 55 00 52 11 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 04 35 01 00	.....U.R...................U.5..
2200	00 00 00 00 00 35 01 00 00 00 00 00 00 35 01 00 00 00 00 00 00 24 00 29 02 4e 29 01 72 37 00 00	.....5.......5.......$.).N).r7..
2220	00 29 09 72 38 00 00 00 72 90 00 00 00 72 91 00 00 00 72 0f 00 00 00 da 06 61 72 61 6e 67 65 72	.).r8...r....r....r......aranger
2240	37 00 00 00 72 98 00 00 00 72 97 00 00 00 72 96 00 00 00 29 05 72 13 00 00 00 da 03 69 64 78 72	7...r....r....r....).r......idxr
2260	45 00 00 00 72 46 00 00 00 72 21 00 00 00 73 05 00 00 00 20 20 20 20 20 72 16 00 00 00 72 22 00	E...rF...r!...s.........r....r".
2280	00 00 da 11 53 63 61 6c 69 6e 67 4c 4d 2e 66 6f 72 77 61 72 64 5f 00 00 00 73 5a 00 00 00 80 00	....ScalingLM.forward_...sZ.....
22a0	d8 0f 12 8f 79 89 79 89 04 88 01 d8 0c 10 8f 48 89 48 90 53 8b 4d 98 44 9f 48 99 48 a4 55 a7 5c	....y.y........H.H.S.M.D.H.H.U.\
22c0	a2 5c b0 21 bf 4a b9 4a d1 25 47 d3 1c 48 c8 14 d1 1c 4e d1 0c 4e 88 01 d8 0f 13 8f 79 89 79 98	.\.!.J.J.%G..H....N..N......y.y.
22e0	14 9f 1b 99 1b a0 54 a7 5b a1 5b b0 11 a3 5e d3 19 34 d3 0f 35 d0 08 35 72 18 00 00 00 29 06 72	......T.[.[...^..4..5..5r....).r
2300	96 00 00 00 72 98 00 00 00 72 97 00 00 00 72 91 00 00 00 72 99 00 00 00 72 90 00 00 00 29 02 7a	....r....r....r....r....r....).z
2320	03 38 2f 33 4e 72 24 00 00 00 72 2b 00 00 00 73 01 00 00 00 40 72 16 00 00 00 72 85 00 00 00 72	.8/3Nr$...r+...s....@r....r....r
2340	85 00 00 00 4f 00 00 00 73 12 00 00 00 f8 86 00 f7 02 0d 05 1f f7 1e 03 05 36 f0 00 03 05 36 72	....O...s................6....6r
2360	18 00 00 00 72 85 00 00 00 29 11 72 50 00 00 00 72 3c 00 00 00 72 0f 00 00 00 da 08 74 6f 72 63	....r....).rP...r<...r......torc
2380	68 2e 6e 6e 72 0d 00 00 00 da 13 74 6f 72 63 68 2e 6e 6e 2e 66 75 6e 63 74 69 6f 6e 61 6c da 0a	h.nnr......torch.nn.functional..
23a0	66 75 6e 63 74 69 6f 6e 61 6c 72 62 00 00 00 da 03 7a 62 70 72 04 00 00 00 72 05 00 00 00 da 06	functionalrb.....zbpr....r......
23c0	4d 6f 64 75 6c 65 72 07 00 00 00 72 2d 00 00 00 72 52 00 00 00 72 66 00 00 00 72 85 00 00 00 a9	Moduler....r-...rR...rf...r.....
23e0	00 72 18 00 00 00 72 16 00 00 00 da 08 3c 6d 6f 64 75 6c 65 3e 72 aa 00 00 00 01 00 00 00 73 71	.r....r......<module>r........sq
2400	00 00 00 f0 03 01 01 01 f1 02 02 01 63 01 f3 06 00 01 0c db 00 0c dd 00 15 df 00 1f d0 00 1f e7	............c...................
2420	00 24 f4 06 07 01 59 01 88 62 8f 69 89 69 f4 00 07 01 59 01 f4 14 11 01 3f 88 42 8f 49 89 49 f4	.$....Y..b.i.i....Y.....?.B.I.I.
2440	00 11 01 3f f4 28 0e 01 38 88 62 8f 69 89 69 f4 00 0e 01 38 f4 22 11 01 1b 88 42 8f 49 89 49 f4	...?.(..8.b.i.i....8."....B.I.I.
2460	00 11 01 1b f4 28 13 01 36 90 02 97 09 91 09 f5 00 13 01 36 72 18 00 00 00	.....(..6..........6r....