blob: c758f50f064ac831fd0ecd905e1f338ce49698d0 (plain)

ofs	hex dump	ascii
0000	f3 0d 0d 0a 00 00 00 00 a3 b9 c1 69 a1 09 00 00 e3 00 00 00 00 00 00 00 00 00 00 00 00 05 00 00	...........i....................
0020	00 00 00 00 00 f3 70 00 00 00 95 00 53 00 72 00 53 01 53 02 4b 01 72 01 53 01 53 02 4b 02 4a 03	......p.....S.r.S.S.K.r.S.S.K.J.
0040	72 03 20 00 18 00 22 00 53 03 1a 00 53 04 5c 03 52 08 00 00 00 00 00 00 00 00 00 00 00 00 00 00	r.....".S...S.\.R...............
0060	00 00 00 00 35 03 00 00 00 00 00 00 72 05 18 00 22 00 53 05 1a 00 53 06 5c 03 52 08 00 00 00 00	....5.......r...".S...S.\.R.....
0080	00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 03 00 00 00 00 00 00 72 06 67 02 29 07 7a bc 0a 44	..............5.......r.g.).z..D
00a0	65 65 70 20 52 65 73 69 64 75 61 6c 20 4d 4c 50 20 66 6f 72 20 63 6c 61 73 73 69 66 69 63 61 74	eep.Residual.MLP.for.classificat
00c0	69 6f 6e 2e 0a 41 72 63 68 69 74 65 63 74 75 72 65 3a 20 49 6e 70 75 74 20 2d 3e 20 4c 69 6e 65	ion..Architecture:.Input.->.Line
00e0	61 72 20 65 6d 62 65 64 64 69 6e 67 20 2d 3e 20 4c 20 72 65 73 69 64 75 61 6c 20 62 6c 6f 63 6b	ar.embedding.->.L.residual.block
0100	73 20 2d 3e 20 4c 61 79 65 72 4e 6f 72 6d 20 2d 3e 20 4c 69 6e 65 61 72 20 6f 75 74 70 75 74 20	s.->.LayerNorm.->.Linear.output.
0120	68 65 61 64 2e 0a 45 61 63 68 20 62 6c 6f 63 6b 3a 20 68 5f 7b 6c 2b 31 7d 20 3d 20 68 5f 6c 20	head..Each.block:.h_{l+1}.=.h_l.
0140	2b 20 57 32 20 2a 20 47 45 4c 55 28 57 31 20 2a 20 4c 4e 28 68 5f 6c 29 29 0a e9 00 00 00 00 4e	+.W2.*.GELU(W1.*.LN(h_l))......N
0160	63 00 00 00 00 00 00 00 00 00 00 00 00 04 00 00 00 00 00 00 00 f3 6e 00 00 00 5e 00 95 00 5c 00	c.....................n...^...\.
0180	72 01 53 00 72 02 53 01 72 03 53 02 72 04 53 03 5c 05 34 02 55 00 34 01 53 04 1a 00 6a 08 6a 04	r.S.r.S.r.S.r.S.\.4.U.4.S...j.j.
01a0	72 06 53 05 5c 07 52 10 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 06 5c 07 52 10	r.S.\.R...................S.\.R.
01c0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 34 04 53 07 1a 00 6a 04 72 09 53 08 72 0a	..................4.S...j.r.S.r.
01e0	55 00 3d 01 72 0b 24 00 29 09 da 0d 52 65 73 69 64 75 61 6c 42 6c 6f 63 6b e9 0a 00 00 00 7a 28	U.=.r.$.)...ResidualBlock.....z(
0200	53 69 6e 67 6c 65 20 70 72 65 2d 4c 61 79 65 72 4e 6f 72 6d 20 72 65 73 69 64 75 61 6c 20 4d 4c	Single.pre-LayerNorm.residual.ML
0220	50 20 62 6c 6f 63 6b 2e da 08 64 5f 68 69 64 64 65 6e 63 02 00 00 00 00 00 00 00 00 00 00 00 05	P.block...d_hiddenc.............
0240	00 00 00 03 00 00 00 f3 8e 01 00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00 00 54 02 55 00 5d 05	............>...[.........T.U.].
0260	00 00 35 00 00 00 00 00 00 00 20 00 5b 04 00 00 00 00 00 00 00 00 52 06 00 00 00 00 00 00 00 00	..5.........[.........R.........
0280	00 00 00 00 00 00 00 00 00 00 22 00 55 01 35 01 00 00 00 00 00 00 55 00 6c 04 00 00 00 00 00 00	..........".U.5.......U.l.......
02a0	00 00 5b 04 00 00 00 00 00 00 00 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	..[.........R...................
02c0	22 00 58 11 35 02 00 00 00 00 00 00 55 00 6c 06 00 00 00 00 00 00 00 00 5b 04 00 00 00 00 00 00	".X.5.......U.l.........[.......
02e0	00 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 11 35 02 00 00 00 00	..R...................".X.5.....
0300	00 00 55 00 6c 07 00 00 00 00 00 00 00 00 5b 04 00 00 00 00 00 00 00 00 52 10 00 00 00 00 00 00	..U.l.........[.........R.......
0320	00 00 00 00 00 00 00 00 00 00 00 00 52 13 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	............R...................
0340	55 00 52 0e 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 14 00 00 00 00 00 00 00 00	U.R...................R.........
0360	00 00 00 00 00 00 00 00 00 00 53 01 53 02 39 02 20 00 5b 04 00 00 00 00 00 00 00 00 52 10 00 00	..........S.S.9...[.........R...
0380	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 17 00 00 00 00 00 00 00 00 00 00 00 00 00 00	................R...............
03a0	00 00 00 00 55 00 52 0e 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 18 00 00 00 00	....U.R...................R.....
03c0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 01 00 00 00 00 00 00 20 00 67 00 29 03 4e 67 7b 14	..............5.........g.).Ng{.
03e0	ae 47 e1 7a 84 3f 29 01 da 03 73 74 64 29 0d da 05 73 75 70 65 72 da 08 5f 5f 69 6e 69 74 5f 5f	.G.z.?)...std)...super..__init__
0400	da 02 6e 6e da 09 4c 61 79 65 72 4e 6f 72 6d da 02 6c 6e da 06 4c 69 6e 65 61 72 da 02 77 31 da	..nn..LayerNorm..ln..Linear..w1.
0420	02 77 32 da 04 69 6e 69 74 da 07 6e 6f 72 6d 61 6c 5f da 06 77 65 69 67 68 74 da 06 7a 65 72 6f	.w2..init..normal_..weight..zero
0440	73 5f da 04 62 69 61 73 29 03 da 04 73 65 6c 66 72 06 00 00 00 da 09 5f 5f 63 6c 61 73 73 5f 5f	s_..bias)...selfr......__class__
0460	73 03 00 00 00 20 20 80 da 27 2f 68 6f 6d 65 2f 79 75 72 65 6e 68 32 2f 66 61 2f 6d 6f 64 65 6c	s........'/home/yurenh2/fa/model
0480	73 2f 72 65 73 69 64 75 61 6c 5f 6d 6c 70 2e 70 79 72 0a 00 00 00 da 16 52 65 73 69 64 75 61 6c	s/residual_mlp.pyr......Residual
04a0	42 6c 6f 63 6b 2e 5f 5f 69 6e 69 74 5f 5f 0d 00 00 00 73 72 00 00 00 f8 80 00 dc 08 0d 89 07 d1	Block.__init__....sr............
04c0	08 18 d4 08 1a dc 12 14 97 2c 92 2c 98 78 d3 12 28 88 04 8c 07 dc 12 14 97 29 92 29 98 48 d3 12	.........,.,.x..(........).).H..
04e0	2f 88 04 8c 07 dc 12 14 97 29 92 29 98 48 d3 12 2f 88 04 8c 07 e4 08 0a 8f 07 89 07 8f 0f 89 0f	/........).).H../...............
0500	98 04 9f 07 99 07 9f 0e 99 0e a8 44 88 0f d1 08 31 dc 08 0a 8f 07 89 07 8f 0e 89 0e 90 74 97 77	...........D....1............t.w
0520	91 77 97 7c 91 7c d5 08 24 f3 00 00 00 00 da 01 68 da 06 72 65 74 75 72 6e 63 02 00 00 00 00 00	.w.|.|..$.......h..returnc......
0540	00 00 00 00 00 00 03 00 00 00 03 00 00 00 f3 be 00 00 00 95 00 55 00 52 01 00 00 00 00 00 00 00	.....................U.R........
0560	00 00 00 00 00 00 00 00 00 00 00 55 01 35 01 00 00 00 00 00 00 6e 02 55 00 52 03 00 00 00 00 00	...........U.5.......n.U.R......
0580	00 00 00 00 00 00 00 00 00 00 00 00 00 55 02 35 01 00 00 00 00 00 00 6e 02 5b 04 00 00 00 00 00	.............U.5.......n.[......
05a0	00 00 00 52 06 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 08 00 00 00 00 00 00 00	...R...................R........
05c0	00 00 00 00 00 00 00 00 00 00 00 52 0b 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55	...........R...................U
05e0	02 35 01 00 00 00 00 00 00 6e 02 55 00 52 0d 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	.5.......n.U.R..................
0600	00 55 02 35 01 00 00 00 00 00 00 6e 02 55 02 24 00 29 01 7a 2c 52 65 74 75 72 6e 73 20 74 68 65	.U.5.......n.U.$.).z,Returns.the
0620	20 72 65 73 69 64 75 61 6c 20 46 5f 6c 28 68 29 2c 20 4e 4f 54 20 68 20 2b 20 46 5f 6c 28 68 29	.residual.F_l(h),.NOT.h.+.F_l(h)
0640	2e 29 07 72 0d 00 00 00 72 0f 00 00 00 da 05 74 6f 72 63 68 72 0b 00 00 00 da 0a 66 75 6e 63 74	.).r....r......torchr......funct
0660	69 6f 6e 61 6c da 04 67 65 6c 75 72 10 00 00 00 29 03 72 16 00 00 00 72 1b 00 00 00 da 01 7a 73	ional..gelur....).r....r......zs
0680	03 00 00 00 20 20 20 72 18 00 00 00 da 07 66 6f 72 77 61 72 64 da 15 52 65 73 69 64 75 61 6c 42	.......r......forward..ResidualB
06a0	6c 6f 63 6b 2e 66 6f 72 77 61 72 64 16 00 00 00 73 48 00 00 00 80 00 e0 0c 10 8f 47 89 47 90 41	lock.forward....sH.........G.G.A
06c0	8b 4a 88 01 d8 0c 10 8f 47 89 47 90 41 8b 4a 88 01 dc 0c 11 8f 48 89 48 d7 0c 1f d1 0c 1f d7 0c	.J......G.G.A.J......H.H........
06e0	24 d1 0c 24 a0 51 d3 0c 27 88 01 d8 0c 10 8f 47 89 47 90 41 8b 4a 88 01 d8 0f 10 88 08 72 1a 00	$..$.Q..'......G.G.A.J.......r..
0700	00 00 29 03 72 0d 00 00 00 72 0f 00 00 00 72 10 00 00 00 29 0c da 08 5f 5f 6e 61 6d 65 5f 5f da	..).r....r....r....)...__name__.
0720	0a 5f 5f 6d 6f 64 75 6c 65 5f 5f da 0c 5f 5f 71 75 61 6c 6e 61 6d 65 5f 5f da 0f 5f 5f 66 69 72	.__module__..__qualname__..__fir
0740	73 74 6c 69 6e 65 6e 6f 5f 5f da 07 5f 5f 64 6f 63 5f 5f da 03 69 6e 74 72 0a 00 00 00 72 1e 00	stlineno__..__doc__..intr....r..
0760	00 00 da 06 54 65 6e 73 6f 72 72 22 00 00 00 da 15 5f 5f 73 74 61 74 69 63 5f 61 74 74 72 69 62	....Tensorr".....__static_attrib
0780	75 74 65 73 5f 5f da 0d 5f 5f 63 6c 61 73 73 63 65 6c 6c 5f 5f a9 01 72 17 00 00 00 73 01 00 00	utes__..__classcell__..r....s...
07a0	00 40 72 18 00 00 00 72 04 00 00 00 72 04 00 00 00 0a 00 00 00 73 32 00 00 00 f8 86 00 d9 04 32	.@r....r....r........s2........2
07c0	f0 04 07 05 25 a0 13 f7 00 07 05 25 f0 12 06 05 11 98 15 9f 1c 99 1c f0 00 06 05 11 a8 25 af 2c	....%......%.................%.,
07e0	a9 2c f7 00 06 05 11 f2 00 06 05 11 72 1a 00 00 00 72 04 00 00 00 63 00 00 00 00 00 00 00 00 00	.,..........r....r....c.........
0800	00 00 00 08 00 00 00 00 00 00 00 f3 90 00 00 00 5e 00 95 00 5c 00 72 01 53 00 72 02 53 01 72 03	................^...\.r.S.r.S.r.
0820	53 02 72 04 53 03 5c 05 53 04 5c 05 53 05 5c 05 53 06 5c 05 34 08 55 00 34 01 53 07 1a 00 6a 08	S.r.S.\.S.\.S.\.S.\.4.U.4.S...j.
0840	6a 04 72 06 53 0f 53 08 5c 07 52 10 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 09	j.r.S.S.\.R...................S.
0860	5c 09 34 04 53 0a 1a 00 6a 04 6a 01 72 0a 53 0b 5c 07 52 10 00 00 00 00 00 00 00 00 00 00 00 00	\.4.S...j.j.r.S.\.R.............
0880	00 00 00 00 00 00 53 0c 5c 05 34 04 53 0d 1a 00 6a 04 72 0b 53 0e 72 0c 55 00 3d 01 72 0d 24 00	......S.\.4.S...j.r.S.r.U.=.r.$.
08a0	29 10 da 0b 52 65 73 69 64 75 61 6c 4d 4c 50 e9 1f 00 00 00 7a 3a 44 65 65 70 20 72 65 73 69 64	)...ResidualMLP.....z:Deep.resid
08c0	75 61 6c 20 4d 4c 50 3a 20 65 6d 62 65 64 20 2d 3e 20 4c 20 62 6c 6f 63 6b 73 20 2d 3e 20 4c 4e	ual.MLP:.embed.->.L.blocks.->.LN
08e0	20 2d 3e 20 6f 75 74 70 75 74 20 68 65 61 64 2e da 09 69 6e 70 75 74 5f 64 69 6d 72 06 00 00 00	.->.output.head...input_dimr....
0900	da 0b 6e 75 6d 5f 63 6c 61 73 73 65 73 da 0a 6e 75 6d 5f 62 6c 6f 63 6b 73 63 05 00 00 00 00 00	..num_classes..num_blocksc......
0920	00 00 00 00 00 00 08 00 00 00 03 00 00 00 f3 62 01 00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00	...............b...>...[........
0940	00 54 06 55 00 5d 05 00 00 35 00 00 00 00 00 00 00 20 00 5b 04 00 00 00 00 00 00 00 00 52 06 00	.T.U.]...5.........[.........R..
0960	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 12 35 02 00 00 00 00 00 00 55 00 6c	.................".X.5.......U.l
0980	04 00 00 00 00 00 00 00 00 5b 04 00 00 00 00 00 00 00 00 52 0a 00 00 00 00 00 00 00 00 00 00 00	.........[.........R............
09a0	00 00 00 00 00 00 00 22 00 5b 0d 00 00 00 00 00 00 00 00 55 04 35 01 00 00 00 00 00 00 13 00 56	.......".[.........U.5.........V
09c0	05 73 02 2f 00 73 02 13 00 48 0e 00 00 6e 05 5b 0f 00 00 00 00 00 00 00 00 55 02 35 01 00 00 00	.s./.s...H...n.[.........U.5....
09e0	00 00 00 50 02 4d 10 00 00 0b 00 20 00 73 02 6e 05 35 01 00 00 00 00 00 00 55 00 6c 08 00 00 00	...P.M.......s.n.5.......U.l....
0a00	00 00 00 00 00 5b 04 00 00 00 00 00 00 00 00 52 12 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	.....[.........R................
0a20	00 00 00 22 00 55 02 35 01 00 00 00 00 00 00 55 00 6c 0a 00 00 00 00 00 00 00 00 5b 04 00 00 00	...".U.5.......U.l.........[....
0a40	00 00 00 00 00 52 06 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 23 35 02 00	.....R...................".X#5..
0a60	00 00 00 00 00 55 00 6c 0b 00 00 00 00 00 00 00 00 58 40 6c 0c 00 00 00 00 00 00 00 00 58 20 6c	.....U.l.........X@l.........X.l
0a80	0d 00 00 00 00 00 00 00 00 67 00 73 02 20 00 73 02 6e 05 66 00 29 01 4e 29 0e 72 09 00 00 00 72	.........g.s...s.n.f.).N).r....r
0aa0	0a 00 00 00 72 0b 00 00 00 72 0e 00 00 00 da 05 65 6d 62 65 64 da 0a 4d 6f 64 75 6c 65 4c 69 73	....r....r......embed..ModuleLis
0ac0	74 da 05 72 61 6e 67 65 72 04 00 00 00 da 06 62 6c 6f 63 6b 73 72 0c 00 00 00 da 06 6f 75 74 5f	t..ranger......blocksr......out_
0ae0	6c 6e da 08 6f 75 74 5f 68 65 61 64 72 33 00 00 00 72 06 00 00 00 29 07 72 16 00 00 00 72 31 00	ln..out_headr3...r....).r....r1.
0b00	00 00 72 06 00 00 00 72 32 00 00 00 72 33 00 00 00 da 01 5f 72 17 00 00 00 73 07 00 00 00 20 20	..r....r2...r3....._r....s......
0b20	20 20 20 20 80 72 18 00 00 00 72 0a 00 00 00 da 14 52 65 73 69 64 75 61 6c 4d 4c 50 2e 5f 5f 69	.....r....r......ResidualMLP.__i
0b40	6e 69 74 5f 5f 22 00 00 00 73 79 00 00 00 f8 80 00 dc 08 0d 89 07 d1 08 18 d4 08 1a dc 15 17 97	nit__"...sy.....................
0b60	59 92 59 98 79 d3 15 33 88 04 8c 0a dc 16 18 97 6d 92 6d c4 65 c8 4a d4 46 57 d3 24 58 d2 46 57	Y.Y.y..3........m.m.e.J.FW.$X.FW
0b80	c0 11 a4 5d b0 38 d6 25 3c d1 46 57 d1 24 58 d3 16 59 88 04 8c 0b dc 16 18 97 6c 92 6c a0 38 d3	...].8.%<.FW.$X..Y........l.l.8.
0ba0	16 2c 88 04 8c 0b dc 18 1a 9f 09 9a 09 a0 28 d3 18 38 88 04 8c 0d d8 1a 24 8c 0f d8 18 20 8d 0d	.,............(..8......$.......
0bc0	f9 f2 09 00 25 59 01 73 06 00 00 00 c1 08 15 42 2c 08 da 01 78 da 0d 72 65 74 75 72 6e 5f 68 69	....%Y.s.......B,...x..return_hi
0be0	64 64 65 6e 63 03 00 00 00 00 00 00 00 00 00 00 00 05 00 00 00 03 00 00 00 f3 06 01 00 00 95 00	ddenc...........................
0c00	55 00 52 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 01 35 01 00 00 00 00 00 00	U.R...................U.5.......
0c20	6e 03 55 02 28 00 00 00 00 00 00 00 61 03 00 00 55 03 2f 01 4f 01 53 01 6e 04 55 00 52 02 00 00	n.U.(.......a...U./.O.S.n.U.R...
0c40	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 13 00 48 29 00 00 6e 05 55 05 22 00 55 03 35 01	..................H)..n.U.".U.5.
0c60	00 00 00 00 00 00 6e 06 58 36 2d 00 00 00 6e 03 55 02 28 00 00 00 00 00 00 00 64 02 00 00 4d 18	......n.X6-...n.U.(.......d...M.
0c80	00 00 55 04 52 05 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 03 35 01 00 00 00 00	..U.R...................U.5.....
0ca0	00 00 20 00 4d 2b 00 00 0b 00 20 00 55 00 52 07 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	....M+......U.R.................
0cc0	00 00 55 00 52 09 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 03 35 01 00 00 00 00	..U.R...................U.5.....
0ce0	00 00 35 01 00 00 00 00 00 00 6e 07 55 02 28 00 00 00 00 00 00 00 61 03 00 00 58 74 34 02 24 00	..5.......n.U.(.......a...Xt4.$.
0d00	55 07 24 00 29 02 7a d1 0a 41 72 67 73 3a 0a 20 20 20 20 78 3a 20 28 62 61 74 63 68 2c 20 69 6e	U.$.).z..Args:.....x:.(batch,.in
0d20	70 75 74 5f 64 69 6d 29 0a 20 20 20 20 72 65 74 75 72 6e 5f 68 69 64 64 65 6e 3a 20 69 66 20 54	put_dim).....return_hidden:.if.T
0d40	72 75 65 2c 20 61 6c 73 6f 20 72 65 74 75 72 6e 20 6c 69 73 74 20 6f 66 20 68 69 64 64 65 6e 20	rue,.also.return.list.of.hidden.
0d60	73 74 61 74 65 73 20 5b 68 5f 30 2c 20 2e 2e 2e 2c 20 68 5f 4c 5d 0a 52 65 74 75 72 6e 73 3a 0a	states.[h_0,....,.h_L].Returns:.
0d80	20 20 20 20 6c 6f 67 69 74 73 3a 20 28 62 61 74 63 68 2c 20 6e 75 6d 5f 63 6c 61 73 73 65 73 29	....logits:.(batch,.num_classes)
0da0	0a 20 20 20 20 68 69 64 64 65 6e 73 3a 20 6c 69 73 74 20 6f 66 20 28 62 61 74 63 68 2c 20 64 5f	.....hiddens:.list.of.(batch,.d_
0dc0	68 69 64 64 65 6e 29 20 69 66 20 72 65 74 75 72 6e 5f 68 69 64 64 65 6e 0a 4e 29 05 72 35 00 00	hidden).if.return_hidden.N).r5..
0de0	00 72 38 00 00 00 da 06 61 70 70 65 6e 64 72 3a 00 00 00 72 39 00 00 00 29 08 72 16 00 00 00 72	.r8.....appendr:...r9...).r....r
0e00	3d 00 00 00 72 3e 00 00 00 72 1b 00 00 00 da 07 68 69 64 64 65 6e 73 da 05 62 6c 6f 63 6b da 01	=...r>...r......hiddens..block..
0e20	66 da 06 6c 6f 67 69 74 73 73 08 00 00 00 20 20 20 20 20 20 20 20 72 18 00 00 00 72 22 00 00 00	f..logitss............r....r"...
0e40	da 13 52 65 73 69 64 75 61 6c 4d 4c 50 2e 66 6f 72 77 61 72 64 2b 00 00 00 73 73 00 00 00 80 00	..ResidualMLP.forward+...ss.....
0e60	f0 12 00 0d 11 8f 4a 89 4a 90 71 8b 4d 88 01 de 19 26 90 31 91 23 a8 44 88 07 e0 15 19 97 5b 94	......J.J.q.M....&.1.#.D......[.
0e80	5b 88 45 d9 10 15 90 61 93 08 88 41 d8 10 11 91 05 88 41 df 0f 1c 88 7d d8 10 17 97 0e 91 0e 98	[.E....a...A......A....}........
0ea0	71 d6 10 21 f1 09 00 16 21 f0 0c 00 12 16 97 1d 91 1d 98 74 9f 7b 99 7b a8 31 9b 7e d3 11 2e 88	q..!....!..........t.{.{.1.~....
0ec0	06 e6 0b 18 d8 13 19 90 3f d0 0c 22 d8 0f 15 88 0d 72 1a 00 00 00 72 1b 00 00 00 da 0b 73 74 61	........?..".....r....r......sta
0ee0	72 74 5f 6c 61 79 65 72 63 03 00 00 00 00 00 00 00 00 00 00 00 05 00 00 00 03 00 00 00 f3 b0 00	rt_layerc.......................
0f00	00 00 95 00 5b 01 00 00 00 00 00 00 00 00 58 20 52 02 00 00 00 00 00 00 00 00 00 00 00 00 00 00	....[.........X.R...............
0f20	00 00 00 00 35 02 00 00 00 00 00 00 13 00 48 1c 00 00 6e 03 55 00 52 04 00 00 00 00 00 00 00 00	....5.........H...n.U.R.........
0f40	00 00 00 00 00 00 00 00 00 00 55 03 05 00 00 00 22 00 55 01 35 01 00 00 00 00 00 00 6e 04 58 14	..........U.....".U.5.......n.X.
0f60	2d 00 00 00 6e 01 4d 1e 00 00 0b 00 20 00 55 00 52 07 00 00 00 00 00 00 00 00 00 00 00 00 00 00	-...n.M.......U.R...............
0f80	00 00 00 00 55 00 52 09 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 01 35 01 00 00	....U.R...................U.5...
0fa0	00 00 00 00 35 01 00 00 00 00 00 00 6e 05 55 05 24 00 29 01 7a 4c 52 75 6e 20 66 6f 72 77 61 72	....5.......n.U.$.).zLRun.forwar
0fc0	64 20 66 72 6f 6d 20 61 20 67 69 76 65 6e 20 6c 61 79 65 72 20 69 6e 64 65 78 20 74 6f 20 6f 75	d.from.a.given.layer.index.to.ou
0fe0	74 70 75 74 2e 20 55 73 65 64 20 66 6f 72 20 70 65 72 74 75 72 62 61 74 69 6f 6e 20 74 65 73 74	tput..Used.for.perturbation.test
1000	73 2e 29 05 72 37 00 00 00 72 33 00 00 00 72 38 00 00 00 72 3a 00 00 00 72 39 00 00 00 29 06 72	s.).r7...r3...r8...r:...r9...).r
1020	16 00 00 00 72 1b 00 00 00 72 46 00 00 00 da 01 69 72 43 00 00 00 72 44 00 00 00 73 06 00 00 00	....r....rF.....irC...rD...s....
1040	20 20 20 20 20 20 72 18 00 00 00 da 12 66 6f 72 77 61 72 64 5f 66 72 6f 6d 5f 6c 61 79 65 72 da	......r......forward_from_layer.
1060	1e 52 65 73 69 64 75 61 6c 4d 4c 50 2e 66 6f 72 77 61 72 64 5f 66 72 6f 6d 5f 6c 61 79 65 72 43	.ResidualMLP.forward_from_layerC
1080	00 00 00 73 4b 00 00 00 80 00 e4 11 16 90 7b a7 4f a1 4f d6 11 34 88 41 d8 10 14 97 0b 91 0b 98	...sK.........{.O.O..4.A........
10a0	41 92 0e 98 71 d3 10 21 88 41 d8 10 11 91 05 8a 41 f1 05 00 12 35 f0 06 00 12 16 97 1d 91 1d 98	A...q..!.A......A....5..........
10c0	74 9f 7b 99 7b a8 31 9b 7e d3 11 2e 88 06 d8 0f 15 88 0d 72 1a 00 00 00 29 06 72 38 00 00 00 72	t.{.{.1.~..........r....).r8...r
10e0	06 00 00 00 72 35 00 00 00 72 33 00 00 00 72 3a 00 00 00 72 39 00 00 00 29 01 46 29 0e 72 24 00	....r5...r3...r:...r9...).F).r$.
1100	00 00 72 25 00 00 00 72 26 00 00 00 72 27 00 00 00 72 28 00 00 00 72 29 00 00 00 72 0a 00 00 00	..r%...r&...r'...r(...r)...r....
1120	72 1e 00 00 00 72 2a 00 00 00 da 04 62 6f 6f 6c 72 22 00 00 00 72 49 00 00 00 72 2b 00 00 00 72	r....r*.....boolr"...rI...r+...r
1140	2c 00 00 00 72 2d 00 00 00 73 01 00 00 00 40 72 18 00 00 00 72 2f 00 00 00 72 2f 00 00 00 1f 00	,...r-...s....@r....r/...r/.....
1160	00 00 73 5b 00 00 00 f8 86 00 d9 04 44 f0 04 07 05 21 a0 23 f0 00 07 05 21 b0 13 f0 00 07 05 21	..s[........D....!.#....!......!
1180	c0 33 f0 00 07 05 21 d0 54 57 f7 00 07 05 21 f1 12 16 05 16 98 15 9f 1c 99 1c f0 00 16 05 16 b0	.3....!.TW....!.................
11a0	64 f5 00 16 05 16 f0 30 06 05 16 a0 45 a7 4c a1 4c f0 00 06 05 16 b8 73 f7 00 06 05 16 f2 00 06	d......0....E.L.L......s........
11c0	05 16 72 1a 00 00 00 72 2f 00 00 00 29 07 72 28 00 00 00 72 1e 00 00 00 da 08 74 6f 72 63 68 2e	..r....r/...).r(...r......torch.
11e0	6e 6e 72 0b 00 00 00 da 06 4d 6f 64 75 6c 65 72 04 00 00 00 72 2f 00 00 00 a9 00 72 1a 00 00 00	nnr......Moduler....r/.....r....
1200	72 18 00 00 00 da 08 3c 6d 6f 64 75 6c 65 3e 72 4f 00 00 00 01 00 00 00 73 32 00 00 00 f0 03 01	r......<module>rO.......s2......
1220	01 01 f1 02 04 01 04 f3 0a 00 01 0d dd 00 15 f4 06 12 01 11 90 42 97 49 91 49 f4 00 12 01 11 f4	.....................B.I.I......
1240	2a 2a 01 16 90 22 97 29 91 29 f5 00 2a 01 16 72 1a 00 00 00	**...".).)..*..r....