blob: a6187ee47860be9c6b3e80bb484eceb209af000e (plain)

ofs	hex dump	ascii
0000	f3 0d 0d 0a 00 00 00 00 b0 b9 c1 69 17 0a 00 00 e3 00 00 00 00 00 00 00 00 00 00 00 00 08 00 00	...........i....................
0020	00 00 00 00 00 f3 24 01 00 00 95 00 53 00 72 00 53 01 53 02 4b 01 72 01 53 01 53 02 4b 02 4a 03	......$.....S.r.S.S.K.r.S.S.K.J.
0040	72 03 20 00 53 01 53 02 4b 04 72 04 53 01 53 02 4b 05 72 05 18 00 22 00 53 03 1a 00 53 04 5c 03	r...S.S.K.r.S.S.K.r...".S...S.\.
0060	52 0c 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 03 00 00 00 00 00 00 72 07 18 00	R...................5.......r...
0080	22 00 53 05 1a 00 53 06 5c 03 52 0c 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 03	".S...S.\.R...................5.
00a0	00 00 00 00 00 00 72 08 53 07 5c 03 52 0c 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	......r.S.\.R...................
00c0	53 08 5c 03 52 0c 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 34 04 53 09 1a 00 6a 04	S.\.R...................4.S...j.
00e0	72 09 5c 01 52 14 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 35 00 00 00 00 00	r.\.R...................".5.....
0100	00 00 53 0d 53 07 5c 03 52 0c 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 0a 5c 03	..S.S.\.R...................S.\.
0120	52 0c 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 0b 5c 0b 34 06 53 0c 1a 00 6a 04	R...................S.\.4.S...j.
0140	6a 01 35 00 00 00 00 00 00 00 72 0c 67 02 29 0e 7a 82 0a 56 61 6c 75 65 20 6e 65 74 77 6f 72 6b	j.5.......r.g.).z..Value.network
0160	20 56 5f 70 68 69 28 68 5f 6c 2c 20 74 5f 6c 2c 20 73 29 20 2d 3e 20 73 63 61 6c 61 72 2e 0a 55	.V_phi(h_l,.t_l,.s).->.scalar..U
0180	73 65 64 20 62 79 20 74 68 65 20 43 72 65 64 69 74 20 42 72 69 64 67 65 20 6d 65 74 68 6f 64 2e	sed.by.the.Credit.Bridge.method.
01a0	0a 49 6e 70 75 74 3a 20 5b 4c 4e 28 68 5f 6c 29 2c 20 74 69 6d 65 5f 65 6d 62 65 64 28 74 5f 6c	.Input:.[LN(h_l),.time_embed(t_l
01c0	29 2c 20 73 5d 20 63 6f 6e 63 61 74 65 6e 61 74 65 64 2e 0a e9 00 00 00 00 4e 63 00 00 00 00 00	),.s].concatenated.......Nc.....
01e0	00 00 00 00 00 00 00 04 00 00 00 00 00 00 00 f3 6e 00 00 00 5e 00 95 00 5c 00 72 01 53 00 72 02	................n...^...\.r.S.r.
0200	53 01 72 03 53 02 72 04 53 03 5c 05 34 02 55 00 34 01 53 04 1a 00 6a 08 6a 04 72 06 53 05 5c 07	S.r.S.r.S.\.4.U.4.S...j.j.r.S.\.
0220	52 10 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 06 5c 07 52 10 00 00 00 00 00 00	R...................S.\.R.......
0240	00 00 00 00 00 00 00 00 00 00 00 00 34 04 53 07 1a 00 6a 04 72 09 53 08 72 0a 55 00 3d 01 72 0b	............4.S...j.r.S.r.U.=.r.
0260	24 00 29 09 da 13 53 69 6e 75 73 6f 69 64 61 6c 54 69 6d 65 45 6d 62 65 64 e9 0c 00 00 00 7a 3f	$.)...SinusoidalTimeEmbed.....z?
0280	53 69 6e 75 73 6f 69 64 61 6c 20 70 6f 73 69 74 69 6f 6e 61 6c 20 65 6e 63 6f 64 69 6e 67 20 66	Sinusoidal.positional.encoding.f
02a0	6f 72 20 73 63 61 6c 61 72 20 64 65 70 74 68 2d 74 69 6d 65 20 74 5f 6c 20 3d 20 6c 2f 4c 2e da	or.scalar.depth-time.t_l.=.l/L..
02c0	09 65 6d 62 65 64 5f 64 69 6d 63 02 00 00 00 00 00 00 00 00 00 00 00 03 00 00 00 03 00 00 00 f3	.embed_dimc.....................
02e0	2e 00 00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00 00 54 02 55 00 5d 05 00 00 35 00 00 00 00 00	....>...[.........T.U.]...5.....
0300	00 00 20 00 58 10 6c 02 00 00 00 00 00 00 00 00 67 00 29 01 4e 29 03 da 05 73 75 70 65 72 da 08	....X.l.........g.).N)...super..
0320	5f 5f 69 6e 69 74 5f 5f 72 06 00 00 00 29 03 da 04 73 65 6c 66 72 06 00 00 00 da 09 5f 5f 63 6c	__init__r....)...selfr......__cl
0340	61 73 73 5f 5f 73 03 00 00 00 20 20 80 da 24 2f 68 6f 6d 65 2f 79 75 72 65 6e 68 32 2f 66 61 2f	ass__s........$/home/yurenh2/fa/
0360	6d 6f 64 65 6c 73 2f 76 61 6c 75 65 5f 6e 65 74 2e 70 79 72 09 00 00 00 da 1c 53 69 6e 75 73 6f	models/value_net.pyr......Sinuso
0380	69 64 61 6c 54 69 6d 65 45 6d 62 65 64 2e 5f 5f 69 6e 69 74 5f 5f 0f 00 00 00 73 13 00 00 00 f8	idalTimeEmbed.__init__....s.....
03a0	80 00 dc 08 0d 89 07 d1 08 18 d4 08 1a d8 19 22 8d 0e f3 00 00 00 00 da 01 74 da 06 72 65 74 75	...............".........t..retu
03c0	72 6e 63 02 00 00 00 00 00 00 00 00 00 00 00 09 00 00 00 03 00 00 00 f3 be 01 00 00 95 00 55 01	rnc...........................U.
03e0	52 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 53 01 3a 58	R...................5.......S.:X
0400	00 00 61 11 00 00 55 01 52 03 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 02 35 01	..a...U.R...................S.5.
0420	00 00 00 00 00 00 6e 01 55 00 52 04 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 03	......n.U.R...................S.
0440	2d 02 00 00 6e 02 5b 06 00 00 00 00 00 00 00 00 52 08 00 00 00 00 00 00 00 00 00 00 00 00 00 00	-...n.[.........R...............
0460	00 00 00 00 22 00 5b 0a 00 00 00 00 00 00 00 00 52 0c 00 00 00 00 00 00 00 00 00 00 00 00 00 00	....".[.........R...............
0480	00 00 00 00 22 00 53 04 35 01 00 00 00 00 00 00 2a 00 5b 06 00 00 00 00 00 00 00 00 52 0e 00 00	....".S.5.......*.[.........R...
04a0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 21 52 10 00 00 00 00 00 00 00 00 00 00	................".X!R...........
04c0	00 00 00 00 00 00 00 00 55 01 52 12 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 05	........U.R...................S.
04e0	39 03 2d 05 00 00 55 02 2d 0b 00 00 35 01 00 00 00 00 00 00 6e 03 58 13 52 03 00 00 00 00 00 00	9.-...U.-...5.......n.X.R.......
0500	00 00 00 00 00 00 00 00 00 00 00 00 53 06 35 01 00 00 00 00 00 00 2d 05 00 00 6e 04 5b 06 00 00	............S.5.......-...n.[...
0520	00 00 00 00 00 00 52 14 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 5b 06 00 00	......R...................".[...
0540	00 00 00 00 00 00 52 16 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 55 04 35 01	......R...................".U.5.
0560	00 00 00 00 00 00 5b 06 00 00 00 00 00 00 00 00 52 18 00 00 00 00 00 00 00 00 00 00 00 00 00 00	......[.........R...............
0580	00 00 00 00 22 00 55 04 35 01 00 00 00 00 00 00 2f 02 53 02 53 07 39 02 24 00 29 08 7a 2a 74 3a	....".U.5......./.S.S.9.$.).z*t:
05a0	20 28 62 61 74 63 68 2c 29 20 6f 72 20 28 62 61 74 63 68 2c 20 31 29 20 73 63 61 6c 61 72 20 69	.(batch,).or.(batch,.1).scalar.i
05c0	6e 20 5b 30 2c 31 5d 2e e9 01 00 00 00 e9 ff ff ff ff e9 02 00 00 00 67 00 00 00 00 00 88 c3 40	n.[0,1]................g.......@
05e0	29 02 da 06 64 65 76 69 63 65 da 05 64 74 79 70 65 72 02 00 00 00 a9 01 da 03 64 69 6d 29 0d 72	)...device..dtyper........dim).r
0600	18 00 00 00 da 09 75 6e 73 71 75 65 65 7a 65 72 06 00 00 00 da 05 74 6f 72 63 68 da 03 65 78 70	......unsqueezer......torch..exp
0620	da 04 6d 61 74 68 da 03 6c 6f 67 da 06 61 72 61 6e 67 65 72 15 00 00 00 72 16 00 00 00 da 03 63	..math..log..aranger....r......c
0640	61 74 da 03 73 69 6e da 03 63 6f 73 29 05 72 0a 00 00 00 72 0f 00 00 00 da 04 68 61 6c 66 da 05	at..sin..cos).r....r......half..
0660	66 72 65 71 73 da 04 61 72 67 73 73 05 00 00 00 20 20 20 20 20 72 0c 00 00 00 da 07 66 6f 72 77	freqs..argss.........r......forw
0680	61 72 64 da 1b 53 69 6e 75 73 6f 69 64 61 6c 54 69 6d 65 45 6d 62 65 64 2e 66 6f 72 77 61 72 64	ard..SinusoidalTimeEmbed.forward
06a0	13 00 00 00 73 9e 00 00 00 80 00 e0 0b 0c 8f 35 89 35 8b 37 90 61 8b 3c d8 10 11 97 0b 91 0b 98	....s..........5.5.7.a.<........
06c0	42 93 0f 88 41 d8 0f 13 8f 7e 89 7e a0 11 d1 0f 22 88 04 dc 10 15 97 09 92 09 dc 0d 11 8f 58 8a	B...A....~.~....".............X.
06e0	58 90 67 d3 0d 1e d0 0c 1e a4 15 a7 1c a2 1c a8 64 bf 38 b9 38 c8 31 cf 37 c9 37 d1 21 53 d1 0c	X.g.............d.8.8.1.7.7.!S..
0700	53 d0 56 5a d1 0c 5a f3 03 02 11 0a 88 05 f0 06 00 10 11 97 3f 91 3f a0 31 d3 13 25 d1 0f 25 88	S.VZ..Z.............?.?.1..%..%.
0720	04 dc 0f 14 8f 79 8a 79 9c 25 9f 29 9a 29 a0 44 9b 2f ac 35 af 39 aa 39 b0 54 ab 3f d0 19 3b c0	.....y.y.%.).).D./.5.9.9.T.?..;.
0740	12 d1 0f 44 d0 08 44 72 0e 00 00 00 29 01 72 06 00 00 00 a9 0c da 08 5f 5f 6e 61 6d 65 5f 5f da	...D..Dr....).r........__name__.
0760	0a 5f 5f 6d 6f 64 75 6c 65 5f 5f da 0c 5f 5f 71 75 61 6c 6e 61 6d 65 5f 5f da 0f 5f 5f 66 69 72	.__module__..__qualname__..__fir
0780	73 74 6c 69 6e 65 6e 6f 5f 5f da 07 5f 5f 64 6f 63 5f 5f da 03 69 6e 74 72 09 00 00 00 72 1a 00	stlineno__..__doc__..intr....r..
07a0	00 00 da 06 54 65 6e 73 6f 72 72 25 00 00 00 da 15 5f 5f 73 74 61 74 69 63 5f 61 74 74 72 69 62	....Tensorr%.....__static_attrib
07c0	75 74 65 73 5f 5f da 0d 5f 5f 63 6c 61 73 73 63 65 6c 6c 5f 5f a9 01 72 0b 00 00 00 73 01 00 00	utes__..__classcell__..r....s...
07e0	00 40 72 0c 00 00 00 72 04 00 00 00 72 04 00 00 00 0c 00 00 00 73 36 00 00 00 f8 86 00 d9 04 49	.@r....r....r........s6........I
0800	f0 04 02 05 23 a0 23 f7 00 02 05 23 f0 08 09 05 45 01 98 15 9f 1c 99 1c f0 00 09 05 45 01 a8 25	....#.#....#....E...........E..%
0820	af 2c a9 2c f7 00 09 05 45 01 f2 00 09 05 45 01 72 0e 00 00 00 72 04 00 00 00 63 00 00 00 00 00	.,.,....E.....E.r....r....c.....
0840	00 00 00 00 00 00 00 0b 00 00 00 00 00 00 00 f3 b6 00 00 00 5e 00 95 00 5c 00 72 01 53 00 72 02	....................^...\.r.S.r.
0860	53 01 72 03 53 02 72 04 1e 00 1e 00 53 0f 53 03 5c 05 53 04 5c 05 53 05 5c 05 53 06 5c 05 53 07	S.r.S.r.....S.S.\.S.\.S.\.S.\.S.
0880	5c 05 34 0a 55 00 34 01 53 08 1a 00 6a 08 6a 04 6a 01 72 06 53 09 5c 07 52 10 00 00 00 00 00 00	\.4.U.4.S...j.j.j.r.S.\.R.......
08a0	00 00 00 00 00 00 00 00 00 00 00 00 53 0a 5c 07 52 10 00 00 00 00 00 00 00 00 00 00 00 00 00 00	............S.\.R...............
08c0	00 00 00 00 53 0b 5c 07 52 10 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 0c 5c 07	....S.\.R...................S.\.
08e0	52 10 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 34 08 53 0d 1a 00 6a 04 72 09 53 0e	R...................4.S...j.r.S.
0900	72 0a 55 00 3d 01 72 0b 24 00 29 10 da 08 56 61 6c 75 65 4e 65 74 e9 1f 00 00 00 7a d2 0a 53 63	r.U.=.r.$.)...ValueNet.....z..Sc
0920	61 6c 61 72 20 76 61 6c 75 65 20 6e 65 74 77 6f 72 6b 20 56 5f 70 68 69 28 68 5f 6c 2c 20 74 5f	alar.value.network.V_phi(h_l,.t_
0940	6c 2c 20 73 29 2e 0a 49 6e 70 75 74 73 3a 0a 20 20 20 20 68 3a 20 68 69 64 64 65 6e 20 73 74 61	l,.s)..Inputs:.....h:.hidden.sta
0960	74 65 20 28 62 61 74 63 68 2c 20 64 5f 68 69 64 64 65 6e 29 0a 20 20 20 20 74 3a 20 64 65 70 74	te.(batch,.d_hidden).....t:.dept
0980	68 2d 74 69 6d 65 20 73 63 61 6c 61 72 20 28 62 61 74 63 68 2c 29 20 69 6e 20 5b 30 2c 20 31 5d	h-time.scalar.(batch,).in.[0,.1]
09a0	0a 20 20 20 20 73 3a 20 74 65 72 6d 69 6e 61 6c 20 6d 6f 64 75 6c 61 74 69 6f 6e 20 63 6f 64 65	.....s:.terminal.modulation.code
09c0	20 28 62 61 74 63 68 2c 20 73 5f 64 69 6d 29 0a 4f 75 74 70 75 74 3a 0a 20 20 20 20 56 3a 20 73	.(batch,.s_dim).Output:.....V:.s
09e0	63 61 6c 61 72 20 28 62 61 74 63 68 2c 29 0a da 08 64 5f 68 69 64 64 65 6e da 05 73 5f 64 69 6d	calar.(batch,)...d_hidden..s_dim
0a00	da 0e 74 69 6d 65 5f 65 6d 62 65 64 5f 64 69 6d da 0a 68 69 64 64 65 6e 5f 64 69 6d da 0a 6e 75	..time_embed_dim..hidden_dim..nu
0a20	6d 5f 6c 61 79 65 72 73 63 06 00 00 00 00 00 00 00 00 00 00 00 07 00 00 00 03 00 00 00 f3 d0 01	m_layersc.......................
0a40	00 00 3e 01 95 00 5b 00 00 00 00 00 00 00 00 00 54 0a 55 00 5d 05 00 00 35 00 00 00 00 00 00 00	..>...[.........T.U.]...5.......
0a60	20 00 5b 04 00 00 00 00 00 00 00 00 52 06 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	..[.........R...................
0a80	22 00 55 01 35 01 00 00 00 00 00 00 55 00 6c 04 00 00 00 00 00 00 00 00 5b 0b 00 00 00 00 00 00	".U.5.......U.l.........[.......
0aa0	00 00 55 03 35 01 00 00 00 00 00 00 55 00 6c 06 00 00 00 00 00 00 00 00 58 13 2d 00 00 00 55 02	..U.5.......U.l.........X.-...U.
0ac0	2d 00 00 00 6e 06 2f 00 6e 07 5b 0f 00 00 00 00 00 00 00 00 55 05 35 01 00 00 00 00 00 00 13 00	-...n./.n.[.........U.5.........
0ae0	48 56 00 00 6e 08 55 08 53 01 3a 58 00 00 61 02 00 00 55 06 4f 01 55 04 6e 09 55 07 52 11 00 00	HV..n.U.S.:X..a...U.O.U.n.U.R...
0b00	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 5b 04 00 00 00 00 00 00 00 00 52 12 00 00 00 00	................[.........R.....
0b20	00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 94 35 02 00 00 00 00 00 00 35 01 00 00 00 00	..............".X.5.......5.....
0b40	00 00 20 00 55 07 52 11 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 5b 04 00 00 00 00	....U.R...................[.....
0b60	00 00 00 00 52 14 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 35 00 00 00 00 00	....R...................".5.....
0b80	00 00 35 01 00 00 00 00 00 00 20 00 4d 58 00 00 0b 00 20 00 55 07 52 11 00 00 00 00 00 00 00 00	..5.........MX......U.R.........
0ba0	00 00 00 00 00 00 00 00 00 00 5b 04 00 00 00 00 00 00 00 00 52 12 00 00 00 00 00 00 00 00 00 00	..........[.........R...........
0bc0	00 00 00 00 00 00 00 00 22 00 55 04 53 02 35 02 00 00 00 00 00 00 35 01 00 00 00 00 00 00 20 00	........".U.S.5.......5.........
0be0	5b 04 00 00 00 00 00 00 00 00 52 16 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00	[.........R...................".
0c00	55 07 36 00 55 00 6c 0c 00 00 00 00 00 00 00 00 67 00 29 03 4e 72 02 00 00 00 72 12 00 00 00 29	U.6.U.l.........g.).Nr....r....)
0c20	0d 72 08 00 00 00 72 09 00 00 00 da 02 6e 6e da 09 4c 61 79 65 72 4e 6f 72 6d da 02 6c 6e 72 04	.r....r......nn..LayerNorm..lnr.
0c40	00 00 00 da 0a 74 69 6d 65 5f 65 6d 62 65 64 da 05 72 61 6e 67 65 da 06 61 70 70 65 6e 64 da 06	.....time_embed..range..append..
0c60	4c 69 6e 65 61 72 da 04 47 45 4c 55 da 0a 53 65 71 75 65 6e 74 69 61 6c da 03 6e 65 74 29 0b 72	Linear..GELU..Sequential..net).r
0c80	0a 00 00 00 72 35 00 00 00 72 36 00 00 00 72 37 00 00 00 72 38 00 00 00 72 39 00 00 00 da 09 69	....r5...r6...r7...r8...r9.....i
0ca0	6e 70 75 74 5f 64 69 6d da 06 6c 61 79 65 72 73 da 01 69 da 04 69 6e 5f 64 72 0b 00 00 00 73 0b	nput_dim..layers..i..in_dr....s.
0cc0	00 00 00 20 20 20 20 20 20 20 20 20 20 80 72 0c 00 00 00 72 09 00 00 00 da 11 56 61 6c 75 65 4e	..............r....r......ValueN
0ce0	65 74 2e 5f 5f 69 6e 69 74 5f 5f 2a 00 00 00 73 a8 00 00 00 f8 80 00 e4 08 0d 89 07 d1 08 18 d4	et.__init__*...s................
0d00	08 1a dc 12 14 97 2c 92 2c 98 78 d3 12 28 88 04 8c 07 dc 1a 2d a8 6e d3 1a 3d 88 04 8c 0f e0 14	......,.,.x..(......-.n..=......
0d20	1c d1 14 2d b0 05 d1 14 35 88 09 d8 11 13 88 06 dc 11 16 90 7a d6 11 22 88 41 d8 20 21 a0 51 a3	...-....5...........z..".A..!.Q.
0d40	06 91 39 a8 4a 88 44 d8 0c 12 8f 4d 89 4d 9c 22 9f 29 9a 29 a0 44 d3 1a 35 d4 0c 36 d8 0c 12 8f	..9.J.D....M.M.".).).D..5..6....
0d60	4d 89 4d 9c 22 9f 27 9a 27 9b 29 d6 0c 24 f1 07 00 12 23 f0 08 00 09 0f 8f 0d 89 0d 94 62 97 69	M.M.".'.'.)..$....#..........b.i
0d80	92 69 a0 0a a8 41 d3 16 2e d4 08 2f dc 13 15 97 3d 92 3d a0 26 d0 13 29 88 04 8d 08 72 0e 00 00	.i...A...../....=.=.&..)....r...
0da0	00 da 01 68 72 0f 00 00 00 da 01 73 72 10 00 00 00 63 04 00 00 00 00 00 00 00 00 00 00 00 05 00	...hr......sr....c..............
0dc0	00 00 03 00 00 00 f3 b4 00 00 00 95 00 55 00 52 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	.............U.R................
0de0	00 00 00 55 01 35 01 00 00 00 00 00 00 6e 04 55 00 52 03 00 00 00 00 00 00 00 00 00 00 00 00 00	...U.5.......n.U.R..............
0e00	00 00 00 00 00 55 02 35 01 00 00 00 00 00 00 6e 05 5b 04 00 00 00 00 00 00 00 00 52 06 00 00 00	.....U.5.......n.[.........R....
0e20	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 45 55 03 2f 03 53 01 53 02 39 02 6e 06 55	...............".XEU./.S.S.9.n.U
0e40	00 52 09 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 06 35 01 00 00 00 00 00 00 52	.R...................U.5.......R
0e60	0b 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 01 35 01 00 00 00 00 00 00 24 00 29	...................S.5.......$.)
0e80	03 7a 26 52 65 74 75 72 6e 73 20 56 28 68 2c 20 74 2c 20 73 29 20 61 73 20 28 62 61 74 63 68 2c	.z&Returns.V(h,.t,.s).as.(batch,
0ea0	29 20 73 63 61 6c 61 72 2e 72 13 00 00 00 72 17 00 00 00 29 06 72 3d 00 00 00 72 3e 00 00 00 72	).scalar.r....r....).r=...r>...r
0ec0	1a 00 00 00 72 1f 00 00 00 72 44 00 00 00 da 07 73 71 75 65 65 7a 65 29 07 72 0a 00 00 00 72 4a	....r....rD.....squeeze).r....rJ
0ee0	00 00 00 72 0f 00 00 00 72 4b 00 00 00 da 08 68 5f 6e 6f 72 6d 65 64 da 05 74 5f 65 6d 62 da 03	...r....rK.....h_normed..t_emb..
0f00	69 6e 70 73 07 00 00 00 20 20 20 20 20 20 20 72 0c 00 00 00 72 25 00 00 00 da 10 56 61 6c 75 65	inps...........r....r%.....Value
0f20	4e 65 74 2e 66 6f 72 77 61 72 64 39 00 00 00 73 4b 00 00 00 80 00 e0 13 17 97 37 91 37 98 31 93	Net.forward9...sK.........7.7.1.
0f40	3a 88 08 d8 10 14 97 0f 91 0f a0 01 d3 10 22 88 05 dc 0e 13 8f 69 8a 69 98 18 a8 21 d0 18 2c b0	:............."......i.i...!..,.
0f60	22 d1 0e 35 88 03 d8 0f 13 8f 78 89 78 98 03 8b 7d d7 0f 24 d1 0f 24 a0 52 d3 0f 28 d0 08 28 72	"..5......x.x...}..$..$.R..(..(r
0f80	0e 00 00 00 29 03 72 3d 00 00 00 72 44 00 00 00 72 3e 00 00 00 29 03 e9 20 00 00 00 e9 00 01 00	....).r=...rD...r>...)..........
0fa0	00 e9 03 00 00 00 72 27 00 00 00 72 31 00 00 00 73 01 00 00 00 40 72 0c 00 00 00 72 33 00 00 00	......r'...r1...s....@r....r3...
0fc0	72 33 00 00 00 1f 00 00 00 73 77 00 00 00 f8 86 00 f1 02 08 05 08 f0 14 00 49 01 4b 01 d8 3a 3b	r3.......sw..............I.K..:;
0fe0	f1 03 0d 05 2a a0 13 f0 00 0d 05 2a a8 53 f0 00 0d 05 2a c0 23 f0 00 0d 05 2a d8 1d 20 f0 03 0d	....*......*.S....*.#....*......
1000	05 2a d8 34 37 f7 03 0d 05 2a f0 00 0d 05 2a f0 1e 05 05 29 98 15 9f 1c 99 1c f0 00 05 05 29 a8	.*.47....*....*....)..........).
1020	25 af 2c a9 2c f0 00 05 05 29 b8 35 bf 3c b9 3c f0 00 05 05 29 c8 45 cf 4c c9 4c f7 00 05 05 29	%.,.,....).5.<.<....).E.L.L....)
1040	f2 00 05 05 29 72 0e 00 00 00 72 33 00 00 00 da 05 6d 6f 64 65 6c 72 10 00 00 00 63 01 00 00 00	....)r....r3.....modelr....c....
1060	00 00 00 00 00 00 00 00 04 00 00 00 03 00 00 00 f3 82 00 00 00 95 00 5b 00 00 00 00 00 00 00 00	.......................[........
1080	00 52 02 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 55 00 35 01 00 00 00 00 00	.R...................".U.5......
10a0	00 6e 01 55 01 52 05 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00	.n.U.R...................5......
10c0	00 13 00 48 14 00 00 6e 02 55 02 52 07 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53	...H...n.U.R...................S
10e0	01 35 01 00 00 00 00 00 00 20 00 4d 16 00 00 0b 00 20 00 55 01 24 00 29 02 7a 1e 43 72 65 61 74	.5.........M.......U.$.).z.Creat
1100	65 20 61 6e 20 45 4d 41 20 63 6f 70 79 20 6f 66 20 61 20 6d 6f 64 65 6c 2e 46 29 04 da 04 63 6f	e.an.EMA.copy.of.a.model.F)...co
1120	70 79 da 08 64 65 65 70 63 6f 70 79 da 0a 70 61 72 61 6d 65 74 65 72 73 da 0e 72 65 71 75 69 72	py..deepcopy..parameters..requir
1140	65 73 5f 67 72 61 64 5f 29 03 72 55 00 00 00 da 03 65 6d 61 da 01 70 73 03 00 00 00 20 20 20 72	es_grad_).rU.....ema..ps.......r
1160	0c 00 00 00 da 10 63 72 65 61 74 65 5f 65 6d 61 5f 6d 6f 64 65 6c 72 5d 00 00 00 41 00 00 00 73	......create_ema_modelr]...A...s
1180	34 00 00 00 80 00 e4 0a 0e 8f 2d 8a 2d 98 05 d3 0a 1e 80 43 d8 0d 10 8f 5e 89 5e d6 0d 1d 88 01	4.........-.-......C....^.^.....
11a0	d8 08 09 d7 08 18 d1 08 18 98 15 d6 08 1f f1 03 00 0e 1e e0 0b 0e 80 4a 72 0e 00 00 00 da 09 65	.......................Jr......e
11c0	6d 61 5f 6d 6f 64 65 6c da 08 6d 6f 6d 65 6e 74 75 6d 63 03 00 00 00 00 00 00 00 00 00 00 00 06	ma_model..momentumc.............
11e0	00 00 00 03 00 00 00 f3 d2 00 00 00 95 00 5b 01 00 00 00 00 00 00 00 00 55 00 52 03 00 00 00 00	..............[.........U.R.....
1200	00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 55 01 52 03 00 00 00 00 00 00	..............5.......U.R.......
1220	00 00 00 00 00 00 00 00 00 00 00 00 35 00 00 00 00 00 00 00 35 02 00 00 00 00 00 00 13 00 48 3b	............5.......5.........H;
1240	00 00 75 02 00 00 70 34 55 04 52 04 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 07	..u...p4U.R...................R.
1260	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 02 35 01 00 00 00 00 00 00 52 09 00 00	..................U.5.......R...
1280	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 03 52 04 00 00 00 00 00 00 00 00 00 00 00 00	................U.R.............
12a0	00 00 00 00 00 00 53 01 55 02 2d 0a 00 00 53 02 39 02 20 00 4d 3d 00 00 0b 00 20 00 67 03 29 04	......S.U.-...S.9...M=......g.).
12c0	7a 1c 55 70 64 61 74 65 20 45 4d 41 20 6d 6f 64 65 6c 20 70 61 72 61 6d 65 74 65 72 73 2e 72 12	z.Update.EMA.model.parameters.r.
12e0	00 00 00 29 01 da 05 61 6c 70 68 61 4e 29 05 da 03 7a 69 70 72 59 00 00 00 da 04 64 61 74 61 da	...)...alphaN)...ziprY.....data.
1300	04 6d 75 6c 5f da 04 61 64 64 5f 29 05 72 55 00 00 00 72 5e 00 00 00 72 5f 00 00 00 72 5c 00 00	.mul_..add_).rU...r^...r_...r\..
1320	00 da 02 65 70 73 05 00 00 00 20 20 20 20 20 72 0c 00 00 00 da 0a 75 70 64 61 74 65 5f 65 6d 61	...eps.........r......update_ema
1340	72 67 00 00 00 49 00 00 00 73 52 00 00 00 80 00 f4 06 00 12 15 90 55 d7 15 25 d1 15 25 d3 15 27	rg...I...sR...........U..%..%..'
1360	a8 19 d7 29 3d d1 29 3d d3 29 3f d6 11 40 89 05 88 01 d8 08 0a 8f 07 89 07 8f 0c 89 0c 90 58 d3	...)=.)=.)?..@................X.
1380	08 1e d7 08 23 d1 08 23 a0 41 a7 46 a1 46 b0 21 b0 68 b1 2c d0 08 23 d3 08 3f f2 03 00 12 41 01	....#..#.A.F.F.!.h.,..#..?....A.
13a0	72 0e 00 00 00 29 01 67 ae 47 e1 7a 14 ae ef 3f 29 0d 72 2c 00 00 00 72 1a 00 00 00 da 08 74 6f	r....).g.G.z...?).r,...r......to
13c0	72 63 68 2e 6e 6e 72 3b 00 00 00 72 1c 00 00 00 72 57 00 00 00 da 06 4d 6f 64 75 6c 65 72 04 00	rch.nnr;...r....rW.....Moduler..
13e0	00 00 72 33 00 00 00 72 5d 00 00 00 da 07 6e 6f 5f 67 72 61 64 da 05 66 6c 6f 61 74 72 67 00 00	..r3...r].....no_grad..floatrg..
1400	00 a9 00 72 0e 00 00 00 72 0c 00 00 00 da 08 3c 6d 6f 64 75 6c 65 3e 72 6d 00 00 00 01 00 00 00	...r....r......<module>rm.......
1420	73 92 00 00 00 f0 03 01 01 01 f1 02 04 01 04 f3 0a 00 01 0d dd 00 15 db 00 0b db 00 0b f4 06 10	s...............................
1440	01 45 01 98 22 9f 29 99 29 f4 00 10 01 45 01 f4 26 1f 01 29 88 72 8f 79 89 79 f4 00 1f 01 29 f0	.E..".).)....E..&..).r.y.y....).
1460	44 01 05 01 0f 98 42 9f 49 99 49 f0 00 05 01 0f a8 22 af 29 a9 29 f4 00 05 01 0f f0 10 00 02 07	D.....B.I.I......".).)..........
1480	87 1d 82 1d 83 1f f1 02 03 01 40 01 90 62 97 69 91 69 f0 00 03 01 40 01 a8 42 af 49 a9 49 f0 00	..........@..b.i.i....@..B.I.I..
14a0	03 01 40 01 c0 15 f4 00 03 01 40 01 f3 03 00 02 11 f1 02 03 01 40 01 72 0e 00 00 00	..@.......@..........@.r....