blob: 333cf2756ce4509fd146ed3619dc86116b12f6df (plain)

ofs	hex dump	ascii
0000	f3 0d 0d 0a 00 00 00 00 90 09 96 6a 5a 03 00 00 e3 00 00 00 00 00 00 00 00 00 00 00 00 04 00 00	...........jZ...................
0020	00 00 00 00 00 f3 34 00 00 00 95 00 53 00 72 00 53 01 53 02 4b 01 72 01 53 01 53 02 4b 02 72 03	......4.....S.r.S.S.K.r.S.S.K.r.
0040	53 01 53 02 4b 04 72 04 18 00 22 00 53 03 1a 00 53 04 35 02 00 00 00 00 00 00 72 05 67 02 29 05	S.S.K.r...".S...S.5.......r.g.).
0060	7a 44 54 6f 6b 65 6e 20 73 68 61 72 64 73 3a 20 75 69 6e 74 31 36 20 6d 65 6d 6d 61 70 20 66 69	zDToken.shards:.uint16.memmap.fi
0080	6c 65 73 20 74 72 61 69 6e 2e 62 69 6e 20 2f 20 76 61 6c 2e 62 69 6e 20 69 6e 20 2d 2d 64 61 74	les.train.bin./.val.bin.in.--dat
00a0	61 20 64 69 72 2e e9 00 00 00 00 4e 63 00 00 00 00 00 00 00 00 00 00 00 00 01 00 00 00 00 00 00	a.dir......Nc...................
00c0	00 f3 20 00 00 00 95 00 5c 00 72 01 53 00 72 02 53 01 72 03 53 02 1a 00 72 04 53 03 1a 00 72 05	........\.r.S.r.S.r.S...r.S...r.
00e0	53 04 72 06 67 05 29 06 da 06 53 68 61 72 64 73 e9 07 00 00 00 63 04 00 00 00 00 00 00 00 00 00	S.r.g.)...Shards.....c..........
0100	00 00 06 00 00 00 03 00 00 00 f3 3c 01 00 00 95 00 5b 00 00 00 00 00 00 00 00 00 52 02 00 00 00	...........<.....[.........R....
0120	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 5b 04 00 00 00 00 00 00 00 00 52 06 00 00 00	...............".[.........R....
0140	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 09 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	...............R................
0160	00 00 00 55 01 53 01 35 02 00 00 00 00 00 00 5b 00 00 00 00 00 00 00 00 00 52 0a 00 00 00 00 00	...U.S.5.......[.........R......
0180	00 00 00 00 00 00 00 00 00 00 00 00 00 53 02 53 03 39 03 55 00 6c 06 00 00 00 00 00 00 00 00 5b	.............S.S.9.U.l.........[
01a0	00 00 00 00 00 00 00 00 00 52 02 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 5b	.........R...................".[
01c0	04 00 00 00 00 00 00 00 00 52 06 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 52 09 00	.........R...................R..
01e0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 01 53 04 35 02 00 00 00 00 00 00 5b 00 00	.................U.S.5.......[..
0200	00 00 00 00 00 00 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 02 53 03 39	.......R...................S.S.9
0220	03 55 00 6c 07 00 00 00 00 00 00 00 00 58 23 73 02 55 00 6c 08 00 00 00 00 00 00 00 00 55 00 6c	.U.l.........X#s.U.l.........U.l
0240	09 00 00 00 00 00 00 00 00 67 00 29 05 4e 7a 09 74 72 61 69 6e 2e 62 69 6e da 01 72 29 02 da 05	.........g.).Nz.train.bin..r)...
0260	64 74 79 70 65 da 04 6d 6f 64 65 7a 07 76 61 6c 2e 62 69 6e 29 0a da 02 6e 70 da 06 6d 65 6d 6d	dtype..modez.val.bin)...np..memm
0280	61 70 da 02 6f 73 da 04 70 61 74 68 da 04 6a 6f 69 6e da 06 75 69 6e 74 31 36 da 05 74 72 61 69	ap..os..path..join..uint16..trai
02a0	6e da 03 76 61 6c da 01 54 da 06 64 65 76 69 63 65 29 04 da 04 73 65 6c 66 72 0d 00 00 00 da 07	n..val..T..device)...selfr......
02c0	73 65 71 5f 6c 65 6e 72 13 00 00 00 73 04 00 00 00 20 20 20 20 da 3c 2f 68 6f 6d 65 2f 79 75 72	seq_lenr....s.........</home/yur
02e0	65 6e 68 32 2f 7a 62 70 2d 73 63 61 6c 69 6e 67 2f 73 63 72 69 70 74 73 2f 2e 2e 2f 73 72 63 2f	enh2/zbp-scaling/scripts/../src/
0300	7a 62 70 5f 73 63 61 6c 69 6e 67 2f 64 61 74 61 2e 70 79 da 08 5f 5f 69 6e 69 74 5f 5f da 0f 53	zbp_scaling/data.py..__init__..S
0320	68 61 72 64 73 2e 5f 5f 69 6e 69 74 5f 5f 08 00 00 00 73 60 00 00 00 80 00 dc 15 17 97 59 92 59	hards.__init__....s`.........Y.Y
0340	9c 72 9f 77 99 77 9f 7c 99 7c a8 44 b0 2b d3 1f 3e c4 62 c7 69 c1 69 d0 56 59 d1 15 5a 88 04 8c	.r.w.w.|.|.D.+..>.b.i.i.VY..Z...
0360	0a dc 13 15 97 39 92 39 9c 52 9f 57 99 57 9f 5c 99 5c a8 24 b0 09 d3 1d 3a c4 22 c7 29 c1 29 d0	.....9.9.R.W.W.\.\.$....:.".).).
0380	52 55 d1 13 56 88 04 8c 08 d8 1e 25 d0 08 1b 88 04 8c 06 90 04 95 0b f3 00 00 00 00 63 04 00 00	RU..V......%................c...
03a0	00 00 00 00 00 00 00 00 00 0b 00 00 00 03 00 00 00 f3 c2 02 00 00 95 00 55 01 53 01 3a 58 00 00	........................U.S.:X..
03c0	61 0c 00 00 55 00 52 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 4f 0b 55 00 52 02	a...U.R...................O.U.R.
03e0	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 6e 04 5b 04 00 00 00 00 00 00 00 00 52 06	..................n.[.........R.
0400	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 53 02 5b 09 00 00 00 00 00 00 00 00	..................".S.[.........
0420	55 04 35 01 00 00 00 00 00 00 55 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	U.5.......U.R...................
0440	2d 0a 00 00 53 03 2d 0a 00 00 55 02 34 01 55 03 53 04 39 04 6e 05 5b 04 00 00 00 00 00 00 00 00	-...S.-...U.4.U.S.9.n.[.........
0460	52 0c 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 55 05 13 00 56 06 73 02 2f 00	R...................".U...V.s./.
0480	73 02 13 00 48 44 00 00 6e 06 5b 04 00 00 00 00 00 00 00 00 52 0e 00 00 00 00 00 00 00 00 00 00	s...HD..n.[.........R...........
04a0	00 00 00 00 00 00 00 00 22 00 58 46 58 60 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	........".XFX`R.................
04c0	00 00 2d 00 00 00 04 00 52 11 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 5b 12 00 00	..-.....R...................[...
04e0	00 00 00 00 00 00 52 14 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 01 00 00 00 00	......R...................5.....
0500	00 00 35 01 00 00 00 00 00 00 50 02 4d 46 00 00 0b 00 20 00 73 02 6e 06 35 01 00 00 00 00 00 00	..5.......P.MF......s.n.5.......
0520	6e 07 5b 04 00 00 00 00 00 00 00 00 52 0c 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00	n.[.........R...................
0540	22 00 55 05 13 00 56 06 73 02 2f 00 73 02 13 00 48 4b 00 00 6e 06 5b 04 00 00 00 00 00 00 00 00	".U...V.s./.s...HK..n.[.........
0560	52 0e 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 22 00 58 46 53 03 2d 00 00 00 55 06	R...................".XFS.-...U.
0580	53 03 2d 00 00 00 55 00 52 0a 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 2d 00 00 00	S.-...U.R...................-...
05a0	04 00 52 11 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 5b 12 00 00 00 00 00 00 00 00	..R...................[.........
05c0	52 14 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 35 01 00 00 00 00 00 00 35 01 00 00	R...................5.......5...
05e0	00 00 00 00 50 02 4d 4d 00 00 0b 00 20 00 73 02 6e 06 35 01 00 00 00 00 00 00 6e 08 55 07 52 17	....P.MM......s.n.5.......n.U.R.
0600	00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 55 00 52 18 00 00 00 00 00 00 00 00 00 00	..................U.R...........
0620	00 00 00 00 00 00 00 00 53 05 53 06 39 02 55 08 52 17 00 00 00 00 00 00 00 00 00 00 00 00 00 00	........S.S.9.U.R...............
0640	00 00 00 00 55 00 52 18 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 53 05 53 06 39 02	....U.R...................S.S.9.
0660	34 02 24 00 73 02 20 00 73 02 6e 06 66 00 73 02 20 00 73 02 6e 06 66 00 29 07 4e 72 10 00 00 00	4.$.s...s.n.f.s...s.n.f.).Nr....
0680	72 02 00 00 00 e9 01 00 00 00 29 01 da 09 67 65 6e 65 72 61 74 6f 72 54 29 01 da 0c 6e 6f 6e 5f	r.........)...generatorT)...non_
06a0	62 6c 6f 63 6b 69 6e 67 29 0d 72 10 00 00 00 72 11 00 00 00 da 05 74 6f 72 63 68 da 07 72 61 6e	blocking).r....r......torch..ran
06c0	64 69 6e 74 da 03 6c 65 6e 72 12 00 00 00 da 05 73 74 61 63 6b da 0a 66 72 6f 6d 5f 6e 75 6d 70	dint..lenr......stack..from_nump
06e0	79 da 06 61 73 74 79 70 65 72 0a 00 00 00 da 05 69 6e 74 36 34 da 02 74 6f 72 13 00 00 00 29 09	y..astyper......int64..tor....).
0700	72 14 00 00 00 da 05 73 70 6c 69 74 da 02 62 73 da 03 67 65 6e da 03 73 72 63 da 02 69 78 da 01	r......split..bs..gen..src..ix..
0720	69 da 01 78 da 01 79 73 09 00 00 00 20 20 20 20 20 20 20 20 20 72 16 00 00 00 da 05 62 61 74 63	i..x..ys.............r......batc
0740	68 da 0c 53 68 61 72 64 73 2e 62 61 74 63 68 0d 00 00 00 73 0d 01 00 00 80 00 d8 1c 21 a0 57 d3	h..Shards.batch....s........!.W.
0760	1c 2c 88 64 8f 6a 8a 6a b0 24 b7 28 b1 28 88 03 dc 0d 12 8f 5d 8a 5d 98 31 9c 63 a0 23 9b 68 a8	.,.d.j.j.$.(.(......].].1.c.#.h.
0780	14 af 16 a9 16 d1 1e 2f b0 21 d1 1e 33 b0 62 b0 55 c0 63 d1 0d 4a 88 02 dc 0c 11 8f 4b 8a 4b d1	......./.!..3.b.U.c..J......K.K.
07a0	57 59 d3 18 5a d2 57 59 d0 52 53 9c 15 d7 19 29 d2 19 29 a8 23 b0 01 b7 46 b1 46 b1 0a d0 2a 3b	WY..Z.WY.RS....)..).#...F.F...*;
07c0	d7 2a 42 d1 2a 42 c4 32 c7 38 c1 38 d3 2a 4c d6 19 4d d1 57 59 d1 18 5a d3 0c 5b 88 01 dc 0c 11	.*B.*B.2.8.8.*L..M.WY..Z..[.....
07e0	8f 4b 8a 4b d1 5f 61 d3 18 62 d2 5f 61 d0 5a 5b 9c 15 d7 19 29 d2 19 29 a8 23 b0 21 a9 65 b0 41	.K.K._a..b._a.Z[....)..).#.!.e.A
0800	b8 01 b1 45 b8 44 bf 46 b9 46 b1 4e d0 2a 43 d7 2a 4a d1 2a 4a cc 32 cf 38 c9 38 d3 2a 54 d6 19	...E.D.F.F.N.*C.*J.*J.2.8.8.*T..
0820	55 d1 5f 61 d1 18 62 d3 0c 63 88 01 d8 0f 10 8f 74 89 74 90 44 97 4b 91 4b a8 64 88 74 d0 0f 33	U._a..b..c......t.t.D.K.K.d.t..3
0840	b0 51 b7 54 b1 54 b8 24 bf 2b b9 2b d0 54 58 b0 54 d0 35 59 d0 0f 59 d0 08 59 f9 f2 05 00 19 5b	.Q.T.T.$.+.+.TX.T.5Y..Y..Y.....[
0860	01 f9 da 18 62 73 0e 00 00 00 c1 24 41 0b 45 17 08 c3 0a 41 12 45 1c 08 29 04 72 12 00 00 00 72	....bs.....$A.E....A.E..).r....r
0880	13 00 00 00 72 10 00 00 00 72 11 00 00 00 4e 29 07 da 08 5f 5f 6e 61 6d 65 5f 5f da 0a 5f 5f 6d	....r....r....N)...__name__..__m
08a0	6f 64 75 6c 65 5f 5f da 0c 5f 5f 71 75 61 6c 6e 61 6d 65 5f 5f da 0f 5f 5f 66 69 72 73 74 6c 69	odule__..__qualname__..__firstli
08c0	6e 65 6e 6f 5f 5f 72 17 00 00 00 72 2e 00 00 00 da 15 5f 5f 73 74 61 74 69 63 5f 61 74 74 72 69	neno__r....r......__static_attri
08e0	62 75 74 65 73 5f 5f a9 00 72 19 00 00 00 72 16 00 00 00 72 04 00 00 00 72 04 00 00 00 07 00 00	butes__..r....r....r....r.......
0900	00 73 0d 00 00 00 86 00 f2 02 03 05 2e f5 0a 05 05 5a 01 72 19 00 00 00 72 04 00 00 00 29 06 da	.s...............Z.r....r....)..
0920	07 5f 5f 64 6f 63 5f 5f 72 0c 00 00 00 da 05 6e 75 6d 70 79 72 0a 00 00 00 72 1e 00 00 00 72 04	.__doc__r......numpyr....r....r.
0940	00 00 00 72 35 00 00 00 72 19 00 00 00 72 16 00 00 00 da 08 3c 6d 6f 64 75 6c 65 3e 72 38 00 00	...r5...r....r......<module>r8..
0960	00 01 00 00 00 73 1d 00 00 00 f0 03 01 01 01 d9 00 4a db 00 09 db 00 12 db 00 0c f7 06 0b 01 5a	.....s...........J.............Z
0980	01 f2 00 0b 01 5a 01 72 19 00 00 00	.....Z.r....