C09-1 num_ret 707.00000 C09-1 num_unjug_ret@1 0.00000 C09-1 num_unjug_ret@10 0.00000 C09-1 num_unjug_ret@100 34.00000 C09-1 num_unjug_ret@1000 685.00000 C09-1 num_rel 112.00000 C09-1 num_rel_ret 4.00000 C09-1 map 0.00046 C09-1 R-prec 0.00893 C09-1 bpref 0.03229 C09-1 recip_rank 0.03226 C09-1 ndcg 0.04660 C09-1 ndcg5 0.16958 C09-1 ndcg10 0.11005 C09-1 ndcg20 0.07102 C09-1 ERR 0.06310 C09-1 ERR10 0.06250 C09-1 ERR20 0.06250 C09-1 P1 0.00000 C09-1 P5 0.00000 C09-1 P10 0.00000 C09-1 P15 0.00000 C09-1 P20 0.00000 C09-1 P30 0.00000 C09-1 P50 0.02000 C09-1 P100 0.01000 C09-1 P200 0.00500 C09-1 P500 0.00600 C09-1 P1000 0.00566 C09-2 num_ret 884.00000 C09-2 num_unjug_ret@1 0.00000 C09-2 num_unjug_ret@10 1.00000 C09-2 num_unjug_ret@100 48.00000 C09-2 num_unjug_ret@1000 792.00000 C09-2 num_rel 148.00000 C09-2 num_rel_ret 56.00000 C09-2 map 0.14983 C09-2 R-prec 0.21622 C09-2 bpref 0.34692 C09-2 recip_rank 1.00000 C09-2 ndcg 0.40848 C09-2 ndcg5 0.55944 C09-2 ndcg10 0.54668 C09-2 ndcg20 0.51512 C09-2 ERR 0.30277 C09-2 ERR10 0.28141 C09-2 ERR20 0.29870 C09-2 P1 1.00000 C09-2 P5 0.80000 C09-2 P10 0.80000 C09-2 P15 0.66667 C09-2 P20 0.65000 C09-2 P30 0.50000 C09-2 P50 0.46000 C09-2 P100 0.31000 C09-2 P200 0.16000 C09-2 P500 0.09000 C09-2 P1000 0.06335 C09-3 num_ret 749.00000 C09-3 num_unjug_ret@1 0.00000 C09-3 num_unjug_ret@10 0.00000 C09-3 num_unjug_ret@100 70.00000 C09-3 num_unjug_ret@1000 730.00000 C09-3 num_rel 151.00000 C09-3 num_rel_ret 15.00000 C09-3 map 0.00218 C09-3 R-prec 0.02649 C09-3 bpref 0.09894 C09-3 recip_rank 0.00990 C09-3 ndcg 0.11495 C09-3 ndcg5 0.00000 C09-3 ndcg10 0.00000 C09-3 ndcg20 0.00000 C09-3 ERR 0.00889 C09-3 ERR10 0.00000 C09-3 ERR20 0.00000 C09-3 P1 0.00000 C09-3 P5 0.00000 C09-3 P10 0.00000 C09-3 P15 0.00000 C09-3 P20 0.00000 C09-3 P30 0.00000 C09-3 P50 0.00000 C09-3 P100 0.00000 C09-3 P200 0.02500 C09-3 P500 0.02200 C09-3 P1000 0.02003 C09-4 num_ret 784.00000 C09-4 num_unjug_ret@1 0.00000 C09-4 num_unjug_ret@10 0.00000 C09-4 num_unjug_ret@100 10.00000 C09-4 num_unjug_ret@1000 747.00000 C09-4 num_rel 56.00000 C09-4 num_rel_ret 6.00000 C09-4 map 0.00558 C09-4 R-prec 0.05357 C09-4 bpref 0.09407 C09-4 recip_rank 0.02941 C09-4 ndcg 0.11959 C09-4 ndcg5 0.14607 C09-4 ndcg10 0.24655 C09-4 ndcg20 0.20962 C09-4 ERR 0.10057 C09-4 ERR10 0.08995 C09-4 ERR20 0.10027 C09-4 P1 0.00000 C09-4 P5 0.00000 C09-4 P10 0.00000 C09-4 P15 0.00000 C09-4 P20 0.00000 C09-4 P30 0.00000 C09-4 P50 0.06000 C09-4 P100 0.05000 C09-4 P200 0.03000 C09-4 P500 0.01200 C09-4 P1000 0.00765 C09-5 num_ret 742.00000 C09-5 num_unjug_ret@1 0.00000 C09-5 num_unjug_ret@10 5.00000 C09-5 num_unjug_ret@100 70.00000 C09-5 num_unjug_ret@1000 691.00000 C09-5 num_rel 57.00000 C09-5 num_rel_ret 4.00000 C09-5 map 0.00423 C09-5 R-prec 0.03509 C09-5 bpref 0.05109 C09-5 recip_rank 0.16667 C09-5 ndcg 0.07100 C09-5 ndcg5 0.08051 C09-5 ndcg10 0.06406 C09-5 ndcg20 0.04853 C09-5 ERR 0.02385 C09-5 ERR10 0.02083 C09-5 ERR20 0.02083 C09-5 P1 0.00000 C09-5 P5 0.00000 C09-5 P10 0.10000 C09-5 P15 0.06667 C09-5 P20 0.05000 C09-5 P30 0.03333 C09-5 P50 0.04000 C09-5 P100 0.02000 C09-5 P200 0.01500 C09-5 P500 0.00600 C09-5 P1000 0.00539 C09-6 num_ret 855.00000 C09-6 num_unjug_ret@1 0.00000 C09-6 num_unjug_ret@10 2.00000 C09-6 num_unjug_ret@100 36.00000 C09-6 num_unjug_ret@1000 763.00000 C09-6 num_rel 48.00000 C09-6 num_rel_ret 5.00000 C09-6 map 0.00422 C09-6 R-prec 0.04167 C09-6 bpref 0.03168 C09-6 recip_rank 0.03125 C09-6 ndcg 0.08691 C09-6 ndcg5 0.00000 C09-6 ndcg10 0.00000 C09-6 ndcg20 0.00000 C09-6 ERR 0.01308 C09-6 ERR10 0.00000 C09-6 ERR20 0.00000 C09-6 P1 0.00000 C09-6 P5 0.00000 C09-6 P10 0.00000 C09-6 P15 0.00000 C09-6 P20 0.00000 C09-6 P30 0.00000 C09-6 P50 0.04000 C09-6 P100 0.03000 C09-6 P200 0.02500 C09-6 P500 0.01000 C09-6 P1000 0.00585 C09-7 num_ret 968.00000 C09-7 num_unjug_ret@1 1.00000 C09-7 num_unjug_ret@10 7.00000 C09-7 num_unjug_ret@100 85.00000 C09-7 num_unjug_ret@1000 945.00000 C09-7 num_rel 84.00000 C09-7 num_rel_ret 6.00000 C09-7 map 0.00427 C09-7 R-prec 0.03571 C09-7 bpref 0.06505 C09-7 recip_rank 0.12500 C09-7 ndcg 0.05760 C09-7 ndcg5 0.00000 C09-7 ndcg10 0.02314 C09-7 ndcg20 0.04900 C09-7 ERR 0.02243 C09-7 ERR10 0.00781 C09-7 ERR20 0.01815 C09-7 P1 0.00000 C09-7 P5 0.00000 C09-7 P10 0.10000 C09-7 P15 0.06667 C09-7 P20 0.10000 C09-7 P30 0.06667 C09-7 P50 0.06000 C09-7 P100 0.03000 C09-7 P200 0.01500 C09-7 P500 0.01000 C09-7 P1000 0.00620 C09-8 num_ret 989.00000 C09-8 num_unjug_ret@1 0.00000 C09-8 num_unjug_ret@10 0.00000 C09-8 num_unjug_ret@100 75.00000 C09-8 num_unjug_ret@1000 946.00000 C09-8 num_rel 63.00000 C09-8 num_rel_ret 15.00000 C09-8 map 0.01336 C09-8 R-prec 0.07937 C09-8 bpref 0.19274 C09-8 recip_rank 0.05263 C09-8 ndcg 0.10576 C09-8 ndcg5 0.00000 C09-8 ndcg10 0.04329 C09-8 ndcg20 0.04158 C09-8 ERR 0.02197 C09-8 ERR10 0.01280 C09-8 ERR20 0.01647 C09-8 P1 0.00000 C09-8 P5 0.00000 C09-8 P10 0.00000 C09-8 P15 0.00000 C09-8 P20 0.10000 C09-8 P30 0.10000 C09-8 P50 0.08000 C09-8 P100 0.05000 C09-8 P200 0.04000 C09-8 P500 0.02600 C09-8 P1000 0.01517 C09-9 num_ret 694.00000 C09-9 num_unjug_ret@1 1.00000 C09-9 num_unjug_ret@10 7.00000 C09-9 num_unjug_ret@100 56.00000 C09-9 num_unjug_ret@1000 677.00000 C09-9 num_rel 134.00000 C09-9 num_rel_ret 14.00000 C09-9 map 0.01357 C09-9 R-prec 0.07463 C09-9 bpref 0.09596 C09-9 recip_rank 0.33333 C09-9 ndcg 0.08881 C09-9 ndcg5 0.10522 C09-9 ndcg10 0.06828 C09-9 ndcg20 0.07881 C09-9 ERR 0.05470 C09-9 ERR10 0.03548 C09-9 ERR20 0.04578 C09-9 P1 0.00000 C09-9 P5 0.40000 C09-9 P10 0.20000 C09-9 P15 0.13333 C09-9 P20 0.15000 C09-9 P30 0.16667 C09-9 P50 0.10000 C09-9 P100 0.05000 C09-9 P200 0.05500 C09-9 P500 0.02400 C09-9 P1000 0.02017 C09-10 num_ret 906.00000 C09-10 num_unjug_ret@1 1.00000 C09-10 num_unjug_ret@10 8.00000 C09-10 num_unjug_ret@100 80.00000 C09-10 num_unjug_ret@1000 870.00000 C09-10 num_rel 185.00000 C09-10 num_rel_ret 8.00000 C09-10 map 0.00513 C09-10 R-prec 0.01622 C09-10 bpref 0.03907 C09-10 recip_rank 0.33333 C09-10 ndcg 0.05499 C09-10 ndcg5 0.21827 C09-10 ndcg10 0.14164 C09-10 ndcg20 0.09141 C09-10 ERR 0.07632 C09-10 ERR10 0.07520 C09-10 ERR20 0.07520 C09-10 P1 0.00000 C09-10 P5 0.40000 C09-10 P10 0.20000 C09-10 P15 0.13333 C09-10 P20 0.10000 C09-10 P30 0.06667 C09-10 P50 0.04000 C09-10 P100 0.03000 C09-10 P200 0.01500 C09-10 P500 0.01600 C09-10 P1000 0.00883 C09-11 num_ret 1000.00000 C09-11 num_unjug_ret@1 0.00000 C09-11 num_unjug_ret@10 1.00000 C09-11 num_unjug_ret@100 57.00000 C09-11 num_unjug_ret@1000 880.00000 C09-11 num_rel 134.00000 C09-11 num_rel_ret 46.00000 C09-11 map 0.14348 C09-11 R-prec 0.22388 C09-11 bpref 0.29489 C09-11 recip_rank 1.00000 C09-11 ndcg 0.49682 C09-11 ndcg5 1.00000 C09-11 ndcg10 0.72230 C09-11 ndcg20 0.65213 C09-11 ERR 0.37134 C09-11 ERR10 0.35590 C09-11 ERR20 0.36896 C09-11 P1 1.00000 C09-11 P5 1.00000 C09-11 P10 0.60000 C09-11 P15 0.53333 C09-11 P20 0.60000 C09-11 P30 0.53333 C09-11 P50 0.40000 C09-11 P100 0.26000 C09-11 P200 0.19000 C09-11 P500 0.09200 C09-11 P1000 0.04600 C09-12 num_ret 967.00000 C09-12 num_unjug_ret@1 0.00000 C09-12 num_unjug_ret@10 1.00000 C09-12 num_unjug_ret@100 81.00000 C09-12 num_unjug_ret@1000 932.00000 C09-12 num_rel 273.00000 C09-12 num_rel_ret 26.00000 C09-12 map 0.02525 C09-12 R-prec 0.05495 C09-12 bpref 0.09284 C09-12 recip_rank 1.00000 C09-12 ndcg 0.16229 C09-12 ndcg5 0.52896 C09-12 ndcg10 0.43478 C09-12 ndcg20 0.36854 C09-12 ERR 0.26958 C09-12 ERR10 0.25184 C09-12 ERR20 0.26623 C09-12 P1 1.00000 C09-12 P5 0.60000 C09-12 P10 0.50000 C09-12 P15 0.53333 C09-12 P20 0.40000 C09-12 P30 0.33333 C09-12 P50 0.20000 C09-12 P100 0.14000 C09-12 P200 0.07500 C09-12 P500 0.04000 C09-12 P1000 0.02689 C09-13 num_ret 907.00000 C09-13 num_unjug_ret@1 0.00000 C09-13 num_unjug_ret@10 8.00000 C09-13 num_unjug_ret@100 83.00000 C09-13 num_unjug_ret@1000 884.00000 C09-13 num_rel 11.00000 C09-13 num_rel_ret 1.00000 C09-13 map 0.00758 C09-13 R-prec 0.00000 C09-13 bpref 0.07438 C09-13 recip_rank 0.08333 C09-13 ndcg 0.06369 C09-13 ndcg5 0.00000 C09-13 ndcg10 0.00000 C09-13 ndcg20 0.06369 C09-13 ERR 0.01563 C09-13 ERR10 0.00000 C09-13 ERR20 0.01563 C09-13 P1 0.00000 C09-13 P5 0.00000 C09-13 P10 0.00000 C09-13 P15 0.06667 C09-13 P20 0.05000 C09-13 P30 0.03333 C09-13 P50 0.02000 C09-13 P100 0.01000 C09-13 P200 0.00500 C09-13 P500 0.00200 C09-13 P1000 0.00110 C09-14 num_ret 698.00000 C09-14 num_unjug_ret@1 0.00000 C09-14 num_unjug_ret@10 0.00000 C09-14 num_unjug_ret@100 41.00000 C09-14 num_unjug_ret@1000 614.00000 C09-14 num_rel 155.00000 C09-14 num_rel_ret 22.00000 C09-14 map 0.02450 C09-14 R-prec 0.08387 C09-14 bpref 0.11854 C09-14 recip_rank 1.00000 C09-14 ndcg 0.20873 C09-14 ndcg5 0.68435 C09-14 ndcg10 0.44410 C09-14 ndcg20 0.32067 C09-14 ERR 0.29876 C09-14 ERR10 0.28843 C09-14 ERR20 0.29434 C09-14 P1 1.00000 C09-14 P5 0.40000 C09-14 P10 0.20000 C09-14 P15 0.13333 C09-14 P20 0.15000 C09-14 P30 0.13333 C09-14 P50 0.08000 C09-14 P100 0.10000 C09-14 P200 0.08500 C09-14 P500 0.03600 C09-14 P1000 0.03152 C09-15 num_ret 152.00000 C09-15 num_unjug_ret@1 0.00000 C09-15 num_unjug_ret@10 0.00000 C09-15 num_unjug_ret@100 5.00000 C09-15 num_unjug_ret@1000 133.00000 C09-15 num_rel 253.00000 C09-15 num_rel_ret 15.00000 C09-15 map 0.00657 C09-15 R-prec 0.00000 C09-15 bpref 0.05504 C09-15 recip_rank 1.00000 C09-15 ndcg 0.08997 C09-15 ndcg5 0.18438 C09-15 ndcg10 0.21354 C09-15 ndcg20 0.26448 C09-15 ERR 0.15037 C09-15 ERR10 0.11896 C09-15 ERR20 0.14656 C09-15 P1 1.00000 C09-15 P5 0.20000 C09-15 P10 0.10000 C09-15 P15 0.06667 C09-15 P20 0.05000 C09-15 P30 0.06667 C09-15 P50 0.04000 C09-15 P100 0.06000 C09-15 P200 0.05921 C09-15 P500 0.08553 C09-15 P1000 0.09868 C09-16 num_ret 818.00000 C09-16 num_unjug_ret@1 0.00000 C09-16 num_unjug_ret@10 0.00000 C09-16 num_unjug_ret@100 53.00000 C09-16 num_unjug_ret@1000 709.00000 C09-16 num_rel 183.00000 C09-16 num_rel_ret 51.00000 C09-16 map 0.05708 C09-16 R-prec 0.13115 C09-16 bpref 0.23351 C09-16 recip_rank 0.16667 C09-16 ndcg 0.25161 C09-16 ndcg5 0.00000 C09-16 ndcg10 0.09257 C09-16 ndcg20 0.17476 C09-16 ERR 0.06107 C09-16 ERR10 0.02899 C09-16 ERR20 0.05328 C09-16 P1 0.00000 C09-16 P5 0.00000 C09-16 P10 0.40000 C09-16 P15 0.40000 C09-16 P20 0.40000 C09-16 P30 0.33333 C09-16 P50 0.32000 C09-16 P100 0.20000 C09-16 P200 0.14000 C09-16 P500 0.09000 C09-16 P1000 0.06235 C09-17 num_ret 903.00000 C09-17 num_unjug_ret@1 0.00000 C09-17 num_unjug_ret@10 1.00000 C09-17 num_unjug_ret@100 54.00000 C09-17 num_unjug_ret@1000 838.00000 C09-17 num_rel 171.00000 C09-17 num_rel_ret 36.00000 C09-17 map 0.05494 C09-17 R-prec 0.15205 C09-17 bpref 0.19479 C09-17 recip_rank 1.00000 C09-17 ndcg 0.24495 C09-17 ndcg5 0.38290 C09-17 ndcg10 0.27461 C09-17 ndcg20 0.26242 C09-17 ERR 0.23620 C09-17 ERR10 0.20559 C09-17 ERR20 0.22518 C09-17 P1 1.00000 C09-17 P5 0.40000 C09-17 P10 0.30000 C09-17 P15 0.20000 C09-17 P20 0.15000 C09-17 P30 0.26667 C09-17 P50 0.32000 C09-17 P100 0.24000 C09-17 P200 0.14500 C09-17 P500 0.06600 C09-17 P1000 0.03987 C09-18 num_ret 985.00000 C09-18 num_unjug_ret@1 0.00000 C09-18 num_unjug_ret@10 2.00000 C09-18 num_unjug_ret@100 69.00000 C09-18 num_unjug_ret@1000 931.00000 C09-18 num_rel 196.00000 C09-18 num_rel_ret 39.00000 C09-18 map 0.05372 C09-18 R-prec 0.12245 C09-18 bpref 0.16639 C09-18 recip_rank 0.33333 C09-18 ndcg 0.20531 C09-18 ndcg5 0.18773 C09-18 ndcg10 0.26384 C09-18 ndcg20 0.27470 C09-18 ERR 0.11354 C09-18 ERR10 0.09140 C09-18 ERR20 0.10601 C09-18 P1 0.00000 C09-18 P5 0.40000 C09-18 P10 0.40000 C09-18 P15 0.40000 C09-18 P20 0.45000 C09-18 P30 0.43333 C09-18 P50 0.38000 C09-18 P100 0.22000 C09-18 P200 0.12000 C09-18 P500 0.05800 C09-18 P1000 0.03959 C09-19 num_ret 510.00000 C09-19 num_unjug_ret@1 0.00000 C09-19 num_unjug_ret@10 5.00000 C09-19 num_unjug_ret@100 33.00000 C09-19 num_unjug_ret@1000 483.00000 C09-19 num_rel 2.00000 C09-19 num_rel_ret 0.00000 C09-19 map 0.00000 C09-19 R-prec 0.00000 C09-19 bpref 0.00000 C09-19 recip_rank 0.00000 C09-19 ndcg 0.00000 C09-19 ndcg5 0.00000 C09-19 ndcg10 0.00000 C09-19 ndcg20 0.00000 C09-19 ERR 0.00000 C09-19 ERR10 0.00000 C09-19 ERR20 0.00000 C09-19 P1 0.00000 C09-19 P5 0.00000 C09-19 P10 0.00000 C09-19 P15 0.00000 C09-19 P20 0.00000 C09-19 P30 0.00000 C09-19 P50 0.00000 C09-19 P100 0.00000 C09-19 P200 0.00000 C09-19 P500 0.00000 C09-19 P1000 0.00000 C09-20 num_ret 713.00000 C09-20 num_unjug_ret@1 0.00000 C09-20 num_unjug_ret@10 1.00000 C09-20 num_unjug_ret@100 44.00000 C09-20 num_unjug_ret@1000 689.00000 C09-20 num_rel 0.00000 C09-20 num_rel_ret 0.00000 C09-20 map 0.00000 C09-20 R-prec 0.00000 C09-20 bpref 0.00000 C09-20 recip_rank 0.00000 C09-20 ndcg 0.00000 C09-20 ndcg5 0.00000 C09-20 ndcg10 0.00000 C09-20 ndcg20 0.00000 C09-20 ERR 0.00000 C09-20 ERR10 0.00000 C09-20 ERR20 0.00000 C09-20 P1 0.00000 C09-20 P5 0.00000 C09-20 P10 0.00000 C09-20 P15 0.00000 C09-20 P20 0.00000 C09-20 P30 0.00000 C09-20 P50 0.00000 C09-20 P100 0.00000 C09-20 P200 0.00000 C09-20 P500 0.00000 C09-20 P1000 0.00000 C09-21 num_ret 774.00000 C09-21 num_unjug_ret@1 0.00000 C09-21 num_unjug_ret@10 0.00000 C09-21 num_unjug_ret@100 56.00000 C09-21 num_unjug_ret@1000 734.00000 C09-21 num_rel 226.00000 C09-21 num_rel_ret 31.00000 C09-21 map 0.01234 C09-21 R-prec 0.09735 C09-21 bpref 0.12628 C09-21 recip_rank 0.05556 C09-21 ndcg 0.10035 C09-21 ndcg5 0.00000 C09-21 ndcg10 0.07336 C09-21 ndcg20 0.06014 C09-21 ERR 0.04224 C09-21 ERR10 0.02679 C09-21 ERR20 0.03102 C09-21 P1 0.00000 C09-21 P5 0.00000 C09-21 P10 0.00000 C09-21 P15 0.00000 C09-21 P20 0.05000 C09-21 P30 0.03333 C09-21 P50 0.06000 C09-21 P100 0.08000 C09-21 P200 0.11000 C09-21 P500 0.05800 C09-21 P1000 0.04005 C09-22 num_ret 985.00000 C09-22 num_unjug_ret@1 0.00000 C09-22 num_unjug_ret@10 0.00000 C09-22 num_unjug_ret@100 61.00000 C09-22 num_unjug_ret@1000 886.00000 C09-22 num_rel 163.00000 C09-22 num_rel_ret 63.00000 C09-22 map 0.19153 C09-22 R-prec 0.25153 C09-22 bpref 0.36437 C09-22 recip_rank 1.00000 C09-22 ndcg 0.47263 C09-22 ndcg5 1.00000 C09-22 ndcg10 1.00000 C09-22 ndcg20 0.84591 C09-22 ERR 0.38461 C09-22 ERR10 0.37752 C09-22 ERR20 0.38347 C09-22 P1 1.00000 C09-22 P5 1.00000 C09-22 P10 1.00000 C09-22 P15 0.93333 C09-22 P20 0.85000 C09-22 P30 0.70000 C09-22 P50 0.52000 C09-22 P100 0.31000 C09-22 P200 0.22000 C09-22 P500 0.11800 C09-22 P1000 0.06396 C09-23 num_ret 885.00000 C09-23 num_unjug_ret@1 1.00000 C09-23 num_unjug_ret@10 3.00000 C09-23 num_unjug_ret@100 43.00000 C09-23 num_unjug_ret@1000 871.00000 C09-23 num_rel 174.00000 C09-23 num_rel_ret 11.00000 C09-23 map 0.00238 C09-23 R-prec 0.03448 C09-23 bpref 0.05737 C09-23 recip_rank 0.02857 C09-23 ndcg 0.05073 C09-23 ndcg5 0.04869 C09-23 ndcg10 0.05280 C09-23 ndcg20 0.05577 C09-23 ERR 0.03035 C09-23 ERR10 0.02148 C09-23 ERR20 0.02606 C09-23 P1 0.00000 C09-23 P5 0.00000 C09-23 P10 0.00000 C09-23 P15 0.00000 C09-23 P20 0.00000 C09-23 P30 0.00000 C09-23 P50 0.06000 C09-23 P100 0.05000 C09-23 P200 0.03500 C09-23 P500 0.01600 C09-23 P1000 0.01243 C09-24 num_ret 950.00000 C09-24 num_unjug_ret@1 0.00000 C09-24 num_unjug_ret@10 0.00000 C09-24 num_unjug_ret@100 69.00000 C09-24 num_unjug_ret@1000 871.00000 C09-24 num_rel 154.00000 C09-24 num_rel_ret 36.00000 C09-24 map 0.05043 C09-24 R-prec 0.12987 C09-24 bpref 0.20387 C09-24 recip_rank 1.00000 C09-24 ndcg 0.21972 C09-24 ndcg5 0.11305 C09-24 ndcg10 0.30855 C09-24 ndcg20 0.22392 C09-24 ERR 0.13751 C09-24 ERR10 0.12463 C09-24 ERR20 0.12904 C09-24 P1 1.00000 C09-24 P5 0.20000 C09-24 P10 0.50000 C09-24 P15 0.40000 C09-24 P20 0.35000 C09-24 P30 0.30000 C09-24 P50 0.24000 C09-24 P100 0.18000 C09-24 P200 0.10000 C09-24 P500 0.05400 C09-24 P1000 0.03789 C09-25 num_ret 674.00000 C09-25 num_unjug_ret@1 0.00000 C09-25 num_unjug_ret@10 0.00000 C09-25 num_unjug_ret@100 26.00000 C09-25 num_unjug_ret@1000 589.00000 C09-25 num_rel 164.00000 C09-25 num_rel_ret 38.00000 C09-25 map 0.05520 C09-25 R-prec 0.12805 C09-25 bpref 0.18159 C09-25 recip_rank 1.00000 C09-25 ndcg 0.17787 C09-25 ndcg5 0.33333 C09-25 ndcg10 0.21631 C09-25 ndcg20 0.15204 C09-25 ERR 0.14968 C09-25 ERR10 0.13264 C09-25 ERR20 0.13612 C09-25 P1 1.00000 C09-25 P5 1.00000 C09-25 P10 0.50000 C09-25 P15 0.40000 C09-25 P20 0.30000 C09-25 P30 0.20000 C09-25 P50 0.12000 C09-25 P100 0.17000 C09-25 P200 0.12000 C09-25 P500 0.05400 C09-25 P1000 0.05638 C09-26 num_ret 802.00000 C09-26 num_unjug_ret@1 0.00000 C09-26 num_unjug_ret@10 0.00000 C09-26 num_unjug_ret@100 63.00000 C09-26 num_unjug_ret@1000 741.00000 C09-26 num_rel 173.00000 C09-26 num_rel_ret 24.00000 C09-26 map 0.01729 C09-26 R-prec 0.09827 C09-26 bpref 0.12894 C09-26 recip_rank 0.06250 C09-26 ndcg 0.14364 C09-26 ndcg5 0.16958 C09-26 ndcg10 0.11005 C09-26 ndcg20 0.13041 C09-26 ERR 0.08691 C09-26 ERR10 0.06250 C09-26 ERR20 0.07538 C09-26 P1 0.00000 C09-26 P5 0.00000 C09-26 P10 0.00000 C09-26 P15 0.00000 C09-26 P20 0.05000 C09-26 P30 0.16667 C09-26 P50 0.20000 C09-26 P100 0.15000 C09-26 P200 0.08500 C09-26 P500 0.04200 C09-26 P1000 0.02993 C09-27 num_ret 875.00000 C09-27 num_unjug_ret@1 0.00000 C09-27 num_unjug_ret@10 0.00000 C09-27 num_unjug_ret@100 52.00000 C09-27 num_unjug_ret@1000 809.00000 C09-27 num_rel 205.00000 C09-27 num_rel_ret 51.00000 C09-27 map 0.04276 C09-27 R-prec 0.13659 C09-27 bpref 0.24081 C09-27 recip_rank 1.00000 C09-27 ndcg 0.25228 C09-27 ndcg5 0.52896 C09-27 ndcg10 0.36535 C09-27 ndcg20 0.28250 C09-27 ERR 0.25547 C09-27 ERR10 0.23814 C09-27 ERR20 0.24682 C09-27 P1 1.00000 C09-27 P5 0.20000 C09-27 P10 0.10000 C09-27 P15 0.06667 C09-27 P20 0.05000 C09-27 P30 0.16667 C09-27 P50 0.20000 C09-27 P100 0.24000 C09-27 P200 0.14000 C09-27 P500 0.07800 C09-27 P1000 0.05829 C09-28 num_ret 596.00000 C09-28 num_unjug_ret@1 0.00000 C09-28 num_unjug_ret@10 0.00000 C09-28 num_unjug_ret@100 2.00000 C09-28 num_unjug_ret@1000 566.00000 C09-28 num_rel 275.00000 C09-28 num_rel_ret 18.00000 C09-28 map 0.00169 C09-28 R-prec 0.02909 C09-28 bpref 0.06470 C09-28 recip_rank 0.00602 C09-28 ndcg 0.05197 C09-28 ndcg5 0.14607 C09-28 ndcg10 0.14002 C09-28 ndcg20 0.11515 C09-28 ERR 0.07464 C09-28 ERR10 0.05851 C09-28 ERR20 0.06518 C09-28 P1 0.00000 C09-28 P5 0.00000 C09-28 P10 0.00000 C09-28 P15 0.00000 C09-28 P20 0.00000 C09-28 P30 0.00000 C09-28 P50 0.00000 C09-28 P100 0.00000 C09-28 P200 0.00500 C09-28 P500 0.03000 C09-28 P1000 0.03020 C09-29 num_ret 864.00000 C09-29 num_unjug_ret@1 1.00000 C09-29 num_unjug_ret@10 6.00000 C09-29 num_unjug_ret@100 74.00000 C09-29 num_unjug_ret@1000 840.00000 C09-29 num_rel 29.00000 C09-29 num_rel_ret 1.00000 C09-29 map 0.00101 C09-29 R-prec 0.00000 C09-29 bpref 0.02973 C09-29 recip_rank 0.02941 C09-29 ndcg 0.01477 C09-29 ndcg5 0.00000 C09-29 ndcg10 0.00000 C09-29 ndcg20 0.00000 C09-29 ERR 0.00231 C09-29 ERR10 0.00000 C09-29 ERR20 0.00000 C09-29 P1 0.00000 C09-29 P5 0.00000 C09-29 P10 0.00000 C09-29 P15 0.00000 C09-29 P20 0.00000 C09-29 P30 0.00000 C09-29 P50 0.02000 C09-29 P100 0.01000 C09-29 P200 0.00500 C09-29 P500 0.00200 C09-29 P1000 0.00116 C09-30 num_ret 910.00000 C09-30 num_unjug_ret@1 0.00000 C09-30 num_unjug_ret@10 2.00000 C09-30 num_unjug_ret@100 49.00000 C09-30 num_unjug_ret@1000 826.00000 C09-30 num_rel 303.00000 C09-30 num_rel_ret 59.00000 C09-30 map 0.02430 C09-30 R-prec 0.08251 C09-30 bpref 0.16267 C09-30 recip_rank 0.50000 C09-30 ndcg 0.19689 C09-30 ndcg5 0.37211 C09-30 ndcg10 0.34108 C09-30 ndcg20 0.22012 C09-30 ERR 0.14873 C09-30 ERR10 0.14089 C09-30 ERR20 0.14089 C09-30 P1 0.00000 C09-30 P5 0.60000 C09-30 P10 0.50000 C09-30 P15 0.33333 C09-30 P20 0.25000 C09-30 P30 0.16667 C09-30 P50 0.12000 C09-30 P100 0.14000 C09-30 P200 0.08500 C09-30 P500 0.06600 C09-30 P1000 0.06484 C09-31 num_ret 590.00000 C09-31 num_unjug_ret@1 0.00000 C09-31 num_unjug_ret@10 0.00000 C09-31 num_unjug_ret@100 21.00000 C09-31 num_unjug_ret@1000 538.00000 C09-31 num_rel 229.00000 C09-31 num_rel_ret 25.00000 C09-31 map 0.02776 C09-31 R-prec 0.07860 C09-31 bpref 0.10646 C09-31 recip_rank 1.00000 C09-31 ndcg 0.19623 C09-31 ndcg5 0.47311 C09-31 ndcg10 0.44663 C09-31 ndcg20 0.44121 C09-31 ERR 0.23257 C09-31 ERR10 0.21315 C09-31 ERR20 0.22991 C09-31 P1 1.00000 C09-31 P5 0.60000 C09-31 P10 0.30000 C09-31 P15 0.20000 C09-31 P20 0.15000 C09-31 P30 0.23333 C09-31 P50 0.24000 C09-31 P100 0.15000 C09-31 P200 0.09000 C09-31 P500 0.04600 C09-31 P1000 0.04237 C09-32 num_ret 999.00000 C09-32 num_unjug_ret@1 0.00000 C09-32 num_unjug_ret@10 5.00000 C09-32 num_unjug_ret@100 84.00000 C09-32 num_unjug_ret@1000 967.00000 C09-32 num_rel 271.00000 C09-32 num_rel_ret 20.00000 C09-32 map 0.01687 C09-32 R-prec 0.05166 C09-32 bpref 0.07221 C09-32 recip_rank 1.00000 C09-32 ndcg 0.14426 C09-32 ndcg5 0.54169 C09-32 ndcg10 0.35152 C09-32 ndcg20 0.27845 C09-32 ERR 0.25992 C09-32 ERR10 0.24146 C09-32 ERR20 0.25404 C09-32 P1 1.00000 C09-32 P5 0.60000 C09-32 P10 0.30000 C09-32 P15 0.33333 C09-32 P20 0.25000 C09-32 P30 0.20000 C09-32 P50 0.14000 C09-32 P100 0.09000 C09-32 P200 0.06000 C09-32 P500 0.03800 C09-32 P1000 0.02002 C09-33 num_ret 996.00000 C09-33 num_unjug_ret@1 0.00000 C09-33 num_unjug_ret@10 4.00000 C09-33 num_unjug_ret@100 76.00000 C09-33 num_unjug_ret@1000 958.00000 C09-33 num_rel 245.00000 C09-33 num_rel_ret 25.00000 C09-33 map 0.01874 C09-33 R-prec 0.07755 C09-33 bpref 0.10071 C09-33 recip_rank 0.25000 C09-33 ndcg 0.14495 C09-33 ndcg5 0.39569 C09-33 ndcg10 0.32039 C09-33 ndcg20 0.27699 C09-33 ERR 0.23843 C09-33 ERR10 0.21871 C09-33 ERR20 0.23228 C09-33 P1 0.00000 C09-33 P5 0.20000 C09-33 P10 0.20000 C09-33 P15 0.26667 C09-33 P20 0.25000 C09-33 P30 0.26667 C09-33 P50 0.20000 C09-33 P100 0.17000 C09-33 P200 0.08500 C09-33 P500 0.04800 C09-33 P1000 0.02510 C09-34 num_ret 917.00000 C09-34 num_unjug_ret@1 0.00000 C09-34 num_unjug_ret@10 8.00000 C09-34 num_unjug_ret@100 77.00000 C09-34 num_unjug_ret@1000 904.00000 C09-34 num_rel 111.00000 C09-34 num_rel_ret 6.00000 C09-34 map 0.00168 C09-34 R-prec 0.00901 C09-34 bpref 0.04391 C09-34 recip_rank 0.14286 C09-34 ndcg 0.02390 C09-34 ndcg5 0.00000 C09-34 ndcg10 0.02445 C09-34 ndcg20 0.01578 C09-34 ERR 0.00997 C09-34 ERR10 0.00893 C09-34 ERR20 0.00893 C09-34 P1 0.00000 C09-34 P5 0.00000 C09-34 P10 0.10000 C09-34 P15 0.06667 C09-34 P20 0.05000 C09-34 P30 0.03333 C09-34 P50 0.02000 C09-34 P100 0.01000 C09-34 P200 0.01000 C09-34 P500 0.00600 C09-34 P1000 0.00654 C09-35 num_ret 490.00000 C09-35 num_unjug_ret@1 0.00000 C09-35 num_unjug_ret@10 0.00000 C09-35 num_unjug_ret@100 25.00000 C09-35 num_unjug_ret@1000 434.00000 C09-35 num_rel 125.00000 C09-35 num_rel_ret 18.00000 C09-35 map 0.01352 C09-35 R-prec 0.07200 C09-35 bpref 0.12384 C09-35 recip_rank 0.07692 C09-35 ndcg 0.20951 C09-35 ndcg5 0.52896 C09-35 ndcg10 0.43783 C09-35 ndcg20 0.36562 C09-35 ERR 0.26841 C09-35 ERR10 0.25356 C09-35 ERR20 0.26575 C09-35 P1 0.00000 C09-35 P5 0.00000 C09-35 P10 0.00000 C09-35 P15 0.06667 C09-35 P20 0.20000 C09-35 P30 0.13333 C09-35 P50 0.12000 C09-35 P100 0.09000 C09-35 P200 0.05500 C09-35 P500 0.03265 C09-35 P1000 0.03673 C09-36 num_ret 891.00000 C09-36 num_unjug_ret@1 0.00000 C09-36 num_unjug_ret@10 0.00000 C09-36 num_unjug_ret@100 61.00000 C09-36 num_unjug_ret@1000 859.00000 C09-36 num_rel 126.00000 C09-36 num_rel_ret 17.00000 C09-36 map 0.00615 C09-36 R-prec 0.05556 C09-36 bpref 0.09064 C09-36 recip_rank 0.02222 C09-36 ndcg 0.08402 C09-36 ndcg5 0.00000 C09-36 ndcg10 0.00000 C09-36 ndcg20 0.02173 C09-36 ERR 0.02243 C09-36 ERR10 0.00000 C09-36 ERR20 0.00622 C09-36 P1 0.00000 C09-36 P5 0.00000 C09-36 P10 0.00000 C09-36 P15 0.00000 C09-36 P20 0.00000 C09-36 P30 0.00000 C09-36 P50 0.04000 C09-36 P100 0.07000 C09-36 P200 0.04500 C09-36 P500 0.02200 C09-36 P1000 0.01908 C09-37 num_ret 875.00000 C09-37 num_unjug_ret@1 0.00000 C09-37 num_unjug_ret@10 5.00000 C09-37 num_unjug_ret@100 87.00000 C09-37 num_unjug_ret@1000 862.00000 C09-37 num_rel 4.00000 C09-37 num_rel_ret 1.00000 C09-37 map 0.02273 C09-37 R-prec 0.00000 C09-37 bpref 0.00000 C09-37 recip_rank 0.09091 C09-37 ndcg 0.14891 C09-37 ndcg5 0.00000 C09-37 ndcg10 0.14891 C09-37 ndcg20 0.14891 C09-37 ERR 0.01875 C09-37 ERR10 0.01875 C09-37 ERR20 0.01875 C09-37 P1 0.00000 C09-37 P5 0.00000 C09-37 P10 0.00000 C09-37 P15 0.06667 C09-37 P20 0.05000 C09-37 P30 0.03333 C09-37 P50 0.02000 C09-37 P100 0.01000 C09-37 P200 0.00500 C09-37 P500 0.00200 C09-37 P1000 0.00114 C09-38 num_ret 991.00000 C09-38 num_unjug_ret@1 0.00000 C09-38 num_unjug_ret@10 7.00000 C09-38 num_unjug_ret@100 73.00000 C09-38 num_unjug_ret@1000 928.00000 C09-38 num_rel 259.00000 C09-38 num_rel_ret 42.00000 C09-38 map 0.02967 C09-38 R-prec 0.09653 C09-38 bpref 0.14107 C09-38 recip_rank 0.20000 C09-38 ndcg 0.14949 C09-38 ndcg5 0.04374 C09-38 ndcg10 0.05152 C09-38 ndcg20 0.16783 C09-38 ERR 0.06123 C09-38 ERR10 0.01982 C09-38 ERR20 0.05503 C09-38 P1 0.00000 C09-38 P5 0.20000 C09-38 P10 0.20000 C09-38 P15 0.46667 C09-38 P20 0.45000 C09-38 P30 0.33333 C09-38 P50 0.24000 C09-38 P100 0.18000 C09-38 P200 0.11500 C09-38 P500 0.06600 C09-38 P1000 0.04238 C09-39 num_ret 816.00000 C09-39 num_unjug_ret@1 0.00000 C09-39 num_unjug_ret@10 2.00000 C09-39 num_unjug_ret@100 27.00000 C09-39 num_unjug_ret@1000 744.00000 C09-39 num_rel 135.00000 C09-39 num_rel_ret 21.00000 C09-39 map 0.01163 C09-39 R-prec 0.05926 C09-39 bpref 0.11676 C09-39 recip_rank 0.14286 C09-39 ndcg 0.12111 C09-39 ndcg5 0.21827 C09-39 ndcg10 0.16285 C09-39 ndcg20 0.11693 C09-39 ERR 0.09298 C09-39 ERR10 0.07996 C09-39 ERR20 0.08293 C09-39 P1 0.00000 C09-39 P5 0.00000 C09-39 P10 0.20000 C09-39 P15 0.20000 C09-39 P20 0.20000 C09-39 P30 0.13333 C09-39 P50 0.08000 C09-39 P100 0.07000 C09-39 P200 0.04500 C09-39 P500 0.03000 C09-39 P1000 0.02574 C09-40 num_ret 51.00000 C09-40 num_unjug_ret@1 0.00000 C09-40 num_unjug_ret@10 1.00000 C09-40 num_unjug_ret@100 19.00000 C09-40 num_unjug_ret@1000 19.00000 C09-40 num_rel 94.00000 C09-40 num_rel_ret 18.00000 C09-40 map 0.10211 C09-40 R-prec 0.00000 C09-40 bpref 0.17893 C09-40 recip_rank 0.50000 C09-40 ndcg 0.32453 C09-40 ndcg5 0.41658 C09-40 ndcg10 0.27033 C09-40 ndcg20 0.39736 C09-40 ERR 0.18231 C09-40 ERR10 0.14638 C09-40 ERR20 0.17811 C09-40 P1 0.00000 C09-40 P5 0.60000 C09-40 P10 0.30000 C09-40 P15 0.46667 C09-40 P20 0.55000 C09-40 P30 0.53333 C09-40 P50 0.36000 C09-40 P100 0.35294 C09-40 P200 0.35294 C09-40 P500 0.35294 C09-40 P1000 0.35294 C09-41 num_ret 858.00000 C09-41 num_unjug_ret@1 0.00000 C09-41 num_unjug_ret@10 0.00000 C09-41 num_unjug_ret@100 37.00000 C09-41 num_unjug_ret@1000 771.00000 C09-41 num_rel 137.00000 C09-41 num_rel_ret 42.00000 C09-41 map 0.06315 C09-41 R-prec 0.13869 C09-41 bpref 0.25830 C09-41 recip_rank 1.00000 C09-41 ndcg 0.36459 C09-41 ndcg5 0.60029 C09-41 ndcg10 0.41076 C09-41 ndcg20 0.31591 C09-41 ERR 0.28034 C09-41 ERR10 0.25996 C09-41 ERR20 0.27058 C09-41 P1 1.00000 C09-41 P5 0.80000 C09-41 P10 0.40000 C09-41 P15 0.26667 C09-41 P20 0.20000 C09-41 P30 0.23333 C09-41 P50 0.22000 C09-41 P100 0.17000 C09-41 P200 0.12000 C09-41 P500 0.06200 C09-41 P1000 0.04895 C09-42 num_ret 386.00000 C09-42 num_unjug_ret@1 0.00000 C09-42 num_unjug_ret@10 0.00000 C09-42 num_unjug_ret@100 18.00000 C09-42 num_unjug_ret@1000 365.00000 C09-42 num_rel 34.00000 C09-42 num_rel_ret 4.00000 C09-42 map 0.00188 C09-42 R-prec 0.02941 C09-42 bpref 0.07526 C09-42 recip_rank 0.03846 C09-42 ndcg 0.04398 C09-42 ndcg5 0.00000 C09-42 ndcg10 0.02669 C09-42 ndcg20 0.02204 C09-42 ERR 0.00952 C09-42 ERR10 0.00781 C09-42 ERR20 0.00781 C09-42 P1 0.00000 C09-42 P5 0.00000 C09-42 P10 0.00000 C09-42 P15 0.00000 C09-42 P20 0.00000 C09-42 P30 0.03333 C09-42 P50 0.02000 C09-42 P100 0.01000 C09-42 P200 0.00500 C09-42 P500 0.00777 C09-42 P1000 0.01036 C09-43 num_ret 847.00000 C09-43 num_unjug_ret@1 0.00000 C09-43 num_unjug_ret@10 0.00000 C09-43 num_unjug_ret@100 47.00000 C09-43 num_unjug_ret@1000 810.00000 C09-43 num_rel 47.00000 C09-43 num_rel_ret 2.00000 C09-43 map 0.00293 C09-43 R-prec 0.04255 C09-43 bpref 0.04210 C09-43 recip_rank 0.07692 C09-43 ndcg 0.05096 C09-43 ndcg5 0.11305 C09-43 ndcg10 0.09545 C09-43 ndcg20 0.06440 C09-43 ERR 0.06901 C09-43 ERR10 0.06901 C09-43 ERR20 0.06901 C09-43 P1 0.00000 C09-43 P5 0.00000 C09-43 P10 0.00000 C09-43 P15 0.06667 C09-43 P20 0.05000 C09-43 P30 0.03333 C09-43 P50 0.04000 C09-43 P100 0.02000 C09-43 P200 0.01000 C09-43 P500 0.00400 C09-43 P1000 0.00236 C09-44 num_ret 716.00000 C09-44 num_unjug_ret@1 1.00000 C09-44 num_unjug_ret@10 7.00000 C09-44 num_unjug_ret@100 75.00000 C09-44 num_unjug_ret@1000 691.00000 C09-44 num_rel 99.00000 C09-44 num_rel_ret 5.00000 C09-44 map 0.00565 C09-44 R-prec 0.03030 C09-44 bpref 0.03796 C09-44 recip_rank 0.12500 C09-44 ndcg 0.03631 C09-44 ndcg5 0.00000 C09-44 ndcg10 0.02314 C09-44 ndcg20 0.04058 C09-44 ERR 0.01824 C09-44 ERR10 0.00781 C09-44 ERR20 0.01736 C09-44 P1 0.00000 C09-44 P5 0.00000 C09-44 P10 0.10000 C09-44 P15 0.20000 C09-44 P20 0.15000 C09-44 P30 0.10000 C09-44 P50 0.06000 C09-44 P100 0.03000 C09-44 P200 0.01500 C09-44 P500 0.00800 C09-44 P1000 0.00698 C09-45 num_ret 817.00000 C09-45 num_unjug_ret@1 0.00000 C09-45 num_unjug_ret@10 4.00000 C09-45 num_unjug_ret@100 32.00000 C09-45 num_unjug_ret@1000 747.00000 C09-45 num_rel 212.00000 C09-45 num_rel_ret 39.00000 C09-45 map 0.04129 C09-45 R-prec 0.12264 C09-45 bpref 0.17112 C09-45 recip_rank 1.00000 C09-45 ndcg 0.21344 C09-45 ndcg5 0.75996 C09-45 ndcg10 0.49316 C09-45 ndcg20 0.34001 C09-45 ERR 0.30177 C09-45 ERR10 0.29193 C09-45 ERR20 0.29486 C09-45 P1 1.00000 C09-45 P5 1.00000 C09-45 P10 0.50000 C09-45 P15 0.33333 C09-45 P20 0.25000 C09-45 P30 0.16667 C09-45 P50 0.18000 C09-45 P100 0.14000 C09-45 P200 0.12000 C09-45 P500 0.06000 C09-45 P1000 0.04774 C09-46 num_ret 781.00000 C09-46 num_unjug_ret@1 0.00000 C09-46 num_unjug_ret@10 0.00000 C09-46 num_unjug_ret@100 24.00000 C09-46 num_unjug_ret@1000 706.00000 C09-46 num_rel 121.00000 C09-46 num_rel_ret 41.00000 C09-46 map 0.17164 C09-46 R-prec 0.33058 C09-46 bpref 0.31186 C09-46 recip_rank 1.00000 C09-46 ndcg 0.43370 C09-46 ndcg5 0.61643 C09-46 ndcg10 0.70692 C09-46 ndcg20 0.71014 C09-46 ERR 0.30874 C09-46 ERR10 0.29413 C09-46 ERR20 0.30694 C09-46 P1 1.00000 C09-46 P5 0.40000 C09-46 P10 0.60000 C09-46 P15 0.66667 C09-46 P20 0.55000 C09-46 P30 0.50000 C09-46 P50 0.46000 C09-46 P100 0.38000 C09-46 P200 0.20500 C09-46 P500 0.08200 C09-46 P1000 0.05250 C09-47 num_ret 965.00000 C09-47 num_unjug_ret@1 0.00000 C09-47 num_unjug_ret@10 0.00000 C09-47 num_unjug_ret@100 45.00000 C09-47 num_unjug_ret@1000 888.00000 C09-47 num_rel 156.00000 C09-47 num_rel_ret 26.00000 C09-47 map 0.07018 C09-47 R-prec 0.16026 C09-47 bpref 0.15200 C09-47 recip_rank 1.00000 C09-47 ndcg 0.33653 C09-47 ndcg5 0.76646 C09-47 ndcg10 0.77902 C09-47 ndcg20 0.55278 C09-47 ERR 0.35508 C09-47 ERR10 0.35027 C09-47 ERR20 0.35258 C09-47 P1 1.00000 C09-47 P5 0.60000 C09-47 P10 0.50000 C09-47 P15 0.60000 C09-47 P20 0.50000 C09-47 P30 0.33333 C09-47 P50 0.26000 C09-47 P100 0.22000 C09-47 P200 0.12500 C09-47 P500 0.05200 C09-47 P1000 0.02694 C09-48 num_ret 832.00000 C09-48 num_unjug_ret@1 0.00000 C09-48 num_unjug_ret@10 1.00000 C09-48 num_unjug_ret@100 43.00000 C09-48 num_unjug_ret@1000 786.00000 C09-48 num_rel 54.00000 C09-48 num_rel_ret 8.00000 C09-48 map 0.07279 C09-48 R-prec 0.12963 C09-48 bpref 0.12826 C09-48 recip_rank 1.00000 C09-48 ndcg 0.16684 C09-48 ndcg5 0.32637 C09-48 ndcg10 0.28122 C09-48 ndcg20 0.23021 C09-48 ERR 0.15890 C09-48 ERR10 0.14735 C09-48 ERR20 0.15745 C09-48 P1 1.00000 C09-48 P5 0.60000 C09-48 P10 0.40000 C09-48 P15 0.40000 C09-48 P20 0.30000 C09-48 P30 0.23333 C09-48 P50 0.14000 C09-48 P100 0.07000 C09-48 P200 0.03500 C09-48 P500 0.01600 C09-48 P1000 0.00962 C09-49 num_ret 532.00000 C09-49 num_unjug_ret@1 0.00000 C09-49 num_unjug_ret@10 0.00000 C09-49 num_unjug_ret@100 35.00000 C09-49 num_unjug_ret@1000 474.00000 C09-49 num_rel 47.00000 C09-49 num_rel_ret 26.00000 C09-49 map 0.33935 C09-49 R-prec 0.42553 C09-49 bpref 0.50294 C09-49 recip_rank 1.00000 C09-49 ndcg 0.58184 C09-49 ndcg5 0.70210 C09-49 ndcg10 0.67759 C09-49 ndcg20 0.66862 C09-49 ERR 0.33189 C09-49 ERR10 0.32075 C09-49 ERR20 0.32906 C09-49 P1 1.00000 C09-49 P5 1.00000 C09-49 P10 0.60000 C09-49 P15 0.60000 C09-49 P20 0.70000 C09-49 P30 0.56667 C09-49 P50 0.40000 C09-49 P100 0.24000 C09-49 P200 0.13000 C09-49 P500 0.05200 C09-49 P1000 0.04887 C09-50 num_ret 916.00000 C09-50 num_unjug_ret@1 0.00000 C09-50 num_unjug_ret@10 0.00000 C09-50 num_unjug_ret@100 72.00000 C09-50 num_unjug_ret@1000 878.00000 C09-50 num_rel 70.00000 C09-50 num_rel_ret 9.00000 C09-50 map 0.03311 C09-50 R-prec 0.08571 C09-50 bpref 0.11857 C09-50 recip_rank 1.00000 C09-50 ndcg 0.14185 C09-50 ndcg5 0.35396 C09-50 ndcg10 0.22970 C09-50 ndcg20 0.18375 C09-50 ERR 0.16468 C09-50 ERR10 0.14673 C09-50 ERR20 0.15565 C09-50 P1 1.00000 C09-50 P5 0.20000 C09-50 P10 0.30000 C09-50 P15 0.20000 C09-50 P20 0.15000 C09-50 P30 0.16667 C09-50 P50 0.12000 C09-50 P100 0.07000 C09-50 P200 0.04500 C09-50 P500 0.01800 C09-50 P1000 0.00983 C09-51 num_ret 687.00000 C09-51 num_unjug_ret@1 0.00000 C09-51 num_unjug_ret@10 0.00000 C09-51 num_unjug_ret@100 19.00000 C09-51 num_unjug_ret@1000 619.00000 C09-51 num_rel 147.00000 C09-51 num_rel_ret 28.00000 C09-51 map 0.02229 C09-51 R-prec 0.11565 C09-51 bpref 0.17794 C09-51 recip_rank 0.05556 C09-51 ndcg 0.15917 C09-51 ndcg5 0.11218 C09-51 ndcg10 0.14923 C09-51 ndcg20 0.16066 C09-51 ERR 0.12181 C09-51 ERR10 0.10288 C09-51 ERR20 0.11493 C09-51 P1 0.00000 C09-51 P5 0.00000 C09-51 P10 0.00000 C09-51 P15 0.00000 C09-51 P20 0.15000 C09-51 P30 0.16667 C09-51 P50 0.12000 C09-51 P100 0.13000 C09-51 P200 0.10500 C09-51 P500 0.05000 C09-51 P1000 0.04076 C09-52 num_ret 794.00000 C09-52 num_unjug_ret@1 0.00000 C09-52 num_unjug_ret@10 0.00000 C09-52 num_unjug_ret@100 42.00000 C09-52 num_unjug_ret@1000 667.00000 C09-52 num_rel 47.00000 C09-52 num_rel_ret 27.00000 C09-52 map 0.07130 C09-52 R-prec 0.17021 C09-52 bpref 0.13219 C09-52 recip_rank 0.05263 C09-52 ndcg 0.40876 C09-52 ndcg5 0.00000 C09-52 ndcg10 0.00000 C09-52 ndcg20 0.13270 C09-52 ERR 0.05301 C09-52 ERR10 0.00000 C09-52 ERR20 0.05059 C09-52 P1 0.00000 C09-52 P5 0.00000 C09-52 P10 0.00000 C09-52 P15 0.00000 C09-52 P20 0.10000 C09-52 P30 0.13333 C09-52 P50 0.18000 C09-52 P100 0.15000 C09-52 P200 0.10000 C09-52 P500 0.05200 C09-52 P1000 0.03401 C09-53 num_ret 453.00000 C09-53 num_unjug_ret@1 0.00000 C09-53 num_unjug_ret@10 0.00000 C09-53 num_unjug_ret@100 2.00000 C09-53 num_unjug_ret@1000 397.00000 C09-53 num_rel 110.00000 C09-53 num_rel_ret 10.00000 C09-53 map 0.00144 C09-53 R-prec 0.01818 C09-53 bpref 0.06983 C09-53 recip_rank 0.01087 C09-53 ndcg 0.10499 C09-53 ndcg5 0.14607 C09-53 ndcg10 0.13372 C09-53 ndcg20 0.12159 C09-53 ERR 0.11687 C09-53 ERR10 0.11440 C09-53 ERR20 0.11440 C09-53 P1 0.00000 C09-53 P5 0.00000 C09-53 P10 0.00000 C09-53 P15 0.00000 C09-53 P20 0.00000 C09-53 P30 0.00000 C09-53 P50 0.00000 C09-53 P100 0.02000 C09-53 P200 0.02000 C09-53 P500 0.01766 C09-53 P1000 0.02208 C09-54 num_ret 490.00000 C09-54 num_unjug_ret@1 0.00000 C09-54 num_unjug_ret@10 2.00000 C09-54 num_unjug_ret@100 16.00000 C09-54 num_unjug_ret@1000 413.00000 C09-54 num_rel 183.00000 C09-54 num_rel_ret 49.00000 C09-54 map 0.08989 C09-54 R-prec 0.21858 C09-54 bpref 0.25381 C09-54 recip_rank 0.50000 C09-54 ndcg 0.18602 C09-54 ndcg5 0.11506 C09-54 ndcg10 0.14435 C09-54 ndcg20 0.16404 C09-54 ERR 0.09078 C09-54 ERR10 0.06262 C09-54 ERR20 0.07844 C09-54 P1 0.00000 C09-54 P5 0.40000 C09-54 P10 0.50000 C09-54 P15 0.40000 C09-54 P20 0.50000 C09-54 P30 0.60000 C09-54 P50 0.38000 C09-54 P100 0.22000 C09-54 P200 0.21000 C09-54 P500 0.09592 C09-54 P1000 0.10000 C09-55 num_ret 594.00000 C09-55 num_unjug_ret@1 0.00000 C09-55 num_unjug_ret@10 0.00000 C09-55 num_unjug_ret@100 23.00000 C09-55 num_unjug_ret@1000 526.00000 C09-55 num_rel 97.00000 C09-55 num_rel_ret 22.00000 C09-55 map 0.01175 C09-55 R-prec 0.06186 C09-55 bpref 0.16846 C09-55 recip_rank 0.03448 C09-55 ndcg 0.18363 C09-55 ndcg5 0.00000 C09-55 ndcg10 0.14783 C09-55 ndcg20 0.17341 C09-55 ERR 0.07550 C09-55 ERR10 0.05029 C09-55 ERR20 0.06993 C09-55 P1 0.00000 C09-55 P5 0.00000 C09-55 P10 0.00000 C09-55 P15 0.00000 C09-55 P20 0.00000 C09-55 P30 0.03333 C09-55 P50 0.08000 C09-55 P100 0.07000 C09-55 P200 0.06000 C09-55 P500 0.03600 C09-55 P1000 0.03704 C09-56 num_ret 324.00000 C09-56 num_unjug_ret@1 0.00000 C09-56 num_unjug_ret@10 0.00000 C09-56 num_unjug_ret@100 26.00000 C09-56 num_unjug_ret@1000 274.00000 C09-56 num_rel 47.00000 C09-56 num_rel_ret 4.00000 C09-56 map 0.00912 C09-56 R-prec 0.06383 C09-56 bpref 0.05794 C09-56 recip_rank 0.11111 C09-56 ndcg 0.11204 C09-56 ndcg5 0.27727 C09-56 ndcg10 0.17993 C09-56 ndcg20 0.12727 C09-56 ERR 0.08107 C09-56 ERR10 0.07734 C09-56 ERR20 0.07964 C09-56 P1 0.00000 C09-56 P5 0.00000 C09-56 P10 0.20000 C09-56 P15 0.13333 C09-56 P20 0.10000 C09-56 P30 0.06667 C09-56 P50 0.06000 C09-56 P100 0.03000 C09-56 P200 0.02000 C09-56 P500 0.01235 C09-56 P1000 0.01235 C09-57 num_ret 864.00000 C09-57 num_unjug_ret@1 0.00000 C09-57 num_unjug_ret@10 2.00000 C09-57 num_unjug_ret@100 71.00000 C09-57 num_unjug_ret@1000 817.00000 C09-57 num_rel 314.00000 C09-57 num_rel_ret 45.00000 C09-57 map 0.05610 C09-57 R-prec 0.10191 C09-57 bpref 0.08569 C09-57 recip_rank 1.00000 C09-57 ndcg 0.11684 C09-57 ndcg5 0.14286 C09-57 ndcg10 0.12246 C09-57 ndcg20 0.09838 C09-57 ERR 0.16492 C09-57 ERR10 0.14887 C09-57 ERR20 0.15342 C09-57 P1 1.00000 C09-57 P5 1.00000 C09-57 P10 0.80000 C09-57 P15 0.60000 C09-57 P20 0.50000 C09-57 P30 0.40000 C09-57 P50 0.42000 C09-57 P100 0.27000 C09-57 P200 0.15500 C09-57 P500 0.07200 C09-57 P1000 0.05208 C09-58 num_ret 718.00000 C09-58 num_unjug_ret@1 0.00000 C09-58 num_unjug_ret@10 0.00000 C09-58 num_unjug_ret@100 17.00000 C09-58 num_unjug_ret@1000 616.00000 C09-58 num_rel 95.00000 C09-58 num_rel_ret 29.00000 C09-58 map 0.02719 C09-58 R-prec 0.07368 C09-58 bpref 0.20277 C09-58 recip_rank 1.00000 C09-58 ndcg 0.26435 C09-58 ndcg5 0.36831 C09-58 ndcg10 0.28086 C09-58 ndcg20 0.26259 C09-58 ERR 0.28524 C09-58 ERR10 0.26304 C09-58 ERR20 0.27770 C09-58 P1 1.00000 C09-58 P5 0.20000 C09-58 P10 0.10000 C09-58 P15 0.06667 C09-58 P20 0.05000 C09-58 P30 0.10000 C09-58 P50 0.06000 C09-58 P100 0.07000 C09-58 P200 0.05000 C09-58 P500 0.04200 C09-58 P1000 0.04039 C09-59 num_ret 842.00000 C09-59 num_unjug_ret@1 0.00000 C09-59 num_unjug_ret@10 2.00000 C09-59 num_unjug_ret@100 33.00000 C09-59 num_unjug_ret@1000 792.00000 C09-59 num_rel 61.00000 C09-59 num_rel_ret 6.00000 C09-59 map 0.00201 C09-59 R-prec 0.03279 C09-59 bpref 0.05644 C09-59 recip_rank 0.03448 C09-59 ndcg 0.08964 C09-59 ndcg5 0.13121 C09-59 ndcg10 0.08514 C09-59 ndcg20 0.07116 C09-59 ERR 0.08967 C09-59 ERR10 0.08750 C09-59 ERR20 0.08750 C09-59 P1 0.00000 C09-59 P5 0.00000 C09-59 P10 0.00000 C09-59 P15 0.00000 C09-59 P20 0.00000 C09-59 P30 0.03333 C09-59 P50 0.02000 C09-59 P100 0.02000 C09-59 P200 0.01000 C09-59 P500 0.01200 C09-59 P1000 0.00713 C09-60 num_ret 815.00000 C09-60 num_unjug_ret@1 0.00000 C09-60 num_unjug_ret@10 0.00000 C09-60 num_unjug_ret@100 32.00000 C09-60 num_unjug_ret@1000 721.00000 C09-60 num_rel 184.00000 C09-60 num_rel_ret 52.00000 C09-60 map 0.05701 C09-60 R-prec 0.16848 C09-60 bpref 0.25363 C09-60 recip_rank 1.00000 C09-60 ndcg 0.28401 C09-60 ndcg5 0.37573 C09-60 ndcg10 0.28948 C09-60 ndcg20 0.35714 C09-60 ERR 0.19709 C09-60 ERR10 0.17285 C09-60 ERR20 0.19124 C09-60 P1 1.00000 C09-60 P5 0.40000 C09-60 P10 0.20000 C09-60 P15 0.20000 C09-60 P20 0.20000 C09-60 P30 0.33333 C09-60 P50 0.24000 C09-60 P100 0.20000 C09-60 P200 0.16000 C09-60 P500 0.08800 C09-60 P1000 0.06380 C09-61 num_ret 707.00000 C09-61 num_unjug_ret@1 0.00000 C09-61 num_unjug_ret@10 3.00000 C09-61 num_unjug_ret@100 29.00000 C09-61 num_unjug_ret@1000 638.00000 C09-61 num_rel 123.00000 C09-61 num_rel_ret 27.00000 C09-61 map 0.03529 C09-61 R-prec 0.12195 C09-61 bpref 0.18078 C09-61 recip_rank 0.33333 C09-61 ndcg 0.19581 C09-61 ndcg5 0.10026 C09-61 ndcg10 0.16762 C09-61 ndcg20 0.21026 C09-61 ERR 0.08125 C09-61 ERR10 0.06105 C09-61 ERR20 0.07459 C09-61 P1 0.00000 C09-61 P5 0.40000 C09-61 P10 0.40000 C09-61 P15 0.26667 C09-61 P20 0.25000 C09-61 P30 0.20000 C09-61 P50 0.18000 C09-61 P100 0.13000 C09-61 P200 0.09000 C09-61 P500 0.03800 C09-61 P1000 0.03819 C09-62 num_ret 783.00000 C09-62 num_unjug_ret@1 0.00000 C09-62 num_unjug_ret@10 0.00000 C09-62 num_unjug_ret@100 17.00000 C09-62 num_unjug_ret@1000 736.00000 C09-62 num_rel 106.00000 C09-62 num_rel_ret 16.00000 C09-62 map 0.01750 C09-62 R-prec 0.08491 C09-62 bpref 0.13831 C09-62 recip_rank 0.09091 C09-62 ndcg 0.13725 C09-62 ndcg5 0.16375 C09-62 ndcg10 0.20901 C09-62 ndcg20 0.20582 C09-62 ERR 0.08764 C09-62 ERR10 0.08164 C09-62 ERR20 0.08599 C09-62 P1 0.00000 C09-62 P5 0.00000 C09-62 P10 0.00000 C09-62 P15 0.26667 C09-62 P20 0.25000 C09-62 P30 0.16667 C09-62 P50 0.10000 C09-62 P100 0.09000 C09-62 P200 0.05500 C09-62 P500 0.03200 C09-62 P1000 0.02043 C09-63 num_ret 575.00000 C09-63 num_unjug_ret@1 0.00000 C09-63 num_unjug_ret@10 0.00000 C09-63 num_unjug_ret@100 29.00000 C09-63 num_unjug_ret@1000 506.00000 C09-63 num_rel 107.00000 C09-63 num_rel_ret 20.00000 C09-63 map 0.03335 C09-63 R-prec 0.12150 C09-63 bpref 0.16237 C09-63 recip_rank 1.00000 C09-63 ndcg 0.21128 C09-63 ndcg5 0.22464 C09-63 ndcg10 0.26307 C09-63 ndcg20 0.23705 C09-63 ERR 0.17307 C09-63 ERR10 0.15999 C09-63 ERR20 0.16801 C09-63 P1 1.00000 C09-63 P5 0.20000 C09-63 P10 0.10000 C09-63 P15 0.20000 C09-63 P20 0.25000 C09-63 P30 0.20000 C09-63 P50 0.14000 C09-63 P100 0.12000 C09-63 P200 0.07500 C09-63 P500 0.03600 C09-63 P1000 0.03478 C09-64 num_ret 630.00000 C09-64 num_unjug_ret@1 0.00000 C09-64 num_unjug_ret@10 0.00000 C09-64 num_unjug_ret@100 13.00000 C09-64 num_unjug_ret@1000 527.00000 C09-64 num_rel 142.00000 C09-64 num_rel_ret 31.00000 C09-64 map 0.03140 C09-64 R-prec 0.10563 C09-64 bpref 0.18305 C09-64 recip_rank 1.00000 C09-64 ndcg 0.18586 C09-64 ndcg5 0.19520 C09-64 ndcg10 0.19598 C09-64 ndcg20 0.17920 C09-64 ERR 0.22842 C09-64 ERR10 0.20566 C09-64 ERR20 0.21605 C09-64 P1 1.00000 C09-64 P5 0.20000 C09-64 P10 0.10000 C09-64 P15 0.06667 C09-64 P20 0.10000 C09-64 P30 0.16667 C09-64 P50 0.18000 C09-64 P100 0.13000 C09-64 P200 0.10000 C09-64 P500 0.05600 C09-64 P1000 0.04921 C09-65 num_ret 568.00000 C09-65 num_unjug_ret@1 0.00000 C09-65 num_unjug_ret@10 0.00000 C09-65 num_unjug_ret@100 18.00000 C09-65 num_unjug_ret@1000 472.00000 C09-65 num_rel 128.00000 C09-65 num_rel_ret 25.00000 C09-65 map 0.00967 C09-65 R-prec 0.06250 C09-65 bpref 0.13055 C09-65 recip_rank 0.02703 C09-65 ndcg 0.10989 C09-65 ndcg5 0.03253 C09-65 ndcg10 0.04248 C09-65 ndcg20 0.03097 C09-65 ERR 0.04858 C09-65 ERR10 0.03060 C09-65 ERR20 0.03060 C09-65 P1 0.00000 C09-65 P5 0.00000 C09-65 P10 0.00000 C09-65 P15 0.00000 C09-65 P20 0.00000 C09-65 P30 0.00000 C09-65 P50 0.04000 C09-65 P100 0.07000 C09-65 P200 0.06000 C09-65 P500 0.03800 C09-65 P1000 0.04401 C09-66 num_ret 775.00000 C09-66 num_unjug_ret@1 1.00000 C09-66 num_unjug_ret@10 6.00000 C09-66 num_unjug_ret@100 29.00000 C09-66 num_unjug_ret@1000 729.00000 C09-66 num_rel 26.00000 C09-66 num_rel_ret 4.00000 C09-66 map 0.00093 C09-66 R-prec 0.00000 C09-66 bpref 0.01479 C09-66 recip_rank 0.00361 C09-66 ndcg 0.02349 C09-66 ndcg5 0.00000 C09-66 ndcg10 0.00000 C09-66 ndcg20 0.00000 C09-66 ERR 0.00098 C09-66 ERR10 0.00000 C09-66 ERR20 0.00000 C09-66 P1 0.00000 C09-66 P5 0.00000 C09-66 P10 0.00000 C09-66 P15 0.00000 C09-66 P20 0.00000 C09-66 P30 0.00000 C09-66 P50 0.00000 C09-66 P100 0.00000 C09-66 P200 0.00000 C09-66 P500 0.00800 C09-66 P1000 0.00516 C09-67 num_ret 661.00000 C09-67 num_unjug_ret@1 0.00000 C09-67 num_unjug_ret@10 0.00000 C09-67 num_unjug_ret@100 21.00000 C09-67 num_unjug_ret@1000 608.00000 C09-67 num_rel 127.00000 C09-67 num_rel_ret 24.00000 C09-67 map 0.01348 C09-67 R-prec 0.06299 C09-67 bpref 0.16325 C09-67 recip_rank 0.10000 C09-67 ndcg 0.10964 C09-67 ndcg5 0.07133 C09-67 ndcg10 0.09064 C09-67 ndcg20 0.07033 C09-67 ERR 0.05622 C09-67 ERR10 0.04407 C09-67 ERR20 0.04750 C09-67 P1 0.00000 C09-67 P5 0.00000 C09-67 P10 0.10000 C09-67 P15 0.06667 C09-67 P20 0.10000 C09-67 P30 0.10000 C09-67 P50 0.06000 C09-67 P100 0.07000 C09-67 P200 0.06000 C09-67 P500 0.04600 C09-67 P1000 0.03631 C09-68 num_ret 936.00000 C09-68 num_unjug_ret@1 0.00000 C09-68 num_unjug_ret@10 0.00000 C09-68 num_unjug_ret@100 49.00000 C09-68 num_unjug_ret@1000 832.00000 C09-68 num_rel 45.00000 C09-68 num_rel_ret 15.00000 C09-68 map 0.03954 C09-68 R-prec 0.06667 C09-68 bpref 0.08790 C09-68 recip_rank 1.00000 C09-68 ndcg 0.19467 C09-68 ndcg5 0.13869 C09-68 ndcg10 0.15142 C09-68 ndcg20 0.11797 C09-68 ERR 0.07690 C09-68 ERR10 0.07087 C09-68 ERR20 0.07087 C09-68 P1 1.00000 C09-68 P5 0.20000 C09-68 P10 0.10000 C09-68 P15 0.13333 C09-68 P20 0.10000 C09-68 P30 0.10000 C09-68 P50 0.06000 C09-68 P100 0.06000 C09-68 P200 0.05500 C09-68 P500 0.02400 C09-68 P1000 0.01603 C09-69 num_ret 989.00000 C09-69 num_unjug_ret@1 0.00000 C09-69 num_unjug_ret@10 0.00000 C09-69 num_unjug_ret@100 58.00000 C09-69 num_unjug_ret@1000 919.00000 C09-69 num_rel 36.00000 C09-69 num_rel_ret 12.00000 C09-69 map 0.06274 C09-69 R-prec 0.22222 C09-69 bpref 0.18673 C09-69 recip_rank 0.12500 C09-69 ndcg 0.23690 C09-69 ndcg5 0.08302 C09-69 ndcg10 0.14864 C09-69 ndcg20 0.14205 C09-69 ERR 0.06724 C09-69 ERR10 0.05644 C09-69 ERR20 0.06021 C09-69 P1 0.00000 C09-69 P5 0.00000 C09-69 P10 0.20000 C09-69 P15 0.33333 C09-69 P20 0.30000 C09-69 P30 0.23333 C09-69 P50 0.16000 C09-69 P100 0.08000 C09-69 P200 0.04000 C09-69 P500 0.02400 C09-69 P1000 0.01213 C09-70 num_ret 845.00000 C09-70 num_unjug_ret@1 0.00000 C09-70 num_unjug_ret@10 2.00000 C09-70 num_unjug_ret@100 54.00000 C09-70 num_unjug_ret@1000 774.00000 C09-70 num_rel 11.00000 C09-70 num_rel_ret 0.00000 C09-70 map 0.00000 C09-70 R-prec 0.00000 C09-70 bpref 0.00000 C09-70 recip_rank 0.00000 C09-70 ndcg 0.00000 C09-70 ndcg5 0.00000 C09-70 ndcg10 0.00000 C09-70 ndcg20 0.00000 C09-70 ERR 0.00000 C09-70 ERR10 0.00000 C09-70 ERR20 0.00000 C09-70 P1 0.00000 C09-70 P5 0.00000 C09-70 P10 0.00000 C09-70 P15 0.00000 C09-70 P20 0.00000 C09-70 P30 0.00000 C09-70 P50 0.00000 C09-70 P100 0.00000 C09-70 P200 0.00000 C09-70 P500 0.00000 C09-70 P1000 0.00000 C09-71 num_ret 762.00000 C09-71 num_unjug_ret@1 0.00000 C09-71 num_unjug_ret@10 0.00000 C09-71 num_unjug_ret@100 61.00000 C09-71 num_unjug_ret@1000 731.00000 C09-71 num_rel 91.00000 C09-71 num_rel_ret 10.00000 C09-71 map 0.00556 C09-71 R-prec 0.04396 C09-71 bpref 0.07849 C09-71 recip_rank 0.05263 C09-71 ndcg 0.04479 C09-71 ndcg5 0.00000 C09-71 ndcg10 0.02729 C09-71 ndcg20 0.03024 C09-71 ERR 0.02009 C09-71 ERR10 0.01367 C09-71 ERR20 0.01733 C09-71 P1 0.00000 C09-71 P5 0.00000 C09-71 P10 0.00000 C09-71 P15 0.00000 C09-71 P20 0.05000 C09-71 P30 0.10000 C09-71 P50 0.06000 C09-71 P100 0.06000 C09-71 P200 0.03500 C09-71 P500 0.01600 C09-71 P1000 0.01312 C09-72 num_ret 788.00000 C09-72 num_unjug_ret@1 0.00000 C09-72 num_unjug_ret@10 0.00000 C09-72 num_unjug_ret@100 63.00000 C09-72 num_unjug_ret@1000 748.00000 C09-72 num_rel 78.00000 C09-72 num_rel_ret 0.00000 C09-72 map 0.00000 C09-72 R-prec 0.00000 C09-72 bpref 0.00000 C09-72 recip_rank 0.00000 C09-72 ndcg 0.00000 C09-72 ndcg5 0.00000 C09-72 ndcg10 0.00000 C09-72 ndcg20 0.00000 C09-72 ERR 0.00000 C09-72 ERR10 0.00000 C09-72 ERR20 0.00000 C09-72 P1 0.00000 C09-72 P5 0.00000 C09-72 P10 0.00000 C09-72 P15 0.00000 C09-72 P20 0.00000 C09-72 P30 0.00000 C09-72 P50 0.00000 C09-72 P100 0.00000 C09-72 P200 0.00000 C09-72 P500 0.00000 C09-72 P1000 0.00000 C09-73 num_ret 640.00000 C09-73 num_unjug_ret@1 0.00000 C09-73 num_unjug_ret@10 0.00000 C09-73 num_unjug_ret@100 24.00000 C09-73 num_unjug_ret@1000 602.00000 C09-73 num_rel 276.00000 C09-73 num_rel_ret 28.00000 C09-73 map 0.02414 C09-73 R-prec 0.07971 C09-73 bpref 0.09629 C09-73 recip_rank 1.00000 C09-73 ndcg 0.14425 C09-73 ndcg5 0.38698 C09-73 ndcg10 0.32379 C09-73 ndcg20 0.26732 C09-73 ERR 0.18035 C09-73 ERR10 0.16540 C09-73 ERR20 0.17525 C09-73 P1 1.00000 C09-73 P5 0.20000 C09-73 P10 0.10000 C09-73 P15 0.26667 C09-73 P20 0.35000 C09-73 P30 0.33333 C09-73 P50 0.26000 C09-73 P100 0.18000 C09-73 P200 0.10500 C09-73 P500 0.04800 C09-73 P1000 0.04375 C09-74 num_ret 859.00000 C09-74 num_unjug_ret@1 0.00000 C09-74 num_unjug_ret@10 0.00000 C09-74 num_unjug_ret@100 25.00000 C09-74 num_unjug_ret@1000 770.00000 C09-74 num_rel 42.00000 C09-74 num_rel_ret 9.00000 C09-74 map 0.00478 C09-74 R-prec 0.00000 C09-74 bpref 0.02891 C09-74 recip_rank 0.01515 C09-74 ndcg 0.11147 C09-74 ndcg5 0.00000 C09-74 ndcg10 0.00000 C09-74 ndcg20 0.00000 C09-74 ERR 0.01011 C09-74 ERR10 0.00000 C09-74 ERR20 0.00000 C09-74 P1 0.00000 C09-74 P5 0.00000 C09-74 P10 0.00000 C09-74 P15 0.00000 C09-74 P20 0.00000 C09-74 P30 0.00000 C09-74 P50 0.00000 C09-74 P100 0.03000 C09-74 P200 0.02000 C09-74 P500 0.01400 C09-74 P1000 0.01048 C09-75 num_ret 340.00000 C09-75 num_unjug_ret@1 0.00000 C09-75 num_unjug_ret@10 0.00000 C09-75 num_unjug_ret@100 6.00000 C09-75 num_unjug_ret@1000 277.00000 C09-75 num_rel 174.00000 C09-75 num_rel_ret 36.00000 C09-75 map 0.01320 C09-75 R-prec 0.07471 C09-75 bpref 0.19184 C09-75 recip_rank 0.02703 C09-75 ndcg 0.41663 C09-75 ndcg5 0.89767 C09-75 ndcg10 0.81139 C09-75 ndcg20 0.66559 C09-75 ERR 0.61409 C09-75 ERR10 0.61024 C09-75 ERR20 0.61266 C09-75 P1 0.00000 C09-75 P5 0.00000 C09-75 P10 0.00000 C09-75 P15 0.00000 C09-75 P20 0.00000 C09-75 P30 0.00000 C09-75 P50 0.08000 C09-75 P100 0.09000 C09-75 P200 0.06500 C09-75 P500 0.07059 C09-75 P1000 0.10588 C09-76 num_ret 955.00000 C09-76 num_unjug_ret@1 0.00000 C09-76 num_unjug_ret@10 0.00000 C09-76 num_unjug_ret@100 42.00000 C09-76 num_unjug_ret@1000 877.00000 C09-76 num_rel 178.00000 C09-76 num_rel_ret 48.00000 C09-76 map 0.16854 C09-76 R-prec 0.24157 C09-76 bpref 0.25442 C09-76 recip_rank 1.00000 C09-76 ndcg 0.27516 C09-76 ndcg5 0.17257 C09-76 ndcg10 0.30436 C09-76 ndcg20 0.31932 C09-76 ERR 0.22223 C09-76 ERR10 0.21254 C09-76 ERR20 0.21970 C09-76 P1 1.00000 C09-76 P5 0.80000 C09-76 P10 0.90000 C09-76 P15 0.66667 C09-76 P20 0.65000 C09-76 P30 0.63333 C09-76 P50 0.68000 C09-76 P100 0.40000 C09-76 P200 0.22000 C09-76 P500 0.09600 C09-76 P1000 0.05026 C09-77 num_ret 874.00000 C09-77 num_unjug_ret@1 0.00000 C09-77 num_unjug_ret@10 0.00000 C09-77 num_unjug_ret@100 37.00000 C09-77 num_unjug_ret@1000 776.00000 C09-77 num_rel 68.00000 C09-77 num_rel_ret 20.00000 C09-77 map 0.01870 C09-77 R-prec 0.05882 C09-77 bpref 0.10575 C09-77 recip_rank 0.09091 C09-77 ndcg 0.28044 C09-77 ndcg5 0.40443 C09-77 ndcg10 0.26245 C09-77 ndcg20 0.18163 C09-77 ERR 0.31079 C09-77 ERR10 0.30573 C09-77 ERR20 0.30727 C09-77 P1 0.00000 C09-77 P5 0.00000 C09-77 P10 0.00000 C09-77 P15 0.20000 C09-77 P20 0.15000 C09-77 P30 0.13333 C09-77 P50 0.08000 C09-77 P100 0.06000 C09-77 P200 0.05000 C09-77 P500 0.02400 C09-77 P1000 0.02288 C09-78 num_ret 838.00000 C09-78 num_unjug_ret@1 0.00000 C09-78 num_unjug_ret@10 0.00000 C09-78 num_unjug_ret@100 35.00000 C09-78 num_unjug_ret@1000 762.00000 C09-78 num_rel 67.00000 C09-78 num_rel_ret 9.00000 C09-78 map 0.00286 C09-78 R-prec 0.01493 C09-78 bpref 0.05591 C09-78 recip_rank 0.04762 C09-78 ndcg 0.05964 C09-78 ndcg5 0.03205 C09-78 ndcg10 0.02831 C09-78 ndcg20 0.02393 C09-78 ERR 0.01651 C09-78 ERR10 0.01250 C09-78 ERR20 0.01250 C09-78 P1 0.00000 C09-78 P5 0.00000 C09-78 P10 0.00000 C09-78 P15 0.00000 C09-78 P20 0.00000 C09-78 P30 0.03333 C09-78 P50 0.02000 C09-78 P100 0.02000 C09-78 P200 0.01500 C09-78 P500 0.01200 C09-78 P1000 0.01074 C09-79 num_ret 209.00000 C09-79 num_unjug_ret@1 0.00000 C09-79 num_unjug_ret@10 0.00000 C09-79 num_unjug_ret@100 10.00000 C09-79 num_unjug_ret@1000 184.00000 C09-79 num_rel 89.00000 C09-79 num_rel_ret 18.00000 C09-79 map 0.00433 C09-79 R-prec 0.02247 C09-79 bpref 0.19341 C09-79 recip_rank 0.01493 C09-79 ndcg 0.12711 C09-79 ndcg5 0.03012 C09-79 ndcg10 0.07562 C09-79 ndcg20 0.09166 C09-79 ERR 0.05246 C09-79 ERR10 0.03447 C09-79 ERR20 0.04552 C09-79 P1 0.00000 C09-79 P5 0.00000 C09-79 P10 0.00000 C09-79 P15 0.00000 C09-79 P20 0.00000 C09-79 P30 0.00000 C09-79 P50 0.00000 C09-79 P100 0.03000 C09-79 P200 0.03000 C09-79 P500 0.03828 C09-79 P1000 0.08612 C09-80 num_ret 828.00000 C09-80 num_unjug_ret@1 0.00000 C09-80 num_unjug_ret@10 0.00000 C09-80 num_unjug_ret@100 17.00000 C09-80 num_unjug_ret@1000 752.00000 C09-80 num_rel 280.00000 C09-80 num_rel_ret 59.00000 C09-80 map 0.05043 C09-80 R-prec 0.16071 C09-80 bpref 0.20378 C09-80 recip_rank 1.00000 C09-80 ndcg 0.26517 C09-80 ndcg5 1.00000 C09-80 ndcg10 0.72230 C09-80 ndcg20 0.65125 C09-80 ERR 0.16430 C09-80 ERR10 0.13910 C09-80 ERR20 0.15346 C09-80 P1 1.00000 C09-80 P5 0.60000 C09-80 P10 0.30000 C09-80 P15 0.20000 C09-80 P20 0.15000 C09-80 P30 0.10000 C09-80 P50 0.22000 C09-80 P100 0.23000 C09-80 P200 0.19500 C09-80 P500 0.11200 C09-80 P1000 0.07126 C09-81 num_ret 629.00000 C09-81 num_unjug_ret@1 0.00000 C09-81 num_unjug_ret@10 3.00000 C09-81 num_unjug_ret@100 39.00000 C09-81 num_unjug_ret@1000 560.00000 C09-81 num_rel 49.00000 C09-81 num_rel_ret 10.00000 C09-81 map 0.00522 C09-81 R-prec 0.02041 C09-81 bpref 0.09246 C09-81 recip_rank 0.02381 C09-81 ndcg 0.10123 C09-81 ndcg5 0.00000 C09-81 ndcg10 0.00000 C09-81 ndcg20 0.00000 C09-81 ERR 0.00763 C09-81 ERR10 0.00000 C09-81 ERR20 0.00000 C09-81 P1 0.00000 C09-81 P5 0.00000 C09-81 P10 0.00000 C09-81 P15 0.00000 C09-81 P20 0.00000 C09-81 P30 0.00000 C09-81 P50 0.02000 C09-81 P100 0.04000 C09-81 P200 0.03000 C09-81 P500 0.01400 C09-81 P1000 0.01590 C09-82 num_ret 616.00000 C09-82 num_unjug_ret@1 0.00000 C09-82 num_unjug_ret@10 0.00000 C09-82 num_unjug_ret@100 31.00000 C09-82 num_unjug_ret@1000 544.00000 C09-82 num_rel 93.00000 C09-82 num_rel_ret 13.00000 C09-82 map 0.01220 C09-82 R-prec 0.06452 C09-82 bpref 0.10047 C09-82 recip_rank 0.50000 C09-82 ndcg 0.10528 C09-82 ndcg5 0.04105 C09-82 ndcg10 0.08433 C09-82 ndcg20 0.08926 C09-82 ERR 0.07574 C09-82 ERR10 0.06055 C09-82 ERR20 0.07075 C09-82 P1 0.00000 C09-82 P5 0.20000 C09-82 P10 0.10000 C09-82 P15 0.06667 C09-82 P20 0.05000 C09-82 P30 0.06667 C09-82 P50 0.06000 C09-82 P100 0.06000 C09-82 P200 0.04000 C09-82 P500 0.02200 C09-82 P1000 0.02110 C09-83 num_ret 1000.00000 C09-83 num_unjug_ret@1 0.00000 C09-83 num_unjug_ret@10 6.00000 C09-83 num_unjug_ret@100 77.00000 C09-83 num_unjug_ret@1000 898.00000 C09-83 num_rel 64.00000 C09-83 num_rel_ret 0.00000 C09-83 map 0.00000 C09-83 R-prec 0.00000 C09-83 bpref 0.00000 C09-83 recip_rank 0.00000 C09-83 ndcg 0.00000 C09-83 ndcg5 0.00000 C09-83 ndcg10 0.00000 C09-83 ndcg20 0.00000 C09-83 ERR 0.00000 C09-83 ERR10 0.00000 C09-83 ERR20 0.00000 C09-83 P1 0.00000 C09-83 P5 0.00000 C09-83 P10 0.00000 C09-83 P15 0.00000 C09-83 P20 0.00000 C09-83 P30 0.00000 C09-83 P50 0.00000 C09-83 P100 0.00000 C09-83 P200 0.00000 C09-83 P500 0.00000 C09-83 P1000 0.00000 C09-84 num_ret 589.00000 C09-84 num_unjug_ret@1 0.00000 C09-84 num_unjug_ret@10 0.00000 C09-84 num_unjug_ret@100 31.00000 C09-84 num_unjug_ret@1000 526.00000 C09-84 num_rel 226.00000 C09-84 num_rel_ret 47.00000 C09-84 map 0.05052 C09-84 R-prec 0.17699 C09-84 bpref 0.19447 C09-84 recip_rank 0.03704 C09-84 ndcg 0.29152 C09-84 ndcg5 0.85393 C09-84 ndcg10 0.79530 C09-84 ndcg20 0.71180 C09-84 ERR 0.36999 C09-84 ERR10 0.35602 C09-84 ERR20 0.36767 C09-84 P1 0.00000 C09-84 P5 0.00000 C09-84 P10 0.00000 C09-84 P15 0.00000 C09-84 P20 0.00000 C09-84 P30 0.10000 C09-84 P50 0.34000 C09-84 P100 0.30000 C09-84 P200 0.19000 C09-84 P500 0.09000 C09-84 P1000 0.07980 C09-85 num_ret 747.00000 C09-85 num_unjug_ret@1 0.00000 C09-85 num_unjug_ret@10 2.00000 C09-85 num_unjug_ret@100 42.00000 C09-85 num_unjug_ret@1000 707.00000 C09-85 num_rel 149.00000 C09-85 num_rel_ret 16.00000 C09-85 map 0.02783 C09-85 R-prec 0.08725 C09-85 bpref 0.09680 C09-85 recip_rank 1.00000 C09-85 ndcg 0.08955 C09-85 ndcg5 0.09760 C09-85 ndcg10 0.10501 C09-85 ndcg20 0.13055 C09-85 ERR 0.11453 C09-85 ERR10 0.09462 C09-85 ERR20 0.11135 C09-85 P1 1.00000 C09-85 P5 0.40000 C09-85 P10 0.30000 C09-85 P15 0.26667 C09-85 P20 0.20000 C09-85 P30 0.16667 C09-85 P50 0.18000 C09-85 P100 0.13000 C09-85 P200 0.07000 C09-85 P500 0.02800 C09-85 P1000 0.02142 C09-86 num_ret 737.00000 C09-86 num_unjug_ret@1 0.00000 C09-86 num_unjug_ret@10 0.00000 C09-86 num_unjug_ret@100 25.00000 C09-86 num_unjug_ret@1000 601.00000 C09-86 num_rel 88.00000 C09-86 num_rel_ret 43.00000 C09-86 map 0.08869 C09-86 R-prec 0.27273 C09-86 bpref 0.31702 C09-86 recip_rank 0.07692 C09-86 ndcg 0.42185 C09-86 ndcg5 0.36051 C09-86 ndcg10 0.36756 C09-86 ndcg20 0.25797 C09-86 ERR 0.16662 C09-86 ERR10 0.15914 C09-86 ERR20 0.15914 C09-86 P1 0.00000 C09-86 P5 0.00000 C09-86 P10 0.00000 C09-86 P15 0.13333 C09-86 P20 0.15000 C09-86 P30 0.16667 C09-86 P50 0.12000 C09-86 P100 0.27000 C09-86 P200 0.15500 C09-86 P500 0.08000 C09-86 P1000 0.05834 C09-87 num_ret 730.00000 C09-87 num_unjug_ret@1 1.00000 C09-87 num_unjug_ret@10 6.00000 C09-87 num_unjug_ret@100 62.00000 C09-87 num_unjug_ret@1000 704.00000 C09-87 num_rel 58.00000 C09-87 num_rel_ret 8.00000 C09-87 map 0.00337 C09-87 R-prec 0.01724 C09-87 bpref 0.11653 C09-87 recip_rank 0.03226 C09-87 ndcg 0.06459 C09-87 ndcg5 0.00000 C09-87 ndcg10 0.00000 C09-87 ndcg20 0.00000 C09-87 ERR 0.00597 C09-87 ERR10 0.00000 C09-87 ERR20 0.00000 C09-87 P1 0.00000 C09-87 P5 0.00000 C09-87 P10 0.00000 C09-87 P15 0.00000 C09-87 P20 0.00000 C09-87 P30 0.00000 C09-87 P50 0.02000 C09-87 P100 0.03000 C09-87 P200 0.02000 C09-87 P500 0.01600 C09-87 P1000 0.01096 C09-88 num_ret 603.00000 C09-88 num_unjug_ret@1 0.00000 C09-88 num_unjug_ret@10 1.00000 C09-88 num_unjug_ret@100 29.00000 C09-88 num_unjug_ret@1000 535.00000 C09-88 num_rel 115.00000 C09-88 num_rel_ret 27.00000 C09-88 map 0.07262 C09-88 R-prec 0.17391 C09-88 bpref 0.20711 C09-88 recip_rank 1.00000 C09-88 ndcg 0.30528 C09-88 ndcg5 0.58007 C09-88 ndcg10 0.42296 C09-88 ndcg20 0.36851 C09-88 ERR 0.28878 C09-88 ERR10 0.27005 C09-88 ERR20 0.28217 C09-88 P1 1.00000 C09-88 P5 0.60000 C09-88 P10 0.30000 C09-88 P15 0.33333 C09-88 P20 0.25000 C09-88 P30 0.23333 C09-88 P50 0.28000 C09-88 P100 0.19000 C09-88 P200 0.12000 C09-88 P500 0.05200 C09-88 P1000 0.04478 C09-89 num_ret 955.00000 C09-89 num_unjug_ret@1 1.00000 C09-89 num_unjug_ret@10 3.00000 C09-89 num_unjug_ret@100 43.00000 C09-89 num_unjug_ret@1000 820.00000 C09-89 num_rel 167.00000 C09-89 num_rel_ret 69.00000 C09-89 map 0.07219 C09-89 R-prec 0.19760 C09-89 bpref 0.34376 C09-89 recip_rank 0.03448 C09-89 ndcg 0.16902 C09-89 ndcg5 0.00000 C09-89 ndcg10 0.00000 C09-89 ndcg20 0.02046 C09-89 ERR 0.03639 C09-89 ERR10 0.00000 C09-89 ERR20 0.01595 C09-89 P1 0.00000 C09-89 P5 0.00000 C09-89 P10 0.00000 C09-89 P15 0.00000 C09-89 P20 0.00000 C09-89 P30 0.03333 C09-89 P50 0.20000 C09-89 P100 0.26000 C09-89 P200 0.18000 C09-89 P500 0.12800 C09-89 P1000 0.07225 C09-90 num_ret 699.00000 C09-90 num_unjug_ret@1 0.00000 C09-90 num_unjug_ret@10 0.00000 C09-90 num_unjug_ret@100 48.00000 C09-90 num_unjug_ret@1000 644.00000 C09-90 num_rel 47.00000 C09-90 num_rel_ret 7.00000 C09-90 map 0.01263 C09-90 R-prec 0.04255 C09-90 bpref 0.10502 C09-90 recip_rank 0.09091 C09-90 ndcg 0.23157 C09-90 ndcg5 0.38847 C09-90 ndcg10 0.31061 C09-90 ndcg20 0.23644 C09-90 ERR 0.36936 C09-90 ERR10 0.36523 C09-90 ERR20 0.36523 C09-90 P1 0.00000 C09-90 P5 0.00000 C09-90 P10 0.00000 C09-90 P15 0.13333 C09-90 P20 0.10000 C09-90 P30 0.06667 C09-90 P50 0.06000 C09-90 P100 0.06000 C09-90 P200 0.03000 C09-90 P500 0.01400 C09-90 P1000 0.01001 C09-91 num_ret 782.00000 C09-91 num_unjug_ret@1 0.00000 C09-91 num_unjug_ret@10 1.00000 C09-91 num_unjug_ret@100 43.00000 C09-91 num_unjug_ret@1000 748.00000 C09-91 num_rel 158.00000 C09-91 num_rel_ret 10.00000 C09-91 map 0.00396 C09-91 R-prec 0.03797 C09-91 bpref 0.05836 C09-91 recip_rank 0.04000 C09-91 ndcg 0.05538 C09-91 ndcg5 0.00000 C09-91 ndcg10 0.07179 C09-91 ndcg20 0.05954 C09-91 ERR 0.03650 C09-91 ERR10 0.02428 C09-91 ERR20 0.02896 C09-91 P1 0.00000 C09-91 P5 0.00000 C09-91 P10 0.00000 C09-91 P15 0.00000 C09-91 P20 0.00000 C09-91 P30 0.13333 C09-91 P50 0.10000 C09-91 P100 0.06000 C09-91 P200 0.03500 C09-91 P500 0.02000 C09-91 P1000 0.01279 C09-92 num_ret 666.00000 C09-92 num_unjug_ret@1 0.00000 C09-92 num_unjug_ret@10 7.00000 C09-92 num_unjug_ret@100 26.00000 C09-92 num_unjug_ret@1000 612.00000 C09-92 num_rel 15.00000 C09-92 num_rel_ret 1.00000 C09-92 map 0.00020 C09-92 R-prec 0.00000 C09-92 bpref 0.00000 C09-92 recip_rank 0.00303 C09-92 ndcg 0.03768 C09-92 ndcg5 0.00000 C09-92 ndcg10 0.00000 C09-92 ndcg20 0.00000 C09-92 ERR 0.00124 C09-92 ERR10 0.00000 C09-92 ERR20 0.00000 C09-92 P1 0.00000 C09-92 P5 0.00000 C09-92 P10 0.00000 C09-92 P15 0.00000 C09-92 P20 0.00000 C09-92 P30 0.00000 C09-92 P50 0.00000 C09-92 P100 0.00000 C09-92 P200 0.00000 C09-92 P500 0.00200 C09-92 P1000 0.00150 C09-93 num_ret 824.00000 C09-93 num_unjug_ret@1 0.00000 C09-93 num_unjug_ret@10 0.00000 C09-93 num_unjug_ret@100 36.00000 C09-93 num_unjug_ret@1000 736.00000 C09-93 num_rel 35.00000 C09-93 num_rel_ret 5.00000 C09-93 map 0.00363 C09-93 R-prec 0.02857 C09-93 bpref 0.05469 C09-93 recip_rank 0.03226 C09-93 ndcg 0.05198 C09-93 ndcg5 0.00000 C09-93 ndcg10 0.00000 C09-93 ndcg20 0.01242 C09-93 ERR 0.01198 C09-93 ERR10 0.00000 C09-93 ERR20 0.00521 C09-93 P1 0.00000 C09-93 P5 0.00000 C09-93 P10 0.00000 C09-93 P15 0.00000 C09-93 P20 0.00000 C09-93 P30 0.00000 C09-93 P50 0.02000 C09-93 P100 0.03000 C09-93 P200 0.01500 C09-93 P500 0.01000 C09-93 P1000 0.00607 C09-94 num_ret 507.00000 C09-94 num_unjug_ret@1 0.00000 C09-94 num_unjug_ret@10 0.00000 C09-94 num_unjug_ret@100 27.00000 C09-94 num_unjug_ret@1000 465.00000 C09-94 num_rel 15.00000 C09-94 num_rel_ret 4.00000 C09-94 map 0.00222 C09-94 R-prec 0.00000 C09-94 bpref 0.03556 C09-94 recip_rank 0.01000 C09-94 ndcg 0.10097 C09-94 ndcg5 0.00000 C09-94 ndcg10 0.00000 C09-94 ndcg20 0.00000 C09-94 ERR 0.00713 C09-94 ERR10 0.00000 C09-94 ERR20 0.00000 C09-94 P1 0.00000 C09-94 P5 0.00000 C09-94 P10 0.00000 C09-94 P15 0.00000 C09-94 P20 0.00000 C09-94 P30 0.00000 C09-94 P50 0.00000 C09-94 P100 0.01000 C09-94 P200 0.00500 C09-94 P500 0.00600 C09-94 P1000 0.00789 C09-95 num_ret NaN C09-95 num_unjug_ret@1 NaN C09-95 num_unjug_ret@10 NaN C09-95 num_unjug_ret@100 NaN C09-95 num_unjug_ret@1000 NaN C09-95 num_rel NaN C09-95 num_rel_ret NaN C09-95 map NaN C09-95 R-prec NaN C09-95 bpref NaN C09-95 recip_rank NaN C09-95 ndcg NaN C09-95 ndcg5 NaN C09-95 ndcg10 NaN C09-95 ndcg20 NaN C09-95 ERR NaN C09-95 ERR10 NaN C09-95 ERR20 NaN C09-95 P1 NaN C09-95 P5 NaN C09-95 P10 NaN C09-95 P15 NaN C09-95 P20 NaN C09-95 P30 NaN C09-95 P50 NaN C09-95 P100 NaN C09-95 P200 NaN C09-95 P500 NaN C09-95 P1000 NaN C09-96 num_ret 607.00000 C09-96 num_unjug_ret@1 0.00000 C09-96 num_unjug_ret@10 0.00000 C09-96 num_unjug_ret@100 22.00000 C09-96 num_unjug_ret@1000 545.00000 C09-96 num_rel 93.00000 C09-96 num_rel_ret 30.00000 C09-96 map 0.01995 C09-96 R-prec 0.07527 C09-96 bpref 0.24431 C09-96 recip_rank 0.05263 C09-96 ndcg 0.25148 C09-96 ndcg5 0.03353 C09-96 ndcg10 0.11545 C09-96 ndcg20 0.14091 C09-96 ERR 0.06328 C09-96 ERR10 0.04231 C09-96 ERR20 0.05018 C09-96 P1 0.00000 C09-96 P5 0.00000 C09-96 P10 0.00000 C09-96 P15 0.00000 C09-96 P20 0.05000 C09-96 P30 0.10000 C09-96 P50 0.14000 C09-96 P100 0.07000 C09-96 P200 0.05000 C09-96 P500 0.04000 C09-96 P1000 0.04942 C09-97 num_ret 823.00000 C09-97 num_unjug_ret@1 0.00000 C09-97 num_unjug_ret@10 5.00000 C09-97 num_unjug_ret@100 44.00000 C09-97 num_unjug_ret@1000 709.00000 C09-97 num_rel 192.00000 C09-97 num_rel_ret 23.00000 C09-97 map 0.00363 C09-97 R-prec 0.03125 C09-97 bpref 0.08835 C09-97 recip_rank 0.01667 C09-97 ndcg 0.07551 C09-97 ndcg5 0.00000 C09-97 ndcg10 0.00000 C09-97 ndcg20 0.00000 C09-97 ERR 0.01215 C09-97 ERR10 0.00000 C09-97 ERR20 0.00000 C09-97 P1 0.00000 C09-97 P5 0.00000 C09-97 P10 0.00000 C09-97 P15 0.00000 C09-97 P20 0.00000 C09-97 P30 0.00000 C09-97 P50 0.00000 C09-97 P100 0.04000 C09-97 P200 0.03000 C09-97 P500 0.03000 C09-97 P1000 0.02795 C09-98 num_ret 930.00000 C09-98 num_unjug_ret@1 0.00000 C09-98 num_unjug_ret@10 0.00000 C09-98 num_unjug_ret@100 47.00000 C09-98 num_unjug_ret@1000 834.00000 C09-98 num_rel 127.00000 C09-98 num_rel_ret 39.00000 C09-98 map 0.04697 C09-98 R-prec 0.15748 C09-98 bpref 0.28266 C09-98 recip_rank 0.04000 C09-98 ndcg 0.20065 C09-98 ndcg5 0.15708 C09-98 ndcg10 0.17063 C09-98 ndcg20 0.18844 C09-98 ERR 0.14235 C09-98 ERR10 0.12329 C09-98 ERR20 0.13713 C09-98 P1 0.00000 C09-98 P5 0.00000 C09-98 P10 0.00000 C09-98 P15 0.00000 C09-98 P20 0.00000 C09-98 P30 0.13333 C09-98 P50 0.24000 C09-98 P100 0.17000 C09-98 P200 0.14500 C09-98 P500 0.07000 C09-98 P1000 0.04194 C09-99 num_ret 494.00000 C09-99 num_unjug_ret@1 0.00000 C09-99 num_unjug_ret@10 1.00000 C09-99 num_unjug_ret@100 31.00000 C09-99 num_unjug_ret@1000 455.00000 C09-99 num_rel 63.00000 C09-99 num_rel_ret 8.00000 C09-99 map 0.00313 C09-99 R-prec 0.03175 C09-99 bpref 0.09121 C09-99 recip_rank 0.03846 C09-99 ndcg 0.09043 C09-99 ndcg5 0.00000 C09-99 ndcg10 0.09998 C09-99 ndcg20 0.07289 C09-99 ERR 0.05281 C09-99 ERR10 0.05029 C09-99 ERR20 0.05029 C09-99 P1 0.00000 C09-99 P5 0.00000 C09-99 P10 0.00000 C09-99 P15 0.00000 C09-99 P20 0.00000 C09-99 P30 0.03333 C09-99 P50 0.04000 C09-99 P100 0.02000 C09-99 P200 0.02000 C09-99 P500 0.01417 C09-99 P1000 0.01619 C09-100 num_ret NaN C09-100 num_unjug_ret@1 NaN C09-100 num_unjug_ret@10 NaN C09-100 num_unjug_ret@100 NaN C09-100 num_unjug_ret@1000 NaN C09-100 num_rel NaN C09-100 num_rel_ret NaN C09-100 map NaN C09-100 R-prec NaN C09-100 bpref NaN C09-100 recip_rank NaN C09-100 ndcg NaN C09-100 ndcg5 NaN C09-100 ndcg10 NaN C09-100 ndcg20 NaN C09-100 ERR NaN C09-100 ERR10 NaN C09-100 ERR20 NaN C09-100 P1 NaN C09-100 P5 NaN C09-100 P10 NaN C09-100 P15 NaN C09-100 P20 NaN C09-100 P30 NaN C09-100 P50 NaN C09-100 P100 NaN C09-100 P200 NaN C09-100 P500 NaN C09-100 P1000 NaN C09-101 num_ret 921.00000 C09-101 num_unjug_ret@1 0.00000 C09-101 num_unjug_ret@10 1.00000 C09-101 num_unjug_ret@100 60.00000 C09-101 num_unjug_ret@1000 855.00000 C09-101 num_rel 84.00000 C09-101 num_rel_ret 10.00000 C09-101 map 0.02984 C09-101 R-prec 0.05952 C09-101 bpref 0.08376 C09-101 recip_rank 1.00000 C09-101 ndcg 0.11332 C09-101 ndcg5 0.18438 C09-101 ndcg10 0.11965 C09-101 ndcg20 0.09468 C09-101 ERR 0.09895 C09-101 ERR10 0.09180 C09-101 ERR20 0.09180 C09-101 P1 1.00000 C09-101 P5 0.40000 C09-101 P10 0.20000 C09-101 P15 0.13333 C09-101 P20 0.10000 C09-101 P30 0.06667 C09-101 P50 0.06000 C09-101 P100 0.06000 C09-101 P200 0.05000 C09-101 P500 0.02000 C09-101 P1000 0.01086 C09-102 num_ret 750.00000 C09-102 num_unjug_ret@1 0.00000 C09-102 num_unjug_ret@10 1.00000 C09-102 num_unjug_ret@100 41.00000 C09-102 num_unjug_ret@1000 669.00000 C09-102 num_rel 22.00000 C09-102 num_rel_ret 1.00000 C09-102 map 0.00909 C09-102 R-prec 0.04545 C09-102 bpref 0.03719 C09-102 recip_rank 0.20000 C09-102 ndcg 0.03293 C09-102 ndcg5 0.05365 C09-102 ndcg10 0.04393 C09-102 ndcg20 0.03423 C09-102 ERR 0.01250 C09-102 ERR10 0.01250 C09-102 ERR20 0.01250 C09-102 P1 0.00000 C09-102 P5 0.20000 C09-102 P10 0.10000 C09-102 P15 0.06667 C09-102 P20 0.05000 C09-102 P30 0.03333 C09-102 P50 0.02000 C09-102 P100 0.01000 C09-102 P200 0.00500 C09-102 P500 0.00200 C09-102 P1000 0.00133 C09-103 num_ret 682.00000 C09-103 num_unjug_ret@1 0.00000 C09-103 num_unjug_ret@10 0.00000 C09-103 num_unjug_ret@100 38.00000 C09-103 num_unjug_ret@1000 652.00000 C09-103 num_rel 58.00000 C09-103 num_rel_ret 14.00000 C09-103 map 0.07081 C09-103 R-prec 0.24138 C09-103 bpref 0.22384 C09-103 recip_rank 0.50000 C09-103 ndcg 0.30128 C09-103 ndcg5 0.49126 C09-103 ndcg10 0.48396 C09-103 ndcg20 0.36103 C09-103 ERR 0.19476 C09-103 ERR10 0.18442 C09-103 ERR20 0.18995 C09-103 P1 0.00000 C09-103 P5 0.40000 C09-103 P10 0.20000 C09-103 P15 0.13333 C09-103 P20 0.25000 C09-103 P30 0.30000 C09-103 P50 0.26000 C09-103 P100 0.14000 C09-103 P200 0.07000 C09-103 P500 0.02800 C09-103 P1000 0.02053 C09-104 num_ret 966.00000 C09-104 num_unjug_ret@1 0.00000 C09-104 num_unjug_ret@10 0.00000 C09-104 num_unjug_ret@100 51.00000 C09-104 num_unjug_ret@1000 871.00000 C09-104 num_rel 21.00000 C09-104 num_rel_ret 4.00000 C09-104 map 0.10502 C09-104 R-prec 0.14286 C09-104 bpref 0.13832 C09-104 recip_rank 1.00000 C09-104 ndcg 0.31954 C09-104 ndcg5 0.55315 C09-104 ndcg10 0.43735 C09-104 ndcg20 0.31772 C09-104 ERR 0.28435 C09-104 ERR10 0.28430 C09-104 ERR20 0.28430 C09-104 P1 1.00000 C09-104 P5 0.40000 C09-104 P10 0.20000 C09-104 P15 0.20000 C09-104 P20 0.15000 C09-104 P30 0.10000 C09-104 P50 0.06000 C09-104 P100 0.03000 C09-104 P200 0.01500 C09-104 P500 0.00600 C09-104 P1000 0.00414 C09-105 num_ret 717.00000 C09-105 num_unjug_ret@1 0.00000 C09-105 num_unjug_ret@10 0.00000 C09-105 num_unjug_ret@100 30.00000 C09-105 num_unjug_ret@1000 664.00000 C09-105 num_rel 109.00000 C09-105 num_rel_ret 18.00000 C09-105 map 0.02476 C09-105 R-prec 0.06422 C09-105 bpref 0.14687 C09-105 recip_rank 1.00000 C09-105 ndcg 0.17269 C09-105 ndcg5 0.30312 C09-105 ndcg10 0.27524 C09-105 ndcg20 0.23008 C09-105 ERR 0.10043 C09-105 ERR10 0.08813 C09-105 ERR20 0.09282 C09-105 P1 1.00000 C09-105 P5 0.40000 C09-105 P10 0.20000 C09-105 P15 0.13333 C09-105 P20 0.10000 C09-105 P30 0.10000 C09-105 P50 0.10000 C09-105 P100 0.07000 C09-105 P200 0.04500 C09-105 P500 0.03400 C09-105 P1000 0.02510 C09-106 num_ret 836.00000 C09-106 num_unjug_ret@1 0.00000 C09-106 num_unjug_ret@10 3.00000 C09-106 num_unjug_ret@100 63.00000 C09-106 num_unjug_ret@1000 797.00000 C09-106 num_rel 10.00000 C09-106 num_rel_ret 0.00000 C09-106 map 0.00000 C09-106 R-prec 0.00000 C09-106 bpref 0.00000 C09-106 recip_rank 0.00000 C09-106 ndcg 0.00000 C09-106 ndcg5 0.00000 C09-106 ndcg10 0.00000 C09-106 ndcg20 0.00000 C09-106 ERR 0.00000 C09-106 ERR10 0.00000 C09-106 ERR20 0.00000 C09-106 P1 0.00000 C09-106 P5 0.00000 C09-106 P10 0.00000 C09-106 P15 0.00000 C09-106 P20 0.00000 C09-106 P30 0.00000 C09-106 P50 0.00000 C09-106 P100 0.00000 C09-106 P200 0.00000 C09-106 P500 0.00000 C09-106 P1000 0.00000 C09-107 num_ret 275.00000 C09-107 num_unjug_ret@1 0.00000 C09-107 num_unjug_ret@10 2.00000 C09-107 num_unjug_ret@100 30.00000 C09-107 num_unjug_ret@1000 224.00000 C09-107 num_rel 52.00000 C09-107 num_rel_ret 4.00000 C09-107 map 0.00415 C09-107 R-prec 0.01923 C09-107 bpref 0.04845 C09-107 recip_rank 0.16667 C09-107 ndcg 0.05436 C09-107 ndcg5 0.04912 C09-107 ndcg10 0.03579 C09-107 ndcg20 0.03050 C09-107 ERR 0.03552 C09-107 ERR10 0.03125 C09-107 ERR20 0.03125 C09-107 P1 0.00000 C09-107 P5 0.00000 C09-107 P10 0.10000 C09-107 P15 0.06667 C09-107 P20 0.05000 C09-107 P30 0.03333 C09-107 P50 0.02000 C09-107 P100 0.01000 C09-107 P200 0.01500 C09-107 P500 0.01455 C09-107 P1000 0.01455 C09-108 num_ret 503.00000 C09-108 num_unjug_ret@1 0.00000 C09-108 num_unjug_ret@10 0.00000 C09-108 num_unjug_ret@100 5.00000 C09-108 num_unjug_ret@1000 459.00000 C09-108 num_rel 73.00000 C09-108 num_rel_ret 11.00000 C09-108 map 0.03079 C09-108 R-prec 0.12329 C09-108 bpref 0.14618 C09-108 recip_rank 0.10000 C09-108 ndcg 0.19195 C09-108 ndcg5 0.38698 C09-108 ndcg10 0.34694 C09-108 ndcg20 0.28562 C09-108 ERR 0.17396 C09-108 ERR10 0.16974 C09-108 ERR20 0.17364 C09-108 P1 0.00000 C09-108 P5 0.00000 C09-108 P10 0.10000 C09-108 P15 0.26667 C09-108 P20 0.30000 C09-108 P30 0.26667 C09-108 P50 0.18000 C09-108 P100 0.09000 C09-108 P200 0.05000 C09-108 P500 0.02200 C09-108 P1000 0.02187 C09-109 num_ret 984.00000 C09-109 num_unjug_ret@1 0.00000 C09-109 num_unjug_ret@10 3.00000 C09-109 num_unjug_ret@100 48.00000 C09-109 num_unjug_ret@1000 876.00000 C09-109 num_rel 11.00000 C09-109 num_rel_ret 3.00000 C09-109 map 0.00666 C09-109 R-prec 0.00000 C09-109 bpref 0.00000 C09-109 recip_rank 0.04762 C09-109 ndcg 0.10183 C09-109 ndcg5 0.00000 C09-109 ndcg10 0.00000 C09-109 ndcg20 0.00000 C09-109 ERR 0.00363 C09-109 ERR10 0.00000 C09-109 ERR20 0.00000 C09-109 P1 0.00000 C09-109 P5 0.00000 C09-109 P10 0.00000 C09-109 P15 0.00000 C09-109 P20 0.00000 C09-109 P30 0.03333 C09-109 P50 0.02000 C09-109 P100 0.01000 C09-109 P200 0.01000 C09-109 P500 0.00600 C09-109 P1000 0.00305 C09-110 num_ret 825.00000 C09-110 num_unjug_ret@1 0.00000 C09-110 num_unjug_ret@10 3.00000 C09-110 num_unjug_ret@100 52.00000 C09-110 num_unjug_ret@1000 763.00000 C09-110 num_rel 63.00000 C09-110 num_rel_ret 7.00000 C09-110 map 0.00185 C09-110 R-prec 0.01587 C09-110 bpref 0.04258 C09-110 recip_rank 0.06667 C09-110 ndcg 0.07267 C09-110 ndcg5 0.00000 C09-110 ndcg10 0.00000 C09-110 ndcg20 0.01210 C09-110 ERR 0.00605 C09-110 ERR10 0.00000 C09-110 ERR20 0.00417 C09-110 P1 0.00000 C09-110 P5 0.00000 C09-110 P10 0.00000 C09-110 P15 0.06667 C09-110 P20 0.05000 C09-110 P30 0.03333 C09-110 P50 0.02000 C09-110 P100 0.01000 C09-110 P200 0.00500 C09-110 P500 0.00800 C09-110 P1000 0.00848 C09-111 num_ret 776.00000 C09-111 num_unjug_ret@1 0.00000 C09-111 num_unjug_ret@10 0.00000 C09-111 num_unjug_ret@100 28.00000 C09-111 num_unjug_ret@1000 713.00000 C09-111 num_rel 141.00000 C09-111 num_rel_ret 40.00000 C09-111 map 0.11006 C09-111 R-prec 0.26241 C09-111 bpref 0.27353 C09-111 recip_rank 0.11111 C09-111 ndcg 0.20379 C09-111 ndcg5 0.23996 C09-111 ndcg10 0.20587 C09-111 ndcg20 0.16999 C09-111 ERR 0.21674 C09-111 ERR10 0.19821 C09-111 ERR20 0.20863 C09-111 P1 0.00000 C09-111 P5 0.00000 C09-111 P10 0.10000 C09-111 P15 0.40000 C09-111 P20 0.55000 C09-111 P30 0.46667 C09-111 P50 0.36000 C09-111 P100 0.37000 C09-111 P200 0.18500 C09-111 P500 0.07800 C09-111 P1000 0.05155 C09-112 num_ret 844.00000 C09-112 num_unjug_ret@1 0.00000 C09-112 num_unjug_ret@10 0.00000 C09-112 num_unjug_ret@100 42.00000 C09-112 num_unjug_ret@1000 791.00000 C09-112 num_rel 1.00000 C09-112 num_rel_ret 0.00000 C09-112 map 0.00000 C09-112 R-prec 0.00000 C09-112 bpref 0.00000 C09-112 recip_rank 0.00000 C09-112 ndcg 0.00000 C09-112 ndcg5 0.00000 C09-112 ndcg10 0.00000 C09-112 ndcg20 0.00000 C09-112 ERR 0.00000 C09-112 ERR10 0.00000 C09-112 ERR20 0.00000 C09-112 P1 0.00000 C09-112 P5 0.00000 C09-112 P10 0.00000 C09-112 P15 0.00000 C09-112 P20 0.00000 C09-112 P30 0.00000 C09-112 P50 0.00000 C09-112 P100 0.00000 C09-112 P200 0.00000 C09-112 P500 0.00000 C09-112 P1000 0.00000 C09-113 num_ret 908.00000 C09-113 num_unjug_ret@1 0.00000 C09-113 num_unjug_ret@10 0.00000 C09-113 num_unjug_ret@100 58.00000 C09-113 num_unjug_ret@1000 857.00000 C09-113 num_rel 8.00000 C09-113 num_rel_ret 0.00000 C09-113 map 0.00000 C09-113 R-prec 0.00000 C09-113 bpref 0.00000 C09-113 recip_rank 0.00000 C09-113 ndcg 0.00000 C09-113 ndcg5 0.00000 C09-113 ndcg10 0.00000 C09-113 ndcg20 0.00000 C09-113 ERR 0.00000 C09-113 ERR10 0.00000 C09-113 ERR20 0.00000 C09-113 P1 0.00000 C09-113 P5 0.00000 C09-113 P10 0.00000 C09-113 P15 0.00000 C09-113 P20 0.00000 C09-113 P30 0.00000 C09-113 P50 0.00000 C09-113 P100 0.00000 C09-113 P200 0.00000 C09-113 P500 0.00000 C09-113 P1000 0.00000 C09-114 num_ret 687.00000 C09-114 num_unjug_ret@1 0.00000 C09-114 num_unjug_ret@10 1.00000 C09-114 num_unjug_ret@100 43.00000 C09-114 num_unjug_ret@1000 648.00000 C09-114 num_rel 26.00000 C09-114 num_rel_ret 3.00000 C09-114 map 0.00400 C09-114 R-prec 0.03846 C09-114 bpref 0.06065 C09-114 recip_rank 0.06250 C09-114 ndcg 0.07630 C09-114 ndcg5 0.00000 C09-114 ndcg10 0.03412 C09-114 ndcg20 0.02753 C09-114 ERR 0.01632 C09-114 ERR10 0.01042 C09-114 ERR20 0.01042 C09-114 P1 0.00000 C09-114 P5 0.00000 C09-114 P10 0.00000 C09-114 P15 0.00000 C09-114 P20 0.05000 C09-114 P30 0.03333 C09-114 P50 0.02000 C09-114 P100 0.02000 C09-114 P200 0.01000 C09-114 P500 0.00600 C09-114 P1000 0.00437 C09-115 num_ret 948.00000 C09-115 num_unjug_ret@1 0.00000 C09-115 num_unjug_ret@10 0.00000 C09-115 num_unjug_ret@100 45.00000 C09-115 num_unjug_ret@1000 834.00000 C09-115 num_rel 4.00000 C09-115 num_rel_ret 0.00000 C09-115 map 0.00000 C09-115 R-prec 0.00000 C09-115 bpref 0.00000 C09-115 recip_rank 0.00000 C09-115 ndcg 0.00000 C09-115 ndcg5 0.00000 C09-115 ndcg10 0.00000 C09-115 ndcg20 0.00000 C09-115 ERR 0.00000 C09-115 ERR10 0.00000 C09-115 ERR20 0.00000 C09-115 P1 0.00000 C09-115 P5 0.00000 C09-115 P10 0.00000 C09-115 P15 0.00000 C09-115 P20 0.00000 C09-115 P30 0.00000 C09-115 P50 0.00000 C09-115 P100 0.00000 C09-115 P200 0.00000 C09-115 P500 0.00000 C09-115 P1000 0.00000 C09-116 num_ret 915.00000 C09-116 num_unjug_ret@1 0.00000 C09-116 num_unjug_ret@10 1.00000 C09-116 num_unjug_ret@100 58.00000 C09-116 num_unjug_ret@1000 844.00000 C09-116 num_rel 181.00000 C09-116 num_rel_ret 51.00000 C09-116 map 0.09423 C09-116 R-prec 0.18785 C09-116 bpref 0.26124 C09-116 recip_rank 1.00000 C09-116 ndcg 0.22239 C09-116 ndcg5 0.41336 C09-116 ndcg10 0.29901 C09-116 ndcg20 0.23498 C09-116 ERR 0.35738 C09-116 ERR10 0.34579 C09-116 ERR20 0.35427 C09-116 P1 1.00000 C09-116 P5 0.80000 C09-116 P10 0.70000 C09-116 P15 0.66667 C09-116 P20 0.60000 C09-116 P30 0.40000 C09-116 P50 0.28000 C09-116 P100 0.25000 C09-116 P200 0.17500 C09-116 P500 0.09000 C09-116 P1000 0.05574 C09-117 num_ret 948.00000 C09-117 num_unjug_ret@1 0.00000 C09-117 num_unjug_ret@10 0.00000 C09-117 num_unjug_ret@100 35.00000 C09-117 num_unjug_ret@1000 808.00000 C09-117 num_rel 234.00000 C09-117 num_rel_ret 79.00000 C09-117 map 0.08609 C09-117 R-prec 0.24359 C09-117 bpref 0.29530 C09-117 recip_rank 0.07692 C09-117 ndcg 0.23515 C09-117 ndcg5 0.04931 C09-117 ndcg10 0.04320 C09-117 ndcg20 0.16318 C09-117 ERR 0.10703 C09-117 ERR10 0.05212 C09-117 ERR20 0.10446 C09-117 P1 0.00000 C09-117 P5 0.00000 C09-117 P10 0.00000 C09-117 P15 0.06667 C09-117 P20 0.15000 C09-117 P30 0.33333 C09-117 P50 0.30000 C09-117 P100 0.31000 C09-117 P200 0.26500 C09-117 P500 0.14200 C09-117 P1000 0.08333 C09-118 num_ret 755.00000 C09-118 num_unjug_ret@1 0.00000 C09-118 num_unjug_ret@10 2.00000 C09-118 num_unjug_ret@100 59.00000 C09-118 num_unjug_ret@1000 700.00000 C09-118 num_rel 48.00000 C09-118 num_rel_ret 11.00000 C09-118 map 0.08818 C09-118 R-prec 0.22917 C09-118 bpref 0.19054 C09-118 recip_rank 1.00000 C09-118 ndcg 0.34170 C09-118 ndcg5 0.33916 C09-118 ndcg10 0.38525 C09-118 ndcg20 0.30926 C09-118 ERR 0.24453 C09-118 ERR10 0.22965 C09-118 ERR20 0.23759 C09-118 P1 1.00000 C09-118 P5 0.20000 C09-118 P10 0.40000 C09-118 P15 0.33333 C09-118 P20 0.30000 C09-118 P30 0.23333 C09-118 P50 0.22000 C09-118 P100 0.11000 C09-118 P200 0.05500 C09-118 P500 0.02200 C09-118 P1000 0.01457 C09-119 num_ret 985.00000 C09-119 num_unjug_ret@1 0.00000 C09-119 num_unjug_ret@10 1.00000 C09-119 num_unjug_ret@100 55.00000 C09-119 num_unjug_ret@1000 914.00000 C09-119 num_rel 71.00000 C09-119 num_rel_ret 25.00000 C09-119 map 0.10256 C09-119 R-prec 0.22535 C09-119 bpref 0.26443 C09-119 recip_rank 0.20000 C09-119 ndcg 0.20989 C09-119 ndcg5 0.04374 C09-119 ndcg10 0.07660 C09-119 ndcg20 0.16238 C09-119 ERR 0.06672 C09-119 ERR10 0.02837 C09-119 ERR20 0.05902 C09-119 P1 0.00000 C09-119 P5 0.20000 C09-119 P10 0.30000 C09-119 P15 0.40000 C09-119 P20 0.40000 C09-119 P30 0.43333 C09-119 P50 0.28000 C09-119 P100 0.20000 C09-119 P200 0.11000 C09-119 P500 0.04800 C09-119 P1000 0.02538 C09-120 num_ret 652.00000 C09-120 num_unjug_ret@1 0.00000 C09-120 num_unjug_ret@10 2.00000 C09-120 num_unjug_ret@100 36.00000 C09-120 num_unjug_ret@1000 612.00000 C09-120 num_rel 25.00000 C09-120 num_rel_ret 0.00000 C09-120 map 0.00000 C09-120 R-prec 0.00000 C09-120 bpref 0.00000 C09-120 recip_rank 0.00000 C09-120 ndcg 0.00000 C09-120 ndcg5 0.00000 C09-120 ndcg10 0.00000 C09-120 ndcg20 0.00000 C09-120 ERR 0.00000 C09-120 ERR10 0.00000 C09-120 ERR20 0.00000 C09-120 P1 0.00000 C09-120 P5 0.00000 C09-120 P10 0.00000 C09-120 P15 0.00000 C09-120 P20 0.00000 C09-120 P30 0.00000 C09-120 P50 0.00000 C09-120 P100 0.00000 C09-120 P200 0.00000 C09-120 P500 0.00000 C09-120 P1000 0.00000 C09-121 num_ret 872.00000 C09-121 num_unjug_ret@1 0.00000 C09-121 num_unjug_ret@10 0.00000 C09-121 num_unjug_ret@100 54.00000 C09-121 num_unjug_ret@1000 810.00000 C09-121 num_rel 78.00000 C09-121 num_rel_ret 17.00000 C09-121 map 0.05653 C09-121 R-prec 0.17949 C09-121 bpref 0.19099 C09-121 recip_rank 0.14286 C09-121 ndcg 0.14773 C09-121 ndcg5 0.14895 C09-121 ndcg10 0.14594 C09-121 ndcg20 0.13046 C09-121 ERR 0.07843 C09-121 ERR10 0.06109 C09-121 ERR20 0.07033 C09-121 P1 0.00000 C09-121 P5 0.00000 C09-121 P10 0.40000 C09-121 P15 0.33333 C09-121 P20 0.30000 C09-121 P30 0.26667 C09-121 P50 0.26000 C09-121 P100 0.15000 C09-121 P200 0.08000 C09-121 P500 0.03400 C09-121 P1000 0.01950 C09-122 num_ret 267.00000 C09-122 num_unjug_ret@1 0.00000 C09-122 num_unjug_ret@10 0.00000 C09-122 num_unjug_ret@100 9.00000 C09-122 num_unjug_ret@1000 220.00000 C09-122 num_rel 5.00000 C09-122 num_rel_ret 2.00000 C09-122 map 0.02000 C09-122 R-prec 0.00000 C09-122 bpref 0.08000 C09-122 recip_rank 0.06667 C09-122 ndcg 0.13235 C09-122 ndcg5 0.08703 C09-122 ndcg10 0.08703 C09-122 ndcg20 0.08703 C09-122 ERR 0.01842 C09-122 ERR10 0.01563 C09-122 ERR20 0.01563 C09-122 P1 0.00000 C09-122 P5 0.00000 C09-122 P10 0.00000 C09-122 P15 0.06667 C09-122 P20 0.05000 C09-122 P30 0.03333 C09-122 P50 0.02000 C09-122 P100 0.02000 C09-122 P200 0.01000 C09-122 P500 0.00749 C09-122 P1000 0.00749 C09-123 num_ret 631.00000 C09-123 num_unjug_ret@1 0.00000 C09-123 num_unjug_ret@10 0.00000 C09-123 num_unjug_ret@100 33.00000 C09-123 num_unjug_ret@1000 550.00000 C09-123 num_rel 98.00000 C09-123 num_rel_ret 31.00000 C09-123 map 0.12165 C09-123 R-prec 0.27551 C09-123 bpref 0.29810 C09-123 recip_rank 1.00000 C09-123 ndcg 0.33270 C09-123 ndcg5 0.47244 C09-123 ndcg10 0.65765 C09-123 ndcg20 0.59167 C09-123 ERR 0.22646 C09-123 ERR10 0.21550 C09-123 ERR20 0.22452 C09-123 P1 1.00000 C09-123 P5 0.20000 C09-123 P10 0.10000 C09-123 P15 0.26667 C09-123 P20 0.35000 C09-123 P30 0.46667 C09-123 P50 0.44000 C09-123 P100 0.27000 C09-123 P200 0.14500 C09-123 P500 0.06000 C09-123 P1000 0.04913 C09-124 num_ret 991.00000 C09-124 num_unjug_ret@1 0.00000 C09-124 num_unjug_ret@10 0.00000 C09-124 num_unjug_ret@100 46.00000 C09-124 num_unjug_ret@1000 909.00000 C09-124 num_rel 63.00000 C09-124 num_rel_ret 8.00000 C09-124 map 0.01361 C09-124 R-prec 0.09524 C09-124 bpref 0.07760 C09-124 recip_rank 0.07692 C09-124 ndcg 0.13987 C09-124 ndcg5 0.00000 C09-124 ndcg10 0.12988 C09-124 ndcg20 0.08382 C09-124 ERR 0.08304 C09-124 ERR10 0.07322 C09-124 ERR20 0.07322 C09-124 P1 0.00000 C09-124 P5 0.00000 C09-124 P10 0.00000 C09-124 P15 0.13333 C09-124 P20 0.10000 C09-124 P30 0.06667 C09-124 P50 0.12000 C09-124 P100 0.07000 C09-124 P200 0.03500 C09-124 P500 0.01600 C09-124 P1000 0.00807 C09-125 num_ret 913.00000 C09-125 num_unjug_ret@1 0.00000 C09-125 num_unjug_ret@10 0.00000 C09-125 num_unjug_ret@100 55.00000 C09-125 num_unjug_ret@1000 853.00000 C09-125 num_rel 47.00000 C09-125 num_rel_ret 12.00000 C09-125 map 0.01674 C09-125 R-prec 0.06383 C09-125 bpref 0.14894 C09-125 recip_rank 0.12500 C09-125 ndcg 0.13213 C09-125 ndcg5 0.07571 C09-125 ndcg10 0.08476 C09-125 ndcg20 0.07532 C09-125 ERR 0.08438 C09-125 ERR10 0.08032 C09-125 ERR20 0.08032 C09-125 P1 0.00000 C09-125 P5 0.00000 C09-125 P10 0.10000 C09-125 P15 0.06667 C09-125 P20 0.10000 C09-125 P30 0.10000 C09-125 P50 0.06000 C09-125 P100 0.06000 C09-125 P200 0.04000 C09-125 P500 0.02400 C09-125 P1000 0.01314 C09-126 num_ret 666.00000 C09-126 num_unjug_ret@1 0.00000 C09-126 num_unjug_ret@10 2.00000 C09-126 num_unjug_ret@100 22.00000 C09-126 num_unjug_ret@1000 571.00000 C09-126 num_rel 5.00000 C09-126 num_rel_ret 0.00000 C09-126 map 0.00000 C09-126 R-prec 0.00000 C09-126 bpref 0.00000 C09-126 recip_rank 0.00000 C09-126 ndcg 0.00000 C09-126 ndcg5 0.00000 C09-126 ndcg10 0.00000 C09-126 ndcg20 0.00000 C09-126 ERR 0.00000 C09-126 ERR10 0.00000 C09-126 ERR20 0.00000 C09-126 P1 0.00000 C09-126 P5 0.00000 C09-126 P10 0.00000 C09-126 P15 0.00000 C09-126 P20 0.00000 C09-126 P30 0.00000 C09-126 P50 0.00000 C09-126 P100 0.00000 C09-126 P200 0.00000 C09-126 P500 0.00000 C09-126 P1000 0.00000 C09-127 num_ret 495.00000 C09-127 num_unjug_ret@1 0.00000 C09-127 num_unjug_ret@10 1.00000 C09-127 num_unjug_ret@100 19.00000 C09-127 num_unjug_ret@1000 400.00000 C09-127 num_rel 124.00000 C09-127 num_rel_ret 44.00000 C09-127 map 0.11805 C09-127 R-prec 0.19355 C09-127 bpref 0.29845 C09-127 recip_rank 1.00000 C09-127 ndcg 0.36804 C09-127 ndcg5 0.33333 C09-127 ndcg10 0.37714 C09-127 ndcg20 0.29643 C09-127 ERR 0.18295 C09-127 ERR10 0.16728 C09-127 ERR20 0.17421 C09-127 P1 1.00000 C09-127 P5 1.00000 C09-127 P10 0.70000 C09-127 P15 0.60000 C09-127 P20 0.45000 C09-127 P30 0.30000 C09-127 P50 0.26000 C09-127 P100 0.23000 C09-127 P200 0.14500 C09-127 P500 0.08485 C09-127 P1000 0.08889 C09-128 num_ret 659.00000 C09-128 num_unjug_ret@1 0.00000 C09-128 num_unjug_ret@10 1.00000 C09-128 num_unjug_ret@100 9.00000 C09-128 num_unjug_ret@1000 571.00000 C09-128 num_rel 60.00000 C09-128 num_rel_ret 14.00000 C09-128 map 0.02840 C09-128 R-prec 0.11667 C09-128 bpref 0.15583 C09-128 recip_rank 0.33333 C09-128 ndcg 0.23994 C09-128 ndcg5 0.16958 C09-128 ndcg10 0.18844 C09-128 ndcg20 0.29599 C09-128 ERR 0.11948 C09-128 ERR10 0.08789 C09-128 ERR20 0.11623 C09-128 P1 0.00000 C09-128 P5 0.20000 C09-128 P10 0.10000 C09-128 P15 0.06667 C09-128 P20 0.10000 C09-128 P30 0.16667 C09-128 P50 0.14000 C09-128 P100 0.08000 C09-128 P200 0.06500 C09-128 P500 0.02800 C09-128 P1000 0.02124 C09-129 num_ret 976.00000 C09-129 num_unjug_ret@1 0.00000 C09-129 num_unjug_ret@10 0.00000 C09-129 num_unjug_ret@100 53.00000 C09-129 num_unjug_ret@1000 868.00000 C09-129 num_rel 27.00000 C09-129 num_rel_ret 3.00000 C09-129 map 0.00062 C09-129 R-prec 0.00000 C09-129 bpref 0.00000 C09-129 recip_rank 0.00476 C09-129 ndcg 0.01975 C09-129 ndcg5 0.00000 C09-129 ndcg10 0.00000 C09-129 ndcg20 0.00000 C09-129 ERR 0.00110 C09-129 ERR10 0.00000 C09-129 ERR20 0.00000 C09-129 P1 0.00000 C09-129 P5 0.00000 C09-129 P10 0.00000 C09-129 P15 0.00000 C09-129 P20 0.00000 C09-129 P30 0.00000 C09-129 P50 0.00000 C09-129 P100 0.00000 C09-129 P200 0.00000 C09-129 P500 0.00600 C09-129 P1000 0.00307 C09-130 num_ret 714.00000 C09-130 num_unjug_ret@1 0.00000 C09-130 num_unjug_ret@10 0.00000 C09-130 num_unjug_ret@100 29.00000 C09-130 num_unjug_ret@1000 619.00000 C09-130 num_rel 282.00000 C09-130 num_rel_ret 70.00000 C09-130 map 0.07906 C09-130 R-prec 0.17730 C09-130 bpref 0.20919 C09-130 recip_rank 1.00000 C09-130 ndcg 0.24213 C09-130 ndcg5 0.50797 C09-130 ndcg10 0.40219 C09-130 ndcg20 0.29606 C09-130 ERR 0.54248 C09-130 ERR10 0.53210 C09-130 ERR20 0.53809 C09-130 P1 1.00000 C09-130 P5 0.40000 C09-130 P10 0.20000 C09-130 P15 0.20000 C09-130 P20 0.40000 C09-130 P30 0.46667 C09-130 P50 0.44000 C09-130 P100 0.36000 C09-130 P200 0.22500 C09-130 P500 0.11800 C09-130 P1000 0.09804 C09-131 num_ret 976.00000 C09-131 num_unjug_ret@1 0.00000 C09-131 num_unjug_ret@10 2.00000 C09-131 num_unjug_ret@100 68.00000 C09-131 num_unjug_ret@1000 895.00000 C09-131 num_rel 4.00000 C09-131 num_rel_ret 3.00000 C09-131 map 0.00886 C09-131 R-prec 0.00000 C09-131 bpref 0.00000 C09-131 recip_rank 0.02703 C09-131 ndcg 0.10548 C09-131 ndcg5 0.00000 C09-131 ndcg10 0.00000 C09-131 ndcg20 0.00000 C09-131 ERR 0.00203 C09-131 ERR10 0.00000 C09-131 ERR20 0.00000 C09-131 P1 0.00000 C09-131 P5 0.00000 C09-131 P10 0.00000 C09-131 P15 0.00000 C09-131 P20 0.00000 C09-131 P30 0.00000 C09-131 P50 0.02000 C09-131 P100 0.01000 C09-131 P200 0.00500 C09-131 P500 0.00400 C09-131 P1000 0.00307 C09-132 num_ret 301.00000 C09-132 num_unjug_ret@1 0.00000 C09-132 num_unjug_ret@10 2.00000 C09-132 num_unjug_ret@100 24.00000 C09-132 num_unjug_ret@1000 282.00000 C09-132 num_rel 50.00000 C09-132 num_rel_ret 2.00000 C09-132 map 0.00163 C09-132 R-prec 0.02000 C09-132 bpref 0.03360 C09-132 recip_rank 0.07692 C09-132 ndcg 0.04147 C09-132 ndcg5 0.00000 C09-132 ndcg10 0.06943 C09-132 ndcg20 0.04481 C09-132 ERR 0.02466 C09-132 ERR10 0.02344 C09-132 ERR20 0.02344 C09-132 P1 0.00000 C09-132 P5 0.00000 C09-132 P10 0.00000 C09-132 P15 0.06667 C09-132 P20 0.05000 C09-132 P30 0.03333 C09-132 P50 0.02000 C09-132 P100 0.01000 C09-132 P200 0.00500 C09-132 P500 0.00664 C09-132 P1000 0.00664 C09-133 num_ret 713.00000 C09-133 num_unjug_ret@1 0.00000 C09-133 num_unjug_ret@10 0.00000 C09-133 num_unjug_ret@100 33.00000 C09-133 num_unjug_ret@1000 636.00000 C09-133 num_rel 140.00000 C09-133 num_rel_ret 28.00000 C09-133 map 0.04460 C09-133 R-prec 0.14286 C09-133 bpref 0.18908 C09-133 recip_rank 1.00000 C09-133 ndcg 0.27187 C09-133 ndcg5 0.85393 C09-133 ndcg10 0.84159 C09-133 ndcg20 0.57865 C09-133 ERR 0.15684 C09-133 ERR10 0.14464 C09-133 ERR20 0.14713 C09-133 P1 1.00000 C09-133 P5 0.20000 C09-133 P10 0.30000 C09-133 P15 0.20000 C09-133 P20 0.30000 C09-133 P30 0.26667 C09-133 P50 0.18000 C09-133 P100 0.18000 C09-133 P200 0.11000 C09-133 P500 0.05400 C09-133 P1000 0.03927 C09-134 num_ret 833.00000 C09-134 num_unjug_ret@1 0.00000 C09-134 num_unjug_ret@10 0.00000 C09-134 num_unjug_ret@100 58.00000 C09-134 num_unjug_ret@1000 718.00000 C09-134 num_rel 23.00000 C09-134 num_rel_ret 3.00000 C09-134 map 0.00066 C09-134 R-prec 0.00000 C09-134 bpref 0.00000 C09-134 recip_rank 0.00575 C09-134 ndcg 0.04736 C09-134 ndcg5 0.00000 C09-134 ndcg10 0.00000 C09-134 ndcg20 0.00000 C09-134 ERR 0.00068 C09-134 ERR10 0.00000 C09-134 ERR20 0.00000 C09-134 P1 0.00000 C09-134 P5 0.00000 C09-134 P10 0.00000 C09-134 P15 0.00000 C09-134 P20 0.00000 C09-134 P30 0.00000 C09-134 P50 0.00000 C09-134 P100 0.00000 C09-134 P200 0.00500 C09-134 P500 0.00400 C09-134 P1000 0.00360 C09-135 num_ret 805.00000 C09-135 num_unjug_ret@1 0.00000 C09-135 num_unjug_ret@10 0.00000 C09-135 num_unjug_ret@100 27.00000 C09-135 num_unjug_ret@1000 728.00000 C09-135 num_rel 3.00000 C09-135 num_rel_ret 0.00000 C09-135 map 0.00000 C09-135 R-prec 0.00000 C09-135 bpref 0.00000 C09-135 recip_rank 0.00000 C09-135 ndcg 0.00000 C09-135 ndcg5 0.00000 C09-135 ndcg10 0.00000 C09-135 ndcg20 0.00000 C09-135 ERR 0.00000 C09-135 ERR10 0.00000 C09-135 ERR20 0.00000 C09-135 P1 0.00000 C09-135 P5 0.00000 C09-135 P10 0.00000 C09-135 P15 0.00000 C09-135 P20 0.00000 C09-135 P30 0.00000 C09-135 P50 0.00000 C09-135 P100 0.00000 C09-135 P200 0.00000 C09-135 P500 0.00000 C09-135 P1000 0.00000 C09-136 num_ret 654.00000 C09-136 num_unjug_ret@1 0.00000 C09-136 num_unjug_ret@10 4.00000 C09-136 num_unjug_ret@100 38.00000 C09-136 num_unjug_ret@1000 578.00000 C09-136 num_rel 33.00000 C09-136 num_rel_ret 2.00000 C09-136 map 0.00016 C09-136 R-prec 0.00000 C09-136 bpref 0.00000 C09-136 recip_rank 0.00297 C09-136 ndcg 0.02815 C09-136 ndcg5 0.00000 C09-136 ndcg10 0.00000 C09-136 ndcg20 0.00000 C09-136 ERR 0.00244 C09-136 ERR10 0.00000 C09-136 ERR20 0.00000 C09-136 P1 0.00000 C09-136 P5 0.00000 C09-136 P10 0.00000 C09-136 P15 0.00000 C09-136 P20 0.00000 C09-136 P30 0.00000 C09-136 P50 0.00000 C09-136 P100 0.00000 C09-136 P200 0.00000 C09-136 P500 0.00200 C09-136 P1000 0.00306 C09-137 num_ret 937.00000 C09-137 num_unjug_ret@1 0.00000 C09-137 num_unjug_ret@10 1.00000 C09-137 num_unjug_ret@100 43.00000 C09-137 num_unjug_ret@1000 832.00000 C09-137 num_rel 189.00000 C09-137 num_rel_ret 64.00000 C09-137 map 0.17324 C09-137 R-prec 0.24868 C09-137 bpref 0.29960 C09-137 recip_rank 1.00000 C09-137 ndcg 0.38358 C09-137 ndcg5 0.42857 C09-137 ndcg10 0.36771 C09-137 ndcg20 0.45640 C09-137 ERR 0.38131 C09-137 ERR10 0.36751 C09-137 ERR20 0.38109 C09-137 P1 1.00000 C09-137 P5 1.00000 C09-137 P10 0.80000 C09-137 P15 0.86667 C09-137 P20 0.90000 C09-137 P30 0.73333 C09-137 P50 0.54000 C09-137 P100 0.38000 C09-137 P200 0.23500 C09-137 P500 0.11800 C09-137 P1000 0.06830 C09-138 num_ret 915.00000 C09-138 num_unjug_ret@1 0.00000 C09-138 num_unjug_ret@10 1.00000 C09-138 num_unjug_ret@100 69.00000 C09-138 num_unjug_ret@1000 896.00000 C09-138 num_rel 15.00000 C09-138 num_rel_ret 4.00000 C09-138 map 0.00191 C09-138 R-prec 0.00000 C09-138 bpref 0.13333 C09-138 recip_rank 0.00592 C09-138 ndcg 0.08519 C09-138 ndcg5 0.00000 C09-138 ndcg10 0.00000 C09-138 ndcg20 0.00000 C09-138 ERR 0.00106 C09-138 ERR10 0.00000 C09-138 ERR20 0.00000 C09-138 P1 0.00000 C09-138 P5 0.00000 C09-138 P10 0.00000 C09-138 P15 0.00000 C09-138 P20 0.00000 C09-138 P30 0.00000 C09-138 P50 0.00000 C09-138 P100 0.00000 C09-138 P200 0.01000 C09-138 P500 0.00400 C09-138 P1000 0.00437 C09-139 num_ret 786.00000 C09-139 num_unjug_ret@1 0.00000 C09-139 num_unjug_ret@10 1.00000 C09-139 num_unjug_ret@100 43.00000 C09-139 num_unjug_ret@1000 704.00000 C09-139 num_rel 24.00000 C09-139 num_rel_ret 11.00000 C09-139 map 0.10245 C09-139 R-prec 0.29167 C09-139 bpref 0.24306 C09-139 recip_rank 0.16667 C09-139 ndcg 0.35623 C09-139 ndcg5 0.00000 C09-139 ndcg10 0.22937 C09-139 ndcg20 0.28173 C09-139 ERR 0.07987 C09-139 ERR10 0.06300 C09-139 ERR20 0.07686 C09-139 P1 0.00000 C09-139 P5 0.00000 C09-139 P10 0.20000 C09-139 P15 0.26667 C09-139 P20 0.25000 C09-139 P30 0.26667 C09-139 P50 0.16000 C09-139 P100 0.08000 C09-139 P200 0.05500 C09-139 P500 0.02200 C09-139 P1000 0.01399 C09-140 num_ret 400.00000 C09-140 num_unjug_ret@1 0.00000 C09-140 num_unjug_ret@10 0.00000 C09-140 num_unjug_ret@100 9.00000 C09-140 num_unjug_ret@1000 350.00000 C09-140 num_rel 4.00000 C09-140 num_rel_ret 0.00000 C09-140 map 0.00000 C09-140 R-prec 0.00000 C09-140 bpref 0.00000 C09-140 recip_rank 0.00000 C09-140 ndcg 0.00000 C09-140 ndcg5 0.00000 C09-140 ndcg10 0.00000 C09-140 ndcg20 0.00000 C09-140 ERR 0.00000 C09-140 ERR10 0.00000 C09-140 ERR20 0.00000 C09-140 P1 0.00000 C09-140 P5 0.00000 C09-140 P10 0.00000 C09-140 P15 0.00000 C09-140 P20 0.00000 C09-140 P30 0.00000 C09-140 P50 0.00000 C09-140 P100 0.00000 C09-140 P200 0.00000 C09-140 P500 0.00000 C09-140 P1000 0.00000 C09-141 num_ret 986.00000 C09-141 num_unjug_ret@1 0.00000 C09-141 num_unjug_ret@10 1.00000 C09-141 num_unjug_ret@100 39.00000 C09-141 num_unjug_ret@1000 875.00000 C09-141 num_rel 34.00000 C09-141 num_rel_ret 21.00000 C09-141 map 0.18758 C09-141 R-prec 0.29412 C09-141 bpref 0.36938 C09-141 recip_rank 1.00000 C09-141 ndcg 0.40157 C09-141 ndcg5 0.11305 C09-141 ndcg10 0.14305 C09-141 ndcg20 0.27116 C09-141 ERR 0.11902 C09-141 ERR10 0.08346 C09-141 ERR20 0.11183 C09-141 P1 1.00000 C09-141 P5 0.20000 C09-141 P10 0.40000 C09-141 P15 0.33333 C09-141 P20 0.30000 C09-141 P30 0.26667 C09-141 P50 0.26000 C09-141 P100 0.18000 C09-141 P200 0.10000 C09-141 P500 0.04200 C09-141 P1000 0.02130 C09-142 num_ret 594.00000 C09-142 num_unjug_ret@1 0.00000 C09-142 num_unjug_ret@10 0.00000 C09-142 num_unjug_ret@100 21.00000 C09-142 num_unjug_ret@1000 556.00000 C09-142 num_rel 45.00000 C09-142 num_rel_ret 2.00000 C09-142 map 0.00049 C09-142 R-prec 0.00000 C09-142 bpref 0.03556 C09-142 recip_rank 0.00909 C09-142 ndcg 0.03113 C09-142 ndcg5 0.00000 C09-142 ndcg10 0.00000 C09-142 ndcg20 0.00000 C09-142 ERR 0.00312 C09-142 ERR10 0.00000 C09-142 ERR20 0.00000 C09-142 P1 0.00000 C09-142 P5 0.00000 C09-142 P10 0.00000 C09-142 P15 0.00000 C09-142 P20 0.00000 C09-142 P30 0.00000 C09-142 P50 0.00000 C09-142 P100 0.00000 C09-142 P200 0.01000 C09-142 P500 0.00400 C09-142 P1000 0.00337 C09-143 num_ret 979.00000 C09-143 num_unjug_ret@1 0.00000 C09-143 num_unjug_ret@10 1.00000 C09-143 num_unjug_ret@100 80.00000 C09-143 num_unjug_ret@1000 927.00000 C09-143 num_rel 25.00000 C09-143 num_rel_ret 0.00000 C09-143 map 0.00000 C09-143 R-prec 0.00000 C09-143 bpref 0.00000 C09-143 recip_rank 0.00000 C09-143 ndcg 0.00000 C09-143 ndcg5 0.00000 C09-143 ndcg10 0.00000 C09-143 ndcg20 0.00000 C09-143 ERR 0.00000 C09-143 ERR10 0.00000 C09-143 ERR20 0.00000 C09-143 P1 0.00000 C09-143 P5 0.00000 C09-143 P10 0.00000 C09-143 P15 0.00000 C09-143 P20 0.00000 C09-143 P30 0.00000 C09-143 P50 0.00000 C09-143 P100 0.00000 C09-143 P200 0.00000 C09-143 P500 0.00000 C09-143 P1000 0.00000 C09-144 num_ret 726.00000 C09-144 num_unjug_ret@1 0.00000 C09-144 num_unjug_ret@10 0.00000 C09-144 num_unjug_ret@100 29.00000 C09-144 num_unjug_ret@1000 603.00000 C09-144 num_rel 97.00000 C09-144 num_rel_ret 20.00000 C09-144 map 0.04126 C09-144 R-prec 0.11340 C09-144 bpref 0.13700 C09-144 recip_rank 1.00000 C09-144 ndcg 0.24770 C09-144 ndcg5 0.45918 C09-144 ndcg10 0.29798 C09-144 ndcg20 0.21668 C09-144 ERR 0.24537 C09-144 ERR10 0.22479 C09-144 ERR20 0.23113 C09-144 P1 1.00000 C09-144 P5 0.40000 C09-144 P10 0.20000 C09-144 P15 0.13333 C09-144 P20 0.15000 C09-144 P30 0.10000 C09-144 P50 0.14000 C09-144 P100 0.11000 C09-144 P200 0.07500 C09-144 P500 0.03800 C09-144 P1000 0.02755 C09-145 num_ret 709.00000 C09-145 num_unjug_ret@1 0.00000 C09-145 num_unjug_ret@10 3.00000 C09-145 num_unjug_ret@100 33.00000 C09-145 num_unjug_ret@1000 622.00000 C09-145 num_rel 101.00000 C09-145 num_rel_ret 24.00000 C09-145 map 0.04149 C09-145 R-prec 0.12871 C09-145 bpref 0.17292 C09-145 recip_rank 1.00000 C09-145 ndcg 0.23290 C09-145 ndcg5 0.38290 C09-145 ndcg10 0.24847 C09-145 ndcg20 0.21906 C09-145 ERR 0.21405 C09-145 ERR10 0.19766 C09-145 ERR20 0.20397 C09-145 P1 1.00000 C09-145 P5 0.40000 C09-145 P10 0.20000 C09-145 P15 0.20000 C09-145 P20 0.20000 C09-145 P30 0.13333 C09-145 P50 0.14000 C09-145 P100 0.13000 C09-145 P200 0.09500 C09-145 P500 0.04400 C09-145 P1000 0.03385 C09-146 num_ret 280.00000 C09-146 num_unjug_ret@1 0.00000 C09-146 num_unjug_ret@10 0.00000 C09-146 num_unjug_ret@100 56.00000 C09-146 num_unjug_ret@1000 220.00000 C09-146 num_rel 16.00000 C09-146 num_rel_ret 10.00000 C09-146 map 0.29639 C09-146 R-prec 0.31250 C09-146 bpref 0.30469 C09-146 recip_rank 1.00000 C09-146 ndcg 0.52269 C09-146 ndcg5 0.30312 C09-146 ndcg10 0.43672 C09-146 ndcg20 0.47305 C09-146 ERR 0.12568 C09-146 ERR10 0.11396 C09-146 ERR20 0.12361 C09-146 P1 1.00000 C09-146 P5 0.40000 C09-146 P10 0.40000 C09-146 P15 0.33333 C09-146 P20 0.40000 C09-146 P30 0.30000 C09-146 P50 0.20000 C09-146 P100 0.10000 C09-146 P200 0.05000 C09-146 P500 0.03571 C09-146 P1000 0.03571 C09-147 num_ret 845.00000 C09-147 num_unjug_ret@1 0.00000 C09-147 num_unjug_ret@10 0.00000 C09-147 num_unjug_ret@100 28.00000 C09-147 num_unjug_ret@1000 740.00000 C09-147 num_rel 177.00000 C09-147 num_rel_ret 50.00000 C09-147 map 0.07475 C09-147 R-prec 0.20904 C09-147 bpref 0.25659 C09-147 recip_rank 1.00000 C09-147 ndcg 0.30096 C09-147 ndcg5 0.83042 C09-147 ndcg10 0.61728 C09-147 ndcg20 0.50755 C09-147 ERR 0.34577 C09-147 ERR10 0.32835 C09-147 ERR20 0.34024 C09-147 P1 1.00000 C09-147 P5 0.40000 C09-147 P10 0.40000 C09-147 P15 0.26667 C09-147 P20 0.20000 C09-147 P30 0.16667 C09-147 P50 0.30000 C09-147 P100 0.29000 C09-147 P200 0.19000 C09-147 P500 0.09200 C09-147 P1000 0.05917 C09-148 num_ret 879.00000 C09-148 num_unjug_ret@1 0.00000 C09-148 num_unjug_ret@10 0.00000 C09-148 num_unjug_ret@100 38.00000 C09-148 num_unjug_ret@1000 821.00000 C09-148 num_rel 80.00000 C09-148 num_rel_ret 14.00000 C09-148 map 0.06092 C09-148 R-prec 0.15000 C09-148 bpref 0.15156 C09-148 recip_rank 1.00000 C09-148 ndcg 0.23572 C09-148 ndcg5 0.50291 C09-148 ndcg10 0.39684 C09-148 ndcg20 0.30473 C09-148 ERR 0.25541 C09-148 ERR10 0.24927 C09-148 ERR20 0.24927 C09-148 P1 1.00000 C09-148 P5 0.20000 C09-148 P10 0.40000 C09-148 P15 0.40000 C09-148 P20 0.35000 C09-148 P30 0.26667 C09-148 P50 0.22000 C09-148 P100 0.12000 C09-148 P200 0.06500 C09-148 P500 0.02800 C09-148 P1000 0.01593 C09-149 num_ret 841.00000 C09-149 num_unjug_ret@1 0.00000 C09-149 num_unjug_ret@10 0.00000 C09-149 num_unjug_ret@100 39.00000 C09-149 num_unjug_ret@1000 749.00000 C09-149 num_rel 62.00000 C09-149 num_rel_ret 22.00000 C09-149 map 0.02966 C09-149 R-prec 0.11290 C09-149 bpref 0.17482 C09-149 recip_rank 0.05263 C09-149 ndcg 0.24206 C09-149 ndcg5 0.00000 C09-149 ndcg10 0.06625 C09-149 ndcg20 0.04276 C09-149 ERR 0.02006 C09-149 ERR10 0.00694 C09-149 ERR20 0.00694 C09-149 P1 0.00000 C09-149 P5 0.00000 C09-149 P10 0.00000 C09-149 P15 0.00000 C09-149 P20 0.05000 C09-149 P30 0.03333 C09-149 P50 0.08000 C09-149 P100 0.09000 C09-149 P200 0.08500 C09-149 P500 0.04200 C09-149 P1000 0.02616 C09-150 num_ret 707.00000 C09-150 num_unjug_ret@1 0.00000 C09-150 num_unjug_ret@10 1.00000 C09-150 num_unjug_ret@100 23.00000 C09-150 num_unjug_ret@1000 607.00000 C09-150 num_rel 4.00000 C09-150 num_rel_ret 1.00000 C09-150 map 0.00122 C09-150 R-prec 0.00000 C09-150 bpref 0.00000 C09-150 recip_rank 0.00488 C09-150 ndcg 0.05468 C09-150 ndcg5 0.00000 C09-150 ndcg10 0.00000 C09-150 ndcg20 0.00000 C09-150 ERR 0.00134 C09-150 ERR10 0.00000 C09-150 ERR20 0.00000 C09-150 P1 0.00000 C09-150 P5 0.00000 C09-150 P10 0.00000 C09-150 P15 0.00000 C09-150 P20 0.00000 C09-150 P30 0.00000 C09-150 P50 0.00000 C09-150 P100 0.00000 C09-150 P200 0.00000 C09-150 P500 0.00200 C09-150 P1000 0.00141 C09-151 num_ret 994.00000 C09-151 num_unjug_ret@1 0.00000 C09-151 num_unjug_ret@10 0.00000 C09-151 num_unjug_ret@100 62.00000 C09-151 num_unjug_ret@1000 939.00000 C09-151 num_rel 148.00000 C09-151 num_rel_ret 12.00000 C09-151 map 0.02916 C09-151 R-prec 0.07432 C09-151 bpref 0.07405 C09-151 recip_rank 1.00000 C09-151 ndcg 0.08391 C09-151 ndcg5 0.17743 C09-151 ndcg10 0.12036 C09-151 ndcg20 0.09145 C09-151 ERR 0.28420 C09-151 ERR10 0.28353 C09-151 ERR20 0.28375 C09-151 P1 1.00000 C09-151 P5 0.60000 C09-151 P10 0.40000 C09-151 P15 0.26667 C09-151 P20 0.25000 C09-151 P30 0.23333 C09-151 P50 0.16000 C09-151 P100 0.11000 C09-151 P200 0.06000 C09-151 P500 0.02400 C09-151 P1000 0.01207 C09-152 num_ret 193.00000 C09-152 num_unjug_ret@1 0.00000 C09-152 num_unjug_ret@10 0.00000 C09-152 num_unjug_ret@100 11.00000 C09-152 num_unjug_ret@1000 171.00000 C09-152 num_rel 8.00000 C09-152 num_rel_ret 0.00000 C09-152 map 0.00000 C09-152 R-prec 0.00000 C09-152 bpref 0.00000 C09-152 recip_rank 0.00000 C09-152 ndcg 0.00000 C09-152 ndcg5 0.00000 C09-152 ndcg10 0.00000 C09-152 ndcg20 0.00000 C09-152 ERR 0.00000 C09-152 ERR10 0.00000 C09-152 ERR20 0.00000 C09-152 P1 0.00000 C09-152 P5 0.00000 C09-152 P10 0.00000 C09-152 P15 0.00000 C09-152 P20 0.00000 C09-152 P30 0.00000 C09-152 P50 0.00000 C09-152 P100 0.00000 C09-152 P200 0.00000 C09-152 P500 0.00000 C09-152 P1000 0.00000 C09-153 num_ret 837.00000 C09-153 num_unjug_ret@1 0.00000 C09-153 num_unjug_ret@10 0.00000 C09-153 num_unjug_ret@100 35.00000 C09-153 num_unjug_ret@1000 738.00000 C09-153 num_rel 122.00000 C09-153 num_rel_ret 45.00000 C09-153 map 0.19484 C09-153 R-prec 0.28689 C09-153 bpref 0.32249 C09-153 recip_rank 1.00000 C09-153 ndcg 0.18606 C09-153 ndcg5 0.06667 C09-153 ndcg10 0.06536 C09-153 ndcg20 0.07876 C09-153 ERR 0.18285 C09-153 ERR10 0.15439 C09-153 ERR20 0.16553 C09-153 P1 1.00000 C09-153 P5 1.00000 C09-153 P10 0.90000 C09-153 P15 0.66667 C09-153 P20 0.60000 C09-153 P30 0.60000 C09-153 P50 0.46000 C09-153 P100 0.32000 C09-153 P200 0.19500 C09-153 P500 0.08600 C09-153 P1000 0.05376 C09-154 num_ret 909.00000 C09-154 num_unjug_ret@1 0.00000 C09-154 num_unjug_ret@10 0.00000 C09-154 num_unjug_ret@100 35.00000 C09-154 num_unjug_ret@1000 827.00000 C09-154 num_rel 58.00000 C09-154 num_rel_ret 11.00000 C09-154 map 0.01050 C09-154 R-prec 0.06897 C09-154 bpref 0.06064 C09-154 recip_rank 0.06250 C09-154 ndcg 0.10806 C09-154 ndcg5 0.00000 C09-154 ndcg10 0.00442 C09-154 ndcg20 0.04781 C09-154 ERR 0.08281 C09-154 ERR10 0.00694 C09-154 ERR20 0.08076 C09-154 P1 0.00000 C09-154 P5 0.00000 C09-154 P10 0.00000 C09-154 P15 0.00000 C09-154 P20 0.10000 C09-154 P30 0.10000 C09-154 P50 0.08000 C09-154 P100 0.05000 C09-154 P200 0.02500 C09-154 P500 0.01800 C09-154 P1000 0.01210 C09-155 num_ret 734.00000 C09-155 num_unjug_ret@1 0.00000 C09-155 num_unjug_ret@10 0.00000 C09-155 num_unjug_ret@100 18.00000 C09-155 num_unjug_ret@1000 681.00000 C09-155 num_rel 67.00000 C09-155 num_rel_ret 23.00000 C09-155 map 0.05866 C09-155 R-prec 0.19403 C09-155 bpref 0.25440 C09-155 recip_rank 0.09091 C09-155 ndcg 0.30543 C09-155 ndcg5 0.14251 C09-155 ndcg10 0.22946 C09-155 ndcg20 0.29031 C09-155 ERR 0.20483 C09-155 ERR10 0.20481 C09-155 ERR20 0.20483 C09-155 P1 0.00000 C09-155 P5 0.00000 C09-155 P10 0.00000 C09-155 P15 0.20000 C09-155 P20 0.25000 C09-155 P30 0.16667 C09-155 P50 0.22000 C09-155 P100 0.17000 C09-155 P200 0.09000 C09-155 P500 0.04200 C09-155 P1000 0.03134 C09-156 num_ret 905.00000 C09-156 num_unjug_ret@1 0.00000 C09-156 num_unjug_ret@10 1.00000 C09-156 num_unjug_ret@100 61.00000 C09-156 num_unjug_ret@1000 820.00000 C09-156 num_rel 108.00000 C09-156 num_rel_ret 49.00000 C09-156 map 0.12466 C09-156 R-prec 0.16667 C09-156 bpref 0.35151 C09-156 recip_rank 1.00000 C09-156 ndcg 0.17517 C09-156 ndcg5 0.02972 C09-156 ndcg10 0.06354 C09-156 ndcg20 0.12550 C09-156 ERR 0.11571 C09-156 ERR10 0.08829 C09-156 ERR20 0.11214 C09-156 P1 1.00000 C09-156 P5 0.20000 C09-156 P10 0.50000 C09-156 P15 0.66667 C09-156 P20 0.75000 C09-156 P30 0.56667 C09-156 P50 0.34000 C09-156 P100 0.18000 C09-156 P200 0.10000 C09-156 P500 0.06800 C09-156 P1000 0.05414 C09-157 num_ret 286.00000 C09-157 num_unjug_ret@1 0.00000 C09-157 num_unjug_ret@10 0.00000 C09-157 num_unjug_ret@100 10.00000 C09-157 num_unjug_ret@1000 241.00000 C09-157 num_rel 58.00000 C09-157 num_rel_ret 4.00000 C09-157 map 0.00039 C09-157 R-prec 0.00000 C09-157 bpref 0.03478 C09-157 recip_rank 0.00452 C09-157 ndcg 0.00777 C09-157 ndcg5 0.00000 C09-157 ndcg10 0.00000 C09-157 ndcg20 0.00000 C09-157 ERR 0.00306 C09-157 ERR10 0.00000 C09-157 ERR20 0.00000 C09-157 P1 0.00000 C09-157 P5 0.00000 C09-157 P10 0.00000 C09-157 P15 0.00000 C09-157 P20 0.00000 C09-157 P30 0.00000 C09-157 P50 0.00000 C09-157 P100 0.00000 C09-157 P200 0.00000 C09-157 P500 0.00699 C09-157 P1000 0.01399 C09-158 num_ret 952.00000 C09-158 num_unjug_ret@1 0.00000 C09-158 num_unjug_ret@10 0.00000 C09-158 num_unjug_ret@100 43.00000 C09-158 num_unjug_ret@1000 862.00000 C09-158 num_rel 131.00000 C09-158 num_rel_ret 68.00000 C09-158 map 0.37143 C09-158 R-prec 0.41221 C09-158 bpref 0.50975 C09-158 recip_rank 1.00000 C09-158 ndcg 0.34229 C09-158 ndcg5 0.06667 C09-158 ndcg10 0.19698 C09-158 ndcg20 0.23154 C09-158 ERR 0.23574 C09-158 ERR10 0.23560 C09-158 ERR20 0.23574 C09-158 P1 1.00000 C09-158 P5 1.00000 C09-158 P10 1.00000 C09-158 P15 1.00000 C09-158 P20 1.00000 C09-158 P30 0.96667 C09-158 P50 0.76000 C09-158 P100 0.51000 C09-158 P200 0.28000 C09-158 P500 0.12800 C09-158 P1000 0.07143 C09-159 num_ret 685.00000 C09-159 num_unjug_ret@1 0.00000 C09-159 num_unjug_ret@10 1.00000 C09-159 num_unjug_ret@100 34.00000 C09-159 num_unjug_ret@1000 637.00000 C09-159 num_rel 31.00000 C09-159 num_rel_ret 7.00000 C09-159 map 0.02747 C09-159 R-prec 0.12903 C09-159 bpref 0.15088 C09-159 recip_rank 0.12500 C09-159 ndcg 0.14697 C09-159 ndcg5 0.21390 C09-159 ndcg10 0.21659 C09-159 ndcg20 0.13978 C09-159 ERR 0.38477 C09-159 ERR10 0.38475 C09-159 ERR20 0.38475 C09-159 P1 0.00000 C09-159 P5 0.00000 C09-159 P10 0.10000 C09-159 P15 0.13333 C09-159 P20 0.20000 C09-159 P30 0.13333 C09-159 P50 0.10000 C09-159 P100 0.05000 C09-159 P200 0.02500 C09-159 P500 0.01200 C09-159 P1000 0.01022 C09-160 num_ret 935.00000 C09-160 num_unjug_ret@1 0.00000 C09-160 num_unjug_ret@10 0.00000 C09-160 num_unjug_ret@100 46.00000 C09-160 num_unjug_ret@1000 860.00000 C09-160 num_rel 6.00000 C09-160 num_rel_ret 1.00000 C09-160 map 0.00314 C09-160 R-prec 0.00000 C09-160 bpref 0.00000 C09-160 recip_rank 0.01887 C09-160 ndcg 0.01101 C09-160 ndcg5 0.00000 C09-160 ndcg10 0.00000 C09-160 ndcg20 0.00000 C09-160 ERR 0.00169 C09-160 ERR10 0.00000 C09-160 ERR20 0.00000 C09-160 P1 0.00000 C09-160 P5 0.00000 C09-160 P10 0.00000 C09-160 P15 0.00000 C09-160 P20 0.00000 C09-160 P30 0.00000 C09-160 P50 0.00000 C09-160 P100 0.01000 C09-160 P200 0.00500 C09-160 P500 0.00200 C09-160 P1000 0.00107 C09-161 num_ret 983.00000 C09-161 num_unjug_ret@1 0.00000 C09-161 num_unjug_ret@10 0.00000 C09-161 num_unjug_ret@100 61.00000 C09-161 num_unjug_ret@1000 926.00000 C09-161 num_rel 7.00000 C09-161 num_rel_ret 3.00000 C09-161 map 0.01803 C09-161 R-prec 0.00000 C09-161 bpref 0.00000 C09-161 recip_rank 0.10000 C09-161 ndcg 0.04292 C09-161 ndcg5 0.00000 C09-161 ndcg10 0.01529 C09-161 ndcg20 0.01529 C09-161 ERR 0.00737 C09-161 ERR10 0.00625 C09-161 ERR20 0.00625 C09-161 P1 0.00000 C09-161 P5 0.00000 C09-161 P10 0.10000 C09-161 P15 0.06667 C09-161 P20 0.05000 C09-161 P30 0.03333 C09-161 P50 0.02000 C09-161 P100 0.01000 C09-161 P200 0.01000 C09-161 P500 0.00600 C09-161 P1000 0.00305 C09-162 num_ret 936.00000 C09-162 num_unjug_ret@1 0.00000 C09-162 num_unjug_ret@10 6.00000 C09-162 num_unjug_ret@100 54.00000 C09-162 num_unjug_ret@1000 810.00000 C09-162 num_rel 32.00000 C09-162 num_rel_ret 4.00000 C09-162 map 0.05766 C09-162 R-prec 0.09375 C09-162 bpref 0.12012 C09-162 recip_rank 1.00000 C09-162 ndcg 0.24288 C09-162 ndcg5 0.36837 C09-162 ndcg10 0.26677 C09-162 ndcg20 0.24912 C09-162 ERR 0.94143 C09-162 ERR10 0.94043 C09-162 ERR20 0.94116 C09-162 P1 1.00000 C09-162 P5 0.40000 C09-162 P10 0.20000 C09-162 P15 0.20000 C09-162 P20 0.15000 C09-162 P30 0.10000 C09-162 P50 0.08000 C09-162 P100 0.04000 C09-162 P200 0.02000 C09-162 P500 0.00800 C09-162 P1000 0.00427 C09-163 num_ret 691.00000 C09-163 num_unjug_ret@1 0.00000 C09-163 num_unjug_ret@10 1.00000 C09-163 num_unjug_ret@100 29.00000 C09-163 num_unjug_ret@1000 615.00000 C09-163 num_rel 112.00000 C09-163 num_rel_ret 26.00000 C09-163 map 0.02423 C09-163 R-prec 0.08036 C09-163 bpref 0.15745 C09-163 recip_rank 0.14286 C09-163 ndcg 0.11682 C09-163 ndcg5 0.00875 C09-163 ndcg10 0.01520 C09-163 ndcg20 0.01439 C09-163 ERR 0.06524 C09-163 ERR10 0.02774 C09-163 ERR20 0.03383 C09-163 P1 0.00000 C09-163 P5 0.00000 C09-163 P10 0.30000 C09-163 P15 0.20000 C09-163 P20 0.20000 C09-163 P30 0.23333 C09-163 P50 0.14000 C09-163 P100 0.09000 C09-163 P200 0.05500 C09-163 P500 0.04000 C09-163 P1000 0.03763 C09-164 num_ret 928.00000 C09-164 num_unjug_ret@1 0.00000 C09-164 num_unjug_ret@10 1.00000 C09-164 num_unjug_ret@100 55.00000 C09-164 num_unjug_ret@1000 877.00000 C09-164 num_rel 78.00000 C09-164 num_rel_ret 20.00000 C09-164 map 0.05049 C09-164 R-prec 0.14103 C09-164 bpref 0.15483 C09-164 recip_rank 0.33333 C09-164 ndcg 0.23288 C09-164 ndcg5 0.31565 C09-164 ndcg10 0.34763 C09-164 ndcg20 0.29560 C09-164 ERR 0.32770 C09-164 ERR10 0.32770 C09-164 ERR20 0.32770 C09-164 P1 0.00000 C09-164 P5 0.40000 C09-164 P10 0.40000 C09-164 P15 0.33333 C09-164 P20 0.30000 C09-164 P30 0.20000 C09-164 P50 0.16000 C09-164 P100 0.13000 C09-164 P200 0.07000 C09-164 P500 0.03000 C09-164 P1000 0.02155 C09-165 num_ret 790.00000 C09-165 num_unjug_ret@1 0.00000 C09-165 num_unjug_ret@10 0.00000 C09-165 num_unjug_ret@100 20.00000 C09-165 num_unjug_ret@1000 720.00000 C09-165 num_rel 31.00000 C09-165 num_rel_ret 2.00000 C09-165 map 0.00114 C09-165 R-prec 0.00000 C09-165 bpref 0.01145 C09-165 recip_rank 0.02439 C09-165 ndcg 0.05057 C09-165 ndcg5 0.00000 C09-165 ndcg10 0.00000 C09-165 ndcg20 0.00000 C09-165 ERR 0.03372 C09-165 ERR10 0.00000 C09-165 ERR20 0.00000 C09-165 P1 0.00000 C09-165 P5 0.00000 C09-165 P10 0.00000 C09-165 P15 0.00000 C09-165 P20 0.00000 C09-165 P30 0.00000 C09-165 P50 0.02000 C09-165 P100 0.01000 C09-165 P200 0.01000 C09-165 P500 0.00400 C09-165 P1000 0.00253 C09-166 num_ret 710.00000 C09-166 num_unjug_ret@1 0.00000 C09-166 num_unjug_ret@10 0.00000 C09-166 num_unjug_ret@100 19.00000 C09-166 num_unjug_ret@1000 648.00000 C09-166 num_rel 23.00000 C09-166 num_rel_ret 6.00000 C09-166 map 0.00315 C09-166 R-prec 0.00000 C09-166 bpref 0.00378 C09-166 recip_rank 0.01316 C09-166 ndcg 0.10024 C09-166 ndcg5 0.00000 C09-166 ndcg10 0.00000 C09-166 ndcg20 0.00000 C09-166 ERR 0.01346 C09-166 ERR10 0.00000 C09-166 ERR20 0.00000 C09-166 P1 0.00000 C09-166 P5 0.00000 C09-166 P10 0.00000 C09-166 P15 0.00000 C09-166 P20 0.00000 C09-166 P30 0.00000 C09-166 P50 0.00000 C09-166 P100 0.01000 C09-166 P200 0.01500 C09-166 P500 0.00800 C09-166 P1000 0.00845 C09-167 num_ret 898.00000 C09-167 num_unjug_ret@1 0.00000 C09-167 num_unjug_ret@10 0.00000 C09-167 num_unjug_ret@100 44.00000 C09-167 num_unjug_ret@1000 821.00000 C09-167 num_rel 58.00000 C09-167 num_rel_ret 15.00000 C09-167 map 0.02269 C09-167 R-prec 0.10345 C09-167 bpref 0.13407 C09-167 recip_rank 0.10000 C09-167 ndcg 0.12226 C09-167 ndcg5 0.00000 C09-167 ndcg10 0.01325 C09-167 ndcg20 0.02268 C09-167 ERR 0.05852 C09-167 ERR10 0.02083 C09-167 ERR20 0.03240 C09-167 P1 0.00000 C09-167 P5 0.00000 C09-167 P10 0.10000 C09-167 P15 0.13333 C09-167 P20 0.15000 C09-167 P30 0.10000 C09-167 P50 0.12000 C09-167 P100 0.07000 C09-167 P200 0.05500 C09-167 P500 0.02600 C09-167 P1000 0.01670 C09-168 num_ret 487.00000 C09-168 num_unjug_ret@1 0.00000 C09-168 num_unjug_ret@10 0.00000 C09-168 num_unjug_ret@100 48.00000 C09-168 num_unjug_ret@1000 448.00000 C09-168 num_rel 41.00000 C09-168 num_rel_ret 10.00000 C09-168 map 0.06246 C09-168 R-prec 0.24390 C09-168 bpref 0.19869 C09-168 recip_rank 0.08333 C09-168 ndcg 0.05219 C09-168 ndcg5 0.00875 C09-168 ndcg10 0.02484 C09-168 ndcg20 0.05333 C09-168 ERR 0.07871 C09-168 ERR10 0.04191 C09-168 ERR20 0.07852 C09-168 P1 0.00000 C09-168 P5 0.00000 C09-168 P10 0.00000 C09-168 P15 0.26667 C09-168 P20 0.30000 C09-168 P30 0.30000 C09-168 P50 0.20000 C09-168 P100 0.10000 C09-168 P200 0.05000 C09-168 P500 0.02053 C09-168 P1000 0.02053 C09-169 num_ret 619.00000 C09-169 num_unjug_ret@1 0.00000 C09-169 num_unjug_ret@10 5.00000 C09-169 num_unjug_ret@100 44.00000 C09-169 num_unjug_ret@1000 586.00000 C09-169 num_rel 103.00000 C09-169 num_rel_ret 7.00000 C09-169 map 0.00142 C09-169 R-prec 0.00971 C09-169 bpref 0.05835 C09-169 recip_rank 0.04167 C09-169 ndcg 0.04960 C09-169 ndcg5 0.00000 C09-169 ndcg10 0.00000 C09-169 ndcg20 0.00711 C09-169 ERR 0.01358 C09-169 ERR10 0.00000 C09-169 ERR20 0.00347 C09-169 P1 0.00000 C09-169 P5 0.00000 C09-169 P10 0.00000 C09-169 P15 0.00000 C09-169 P20 0.00000 C09-169 P30 0.03333 C09-169 P50 0.02000 C09-169 P100 0.01000 C09-169 P200 0.02000 C09-169 P500 0.01400 C09-169 P1000 0.01131 C09-170 num_ret 874.00000 C09-170 num_unjug_ret@1 0.00000 C09-170 num_unjug_ret@10 0.00000 C09-170 num_unjug_ret@100 51.00000 C09-170 num_unjug_ret@1000 784.00000 C09-170 num_rel 24.00000 C09-170 num_rel_ret 4.00000 C09-170 map 0.00359 C09-170 R-prec 0.04167 C09-170 bpref 0.02604 C09-170 recip_rank 0.04545 C09-170 ndcg 0.06829 C09-170 ndcg5 0.00000 C09-170 ndcg10 0.00000 C09-170 ndcg20 0.00419 C09-170 ERR 0.01998 C09-170 ERR10 0.00000 C09-170 ERR20 0.00568 C09-170 P1 0.00000 C09-170 P5 0.00000 C09-170 P10 0.00000 C09-170 P15 0.00000 C09-170 P20 0.00000 C09-170 P30 0.03333 C09-170 P50 0.02000 C09-170 P100 0.02000 C09-170 P200 0.01000 C09-170 P500 0.00600 C09-170 P1000 0.00458 C09-171 num_ret 724.00000 C09-171 num_unjug_ret@1 0.00000 C09-171 num_unjug_ret@10 0.00000 C09-171 num_unjug_ret@100 34.00000 C09-171 num_unjug_ret@1000 675.00000 C09-171 num_rel 82.00000 C09-171 num_rel_ret 11.00000 C09-171 map 0.01226 C09-171 R-prec 0.06098 C09-171 bpref 0.09533 C09-171 recip_rank 0.25000 C09-171 ndcg 0.06445 C09-171 ndcg5 0.01427 C09-171 ndcg10 0.00975 C09-171 ndcg20 0.01570 C09-171 ERR 0.06642 C09-171 ERR10 0.03125 C09-171 ERR20 0.03796 C09-171 P1 0.00000 C09-171 P5 0.20000 C09-171 P10 0.10000 C09-171 P15 0.06667 C09-171 P20 0.10000 C09-171 P30 0.13333 C09-171 P50 0.10000 C09-171 P100 0.05000 C09-171 P200 0.04000 C09-171 P500 0.02000 C09-171 P1000 0.01519 C09-172 num_ret 993.00000 C09-172 num_unjug_ret@1 0.00000 C09-172 num_unjug_ret@10 1.00000 C09-172 num_unjug_ret@100 35.00000 C09-172 num_unjug_ret@1000 865.00000 C09-172 num_rel 174.00000 C09-172 num_rel_ret 76.00000 C09-172 map 0.13161 C09-172 R-prec 0.27586 C09-172 bpref 0.37472 C09-172 recip_rank 0.11111 C09-172 ndcg 0.29551 C09-172 ndcg5 0.00974 C09-172 ndcg10 0.15434 C09-172 ndcg20 0.18632 C09-172 ERR 0.14984 C09-172 ERR10 0.14954 C09-172 ERR20 0.14984 C09-172 P1 0.00000 C09-172 P5 0.00000 C09-172 P10 0.10000 C09-172 P15 0.26667 C09-172 P20 0.35000 C09-172 P30 0.40000 C09-172 P50 0.38000 C09-172 P100 0.36000 C09-172 P200 0.27500 C09-172 P500 0.14400 C09-172 P1000 0.07654 C09-173 num_ret 800.00000 C09-173 num_unjug_ret@1 0.00000 C09-173 num_unjug_ret@10 0.00000 C09-173 num_unjug_ret@100 38.00000 C09-173 num_unjug_ret@1000 747.00000 C09-173 num_rel 64.00000 C09-173 num_rel_ret 23.00000 C09-173 map 0.07956 C09-173 R-prec 0.21875 C09-173 bpref 0.28345 C09-173 recip_rank 0.08333 C09-173 ndcg 0.36117 C09-173 ndcg5 0.18806 C09-173 ndcg10 0.18153 C09-173 ndcg20 0.33404 C09-173 ERR 0.31904 C09-173 ERR10 0.31530 C09-173 ERR20 0.31904 C09-173 P1 0.00000 C09-173 P5 0.00000 C09-173 P10 0.00000 C09-173 P15 0.20000 C09-173 P20 0.30000 C09-173 P30 0.36667 C09-173 P50 0.26000 C09-173 P100 0.16000 C09-173 P200 0.10000 C09-173 P500 0.04200 C09-173 P1000 0.02875 C09-174 num_ret 619.00000 C09-174 num_unjug_ret@1 0.00000 C09-174 num_unjug_ret@10 1.00000 C09-174 num_unjug_ret@100 27.00000 C09-174 num_unjug_ret@1000 538.00000 C09-174 num_rel 55.00000 C09-174 num_rel_ret 15.00000 C09-174 map 0.03443 C09-174 R-prec 0.09091 C09-174 bpref 0.12793 C09-174 recip_rank 0.50000 C09-174 ndcg 0.20972 C09-174 ndcg5 0.22372 C09-174 ndcg10 0.21633 C09-174 ndcg20 0.13961 C09-174 ERR 0.47610 C09-174 ERR10 0.47597 C09-174 ERR20 0.47597 C09-174 P1 0.00000 C09-174 P5 0.20000 C09-174 P10 0.20000 C09-174 P15 0.20000 C09-174 P20 0.20000 C09-174 P30 0.13333 C09-174 P50 0.10000 C09-174 P100 0.07000 C09-174 P200 0.05500 C09-174 P500 0.02600 C09-174 P1000 0.02423 C09-175 num_ret 680.00000 C09-175 num_unjug_ret@1 0.00000 C09-175 num_unjug_ret@10 1.00000 C09-175 num_unjug_ret@100 9.00000 C09-175 num_unjug_ret@1000 653.00000 C09-175 num_rel 121.00000 C09-175 num_rel_ret 4.00000 C09-175 map 0.00068 C09-175 R-prec 0.02479 C09-175 bpref 0.03162 C09-175 recip_rank 0.01163 C09-175 ndcg 0.03748 C09-175 ndcg5 0.00000 C09-175 ndcg10 0.02714 C09-175 ndcg20 0.05713 C09-175 ERR 0.09670 C09-175 ERR10 0.04036 C09-175 ERR20 0.09663 C09-175 P1 0.00000 C09-175 P5 0.00000 C09-175 P10 0.00000 C09-175 P15 0.00000 C09-175 P20 0.00000 C09-175 P30 0.00000 C09-175 P50 0.00000 C09-175 P100 0.03000 C09-175 P200 0.01500 C09-175 P500 0.00800 C09-175 P1000 0.00588 C09-176 num_ret 966.00000 C09-176 num_unjug_ret@1 0.00000 C09-176 num_unjug_ret@10 1.00000 C09-176 num_unjug_ret@100 60.00000 C09-176 num_unjug_ret@1000 907.00000 C09-176 num_rel 17.00000 C09-176 num_rel_ret 1.00000 C09-176 map 0.00267 C09-176 R-prec 0.00000 C09-176 bpref 0.02076 C09-176 recip_rank 0.04545 C09-176 ndcg 0.01186 C09-176 ndcg5 0.00000 C09-176 ndcg10 0.00000 C09-176 ndcg20 0.01186 C09-176 ERR 0.00987 C09-176 ERR10 0.00000 C09-176 ERR20 0.00987 C09-176 P1 0.00000 C09-176 P5 0.00000 C09-176 P10 0.00000 C09-176 P15 0.00000 C09-176 P20 0.00000 C09-176 P30 0.03333 C09-176 P50 0.02000 C09-176 P100 0.01000 C09-176 P200 0.00500 C09-176 P500 0.00200 C09-176 P1000 0.00104 C09-177 num_ret 968.00000 C09-177 num_unjug_ret@1 0.00000 C09-177 num_unjug_ret@10 1.00000 C09-177 num_unjug_ret@100 70.00000 C09-177 num_unjug_ret@1000 909.00000 C09-177 num_rel 44.00000 C09-177 num_rel_ret 18.00000 C09-177 map 0.12426 C09-177 R-prec 0.15909 C09-177 bpref 0.24845 C09-177 recip_rank 1.00000 C09-177 ndcg 0.39482 C09-177 ndcg5 0.72273 C09-177 ndcg10 0.54740 C09-177 ndcg20 0.45442 C09-177 ERR 0.12888 C09-177 ERR10 0.11869 C09-177 ERR20 0.12649 C09-177 P1 1.00000 C09-177 P5 0.60000 C09-177 P10 0.40000 C09-177 P15 0.26667 C09-177 P20 0.35000 C09-177 P30 0.23333 C09-177 P50 0.14000 C09-177 P100 0.09000 C09-177 P200 0.06500 C09-177 P500 0.03200 C09-177 P1000 0.01860 C09-178 num_ret 953.00000 C09-178 num_unjug_ret@1 0.00000 C09-178 num_unjug_ret@10 1.00000 C09-178 num_unjug_ret@100 49.00000 C09-178 num_unjug_ret@1000 866.00000 C09-178 num_rel 53.00000 C09-178 num_rel_ret 29.00000 C09-178 map 0.06301 C09-178 R-prec 0.09434 C09-178 bpref 0.15450 C09-178 recip_rank 0.33333 C09-178 ndcg 0.33686 C09-178 ndcg5 0.16958 C09-178 ndcg10 0.18844 C09-178 ndcg20 0.12162 C09-178 ERR 0.32244 C09-178 ERR10 0.32227 C09-178 ERR20 0.32227 C09-178 P1 0.00000 C09-178 P5 0.20000 C09-178 P10 0.20000 C09-178 P15 0.13333 C09-178 P20 0.10000 C09-178 P30 0.10000 C09-178 P50 0.10000 C09-178 P100 0.13000 C09-178 P200 0.09500 C09-178 P500 0.05600 C09-178 P1000 0.03043 C09-179 num_ret 795.00000 C09-179 num_unjug_ret@1 1.00000 C09-179 num_unjug_ret@10 3.00000 C09-179 num_unjug_ret@100 51.00000 C09-179 num_unjug_ret@1000 720.00000 C09-179 num_rel 11.00000 C09-179 num_rel_ret 7.00000 C09-179 map 0.01982 C09-179 R-prec 0.00000 C09-179 bpref 0.00000 C09-179 recip_rank 0.03846 C09-179 ndcg 0.08044 C09-179 ndcg5 0.00000 C09-179 ndcg10 0.00000 C09-179 ndcg20 0.00000 C09-179 ERR 0.00746 C09-179 ERR10 0.00000 C09-179 ERR20 0.00000 C09-179 P1 0.00000 C09-179 P5 0.00000 C09-179 P10 0.00000 C09-179 P15 0.00000 C09-179 P20 0.00000 C09-179 P30 0.03333 C09-179 P50 0.02000 C09-179 P100 0.03000 C09-179 P200 0.02500 C09-179 P500 0.01400 C09-179 P1000 0.00881 C09-180 num_ret 942.00000 C09-180 num_unjug_ret@1 0.00000 C09-180 num_unjug_ret@10 1.00000 C09-180 num_unjug_ret@100 65.00000 C09-180 num_unjug_ret@1000 898.00000 C09-180 num_rel 71.00000 C09-180 num_rel_ret 6.00000 C09-180 map 0.02617 C09-180 R-prec 0.05634 C09-180 bpref 0.06487 C09-180 recip_rank 1.00000 C09-180 ndcg 0.02896 C09-180 ndcg5 0.02261 C09-180 ndcg10 0.02759 C09-180 ndcg20 0.02581 C09-180 ERR 0.08002 C09-180 ERR10 0.07774 C09-180 ERR20 0.07774 C09-180 P1 1.00000 C09-180 P5 0.20000 C09-180 P10 0.30000 C09-180 P15 0.20000 C09-180 P20 0.15000 C09-180 P30 0.13333 C09-180 P50 0.08000 C09-180 P100 0.04000 C09-180 P200 0.02500 C09-180 P500 0.01200 C09-180 P1000 0.00637 C09-181 num_ret 588.00000 C09-181 num_unjug_ret@1 0.00000 C09-181 num_unjug_ret@10 3.00000 C09-181 num_unjug_ret@100 32.00000 C09-181 num_unjug_ret@1000 545.00000 C09-181 num_rel 30.00000 C09-181 num_rel_ret 4.00000 C09-181 map 0.02180 C09-181 R-prec 0.13333 C09-181 bpref 0.11333 C09-181 recip_rank 0.11111 C09-181 ndcg 0.03582 C09-181 ndcg5 0.00000 C09-181 ndcg10 0.02273 C09-181 ndcg20 0.03836 C09-181 ERR 0.02300 C09-181 ERR10 0.01479 C09-181 ERR20 0.02300 C09-181 P1 0.00000 C09-181 P5 0.00000 C09-181 P10 0.10000 C09-181 P15 0.20000 C09-181 P20 0.20000 C09-181 P30 0.13333 C09-181 P50 0.08000 C09-181 P100 0.04000 C09-181 P200 0.02000 C09-181 P500 0.00800 C09-181 P1000 0.00680 C09-182 num_ret 967.00000 C09-182 num_unjug_ret@1 0.00000 C09-182 num_unjug_ret@10 2.00000 C09-182 num_unjug_ret@100 55.00000 C09-182 num_unjug_ret@1000 873.00000 C09-182 num_rel 253.00000 C09-182 num_rel_ret 58.00000 C09-182 map 0.08020 C09-182 R-prec 0.15810 C09-182 bpref 0.21455 C09-182 recip_rank 1.00000 C09-182 ndcg 0.23093 C09-182 ndcg5 0.44211 C09-182 ndcg10 0.32069 C09-182 ndcg20 0.34789 C09-182 ERR 0.95145 C09-182 ERR10 0.94987 C09-182 ERR20 0.95145 C09-182 P1 1.00000 C09-182 P5 0.80000 C09-182 P10 0.70000 C09-182 P15 0.66667 C09-182 P20 0.55000 C09-182 P30 0.46667 C09-182 P50 0.42000 C09-182 P100 0.28000 C09-182 P200 0.18500 C09-182 P500 0.10200 C09-182 P1000 0.05998 C09-183 num_ret 751.00000 C09-183 num_unjug_ret@1 0.00000 C09-183 num_unjug_ret@10 3.00000 C09-183 num_unjug_ret@100 34.00000 C09-183 num_unjug_ret@1000 697.00000 C09-183 num_rel 31.00000 C09-183 num_rel_ret 4.00000 C09-183 map 0.00278 C09-183 R-prec 0.00000 C09-183 bpref 0.03122 C09-183 recip_rank 0.01923 C09-183 ndcg 0.01836 C09-183 ndcg5 0.00000 C09-183 ndcg10 0.00000 C09-183 ndcg20 0.00000 C09-183 ERR 0.00736 C09-183 ERR10 0.00000 C09-183 ERR20 0.00000 C09-183 P1 0.00000 C09-183 P5 0.00000 C09-183 P10 0.00000 C09-183 P15 0.00000 C09-183 P20 0.00000 C09-183 P30 0.00000 C09-183 P50 0.00000 C09-183 P100 0.02000 C09-183 P200 0.01500 C09-183 P500 0.00800 C09-183 P1000 0.00533 C09-184 num_ret 411.00000 C09-184 num_unjug_ret@1 0.00000 C09-184 num_unjug_ret@10 0.00000 C09-184 num_unjug_ret@100 23.00000 C09-184 num_unjug_ret@1000 379.00000 C09-184 num_rel 69.00000 C09-184 num_rel_ret 2.00000 C09-184 map 0.00113 C09-184 R-prec 0.02899 C09-184 bpref 0.02878 C09-184 recip_rank 0.03571 C09-184 ndcg 0.06513 C09-184 ndcg5 0.21399 C09-184 ndcg10 0.20512 C09-184 ndcg20 0.13238 C09-184 ERR 0.47526 C09-184 ERR10 0.47526 C09-184 ERR20 0.47526 C09-184 P1 0.00000 C09-184 P5 0.00000 C09-184 P10 0.00000 C09-184 P15 0.00000 C09-184 P20 0.00000 C09-184 P30 0.03333 C09-184 P50 0.04000 C09-184 P100 0.02000 C09-184 P200 0.01000 C09-184 P500 0.00487 C09-184 P1000 0.00487 C09-185 num_ret 932.00000 C09-185 num_unjug_ret@1 0.00000 C09-185 num_unjug_ret@10 0.00000 C09-185 num_unjug_ret@100 62.00000 C09-185 num_unjug_ret@1000 865.00000 C09-185 num_rel 81.00000 C09-185 num_rel_ret 25.00000 C09-185 map 0.06036 C09-185 R-prec 0.13580 C09-185 bpref 0.23228 C09-185 recip_rank 0.50000 C09-185 ndcg 0.35336 C09-185 ndcg5 0.36005 C09-185 ndcg10 0.38892 C09-185 ndcg20 0.26580 C09-185 ERR 0.48403 C09-185 ERR10 0.48403 C09-185 ERR20 0.48403 C09-185 P1 0.00000 C09-185 P5 0.40000 C09-185 P10 0.50000 C09-185 P15 0.40000 C09-185 P20 0.30000 C09-185 P30 0.23333 C09-185 P50 0.18000 C09-185 P100 0.11000 C09-185 P200 0.07500 C09-185 P500 0.04000 C09-185 P1000 0.02682 C09-186 num_ret 891.00000 C09-186 num_unjug_ret@1 0.00000 C09-186 num_unjug_ret@10 2.00000 C09-186 num_unjug_ret@100 41.00000 C09-186 num_unjug_ret@1000 807.00000 C09-186 num_rel 202.00000 C09-186 num_rel_ret 36.00000 C09-186 map 0.02299 C09-186 R-prec 0.09406 C09-186 bpref 0.14663 C09-186 recip_rank 0.25000 C09-186 ndcg 0.03245 C09-186 ndcg5 0.00974 C09-186 ndcg10 0.02026 C09-186 ndcg20 0.02014 C09-186 ERR 0.05505 C09-186 ERR10 0.03658 C09-186 ERR20 0.04567 C09-186 P1 0.00000 C09-186 P5 0.20000 C09-186 P10 0.40000 C09-186 P15 0.26667 C09-186 P20 0.20000 C09-186 P30 0.13333 C09-186 P50 0.16000 C09-186 P100 0.15000 C09-186 P200 0.09500 C09-186 P500 0.05200 C09-186 P1000 0.04040 C09-187 num_ret 801.00000 C09-187 num_unjug_ret@1 0.00000 C09-187 num_unjug_ret@10 1.00000 C09-187 num_unjug_ret@100 25.00000 C09-187 num_unjug_ret@1000 701.00000 C09-187 num_rel 45.00000 C09-187 num_rel_ret 16.00000 C09-187 map 0.02867 C09-187 R-prec 0.06667 C09-187 bpref 0.06025 C09-187 recip_rank 0.08333 C09-187 ndcg 0.19157 C09-187 ndcg5 0.00000 C09-187 ndcg10 0.00000 C09-187 ndcg20 0.01205 C09-187 ERR 0.02712 C09-187 ERR10 0.00000 C09-187 ERR20 0.00939 C09-187 P1 0.00000 C09-187 P5 0.00000 C09-187 P10 0.00000 C09-187 P15 0.13333 C09-187 P20 0.10000 C09-187 P30 0.10000 C09-187 P50 0.06000 C09-187 P100 0.08000 C09-187 P200 0.05500 C09-187 P500 0.03000 C09-187 P1000 0.01998 C09-188 num_ret 819.00000 C09-188 num_unjug_ret@1 0.00000 C09-188 num_unjug_ret@10 5.00000 C09-188 num_unjug_ret@100 40.00000 C09-188 num_unjug_ret@1000 781.00000 C09-188 num_rel 15.00000 C09-188 num_rel_ret 3.00000 C09-188 map 0.00879 C09-188 R-prec 0.00000 C09-188 bpref 0.04889 C09-188 recip_rank 0.05263 C09-188 ndcg 0.01923 C09-188 ndcg5 0.00000 C09-188 ndcg10 0.00000 C09-188 ndcg20 0.00806 C09-188 ERR 0.00558 C09-188 ERR10 0.00000 C09-188 ERR20 0.00329 C09-188 P1 0.00000 C09-188 P5 0.00000 C09-188 P10 0.00000 C09-188 P15 0.00000 C09-188 P20 0.05000 C09-188 P30 0.06667 C09-188 P50 0.04000 C09-188 P100 0.02000 C09-188 P200 0.01000 C09-188 P500 0.00400 C09-188 P1000 0.00366 C09-189 num_ret 933.00000 C09-189 num_unjug_ret@1 0.00000 C09-189 num_unjug_ret@10 0.00000 C09-189 num_unjug_ret@100 63.00000 C09-189 num_unjug_ret@1000 880.00000 C09-189 num_rel 27.00000 C09-189 num_rel_ret 9.00000 C09-189 map 0.01646 C09-189 R-prec 0.00000 C09-189 bpref 0.01372 C09-189 recip_rank 0.02941 C09-189 ndcg 0.12334 C09-189 ndcg5 0.00000 C09-189 ndcg10 0.00000 C09-189 ndcg20 0.00000 C09-189 ERR 0.01400 C09-189 ERR10 0.00000 C09-189 ERR20 0.00000 C09-189 P1 0.00000 C09-189 P5 0.00000 C09-189 P10 0.00000 C09-189 P15 0.00000 C09-189 P20 0.00000 C09-189 P30 0.00000 C09-189 P50 0.06000 C09-189 P100 0.04000 C09-189 P200 0.04500 C09-189 P500 0.01800 C09-189 P1000 0.00965 C09-190 num_ret 596.00000 C09-190 num_unjug_ret@1 0.00000 C09-190 num_unjug_ret@10 2.00000 C09-190 num_unjug_ret@100 45.00000 C09-190 num_unjug_ret@1000 547.00000 C09-190 num_rel 20.00000 C09-190 num_rel_ret 1.00000 C09-190 map 0.01667 C09-190 R-prec 0.05000 C09-190 bpref 0.04750 C09-190 recip_rank 0.33333 C09-190 ndcg 0.01011 C09-190 ndcg5 0.01427 C09-190 ndcg10 0.01053 C09-190 ndcg20 0.01011 C09-190 ERR 0.03125 C09-190 ERR10 0.03125 C09-190 ERR20 0.03125 C09-190 P1 0.00000 C09-190 P5 0.20000 C09-190 P10 0.10000 C09-190 P15 0.06667 C09-190 P20 0.05000 C09-190 P30 0.03333 C09-190 P50 0.02000 C09-190 P100 0.01000 C09-190 P200 0.00500 C09-190 P500 0.00200 C09-190 P1000 0.00168 C09-191 num_ret 801.00000 C09-191 num_unjug_ret@1 0.00000 C09-191 num_unjug_ret@10 1.00000 C09-191 num_unjug_ret@100 58.00000 C09-191 num_unjug_ret@1000 749.00000 C09-191 num_rel 30.00000 C09-191 num_rel_ret 11.00000 C09-191 map 0.10317 C09-191 R-prec 0.23333 C09-191 bpref 0.22444 C09-191 recip_rank 0.50000 C09-191 ndcg 0.19017 C09-191 ndcg5 0.18385 C09-191 ndcg10 0.19298 C09-191 ndcg20 0.14761 C09-191 ERR 0.33123 C09-191 ERR10 0.33111 C09-191 ERR20 0.33111 C09-191 P1 0.00000 C09-191 P5 0.40000 C09-191 P10 0.40000 C09-191 P15 0.26667 C09-191 P20 0.20000 C09-191 P30 0.23333 C09-191 P50 0.18000 C09-191 P100 0.09000 C09-191 P200 0.05000 C09-191 P500 0.02200 C09-191 P1000 0.01373 C09-192 num_ret 995.00000 C09-192 num_unjug_ret@1 1.00000 C09-192 num_unjug_ret@10 6.00000 C09-192 num_unjug_ret@100 62.00000 C09-192 num_unjug_ret@1000 908.00000 C09-192 num_rel 105.00000 C09-192 num_rel_ret 32.00000 C09-192 map 0.03902 C09-192 R-prec 0.14286 C09-192 bpref 0.21433 C09-192 recip_rank 0.12500 C09-192 ndcg 0.22914 C09-192 ndcg5 0.00000 C09-192 ndcg10 0.13569 C09-192 ndcg20 0.12745 C09-192 ERR 0.12394 C09-192 ERR10 0.12370 C09-192 ERR20 0.12394 C09-192 P1 0.00000 C09-192 P5 0.00000 C09-192 P10 0.20000 C09-192 P15 0.26667 C09-192 P20 0.25000 C09-192 P30 0.16667 C09-192 P50 0.16000 C09-192 P100 0.15000 C09-192 P200 0.11000 C09-192 P500 0.04800 C09-192 P1000 0.03216 C09-193 num_ret 967.00000 C09-193 num_unjug_ret@1 0.00000 C09-193 num_unjug_ret@10 6.00000 C09-193 num_unjug_ret@100 77.00000 C09-193 num_unjug_ret@1000 922.00000 C09-193 num_rel 93.00000 C09-193 num_rel_ret 19.00000 C09-193 map 0.02326 C09-193 R-prec 0.08602 C09-193 bpref 0.17806 C09-193 recip_rank 1.00000 C09-193 ndcg 0.10862 C09-193 ndcg5 0.05900 C09-193 ndcg10 0.05393 C09-193 ndcg20 0.07081 C09-193 ERR 0.07679 C09-193 ERR10 0.06250 C09-193 ERR20 0.06964 C09-193 P1 1.00000 C09-193 P5 0.20000 C09-193 P10 0.10000 C09-193 P15 0.06667 C09-193 P20 0.05000 C09-193 P30 0.10000 C09-193 P50 0.12000 C09-193 P100 0.08000 C09-193 P200 0.04000 C09-193 P500 0.02800 C09-193 P1000 0.01965 C09-194 num_ret 588.00000 C09-194 num_unjug_ret@1 0.00000 C09-194 num_unjug_ret@10 0.00000 C09-194 num_unjug_ret@100 17.00000 C09-194 num_unjug_ret@1000 547.00000 C09-194 num_rel 47.00000 C09-194 num_rel_ret 1.00000 C09-194 map 0.00028 C09-194 R-prec 0.00000 C09-194 bpref 0.01811 C09-194 recip_rank 0.01333 C09-194 ndcg 0.00622 C09-194 ndcg5 0.00000 C09-194 ndcg10 0.00000 C09-194 ndcg20 0.00712 C09-194 ERR 0.00481 C09-194 ERR10 0.00000 C09-194 ERR20 0.00481 C09-194 P1 0.00000 C09-194 P5 0.00000 C09-194 P10 0.00000 C09-194 P15 0.00000 C09-194 P20 0.00000 C09-194 P30 0.00000 C09-194 P50 0.00000 C09-194 P100 0.01000 C09-194 P200 0.00500 C09-194 P500 0.00200 C09-194 P1000 0.00170 C09-195 num_ret 975.00000 C09-195 num_unjug_ret@1 0.00000 C09-195 num_unjug_ret@10 0.00000 C09-195 num_unjug_ret@100 51.00000 C09-195 num_unjug_ret@1000 897.00000 C09-195 num_rel 24.00000 C09-195 num_rel_ret 3.00000 C09-195 map 0.00267 C09-195 R-prec 0.00000 C09-195 bpref 0.01736 C09-195 recip_rank 0.03846 C09-195 ndcg 0.06525 C09-195 ndcg5 0.00000 C09-195 ndcg10 0.00000 C09-195 ndcg20 0.03551 C09-195 ERR 0.00492 C09-195 ERR10 0.00000 C09-195 ERR20 0.00417 C09-195 P1 0.00000 C09-195 P5 0.00000 C09-195 P10 0.00000 C09-195 P15 0.00000 C09-195 P20 0.00000 C09-195 P30 0.03333 C09-195 P50 0.02000 C09-195 P100 0.01000 C09-195 P200 0.01000 C09-195 P500 0.00600 C09-195 P1000 0.00308 C09-196 num_ret 925.00000 C09-196 num_unjug_ret@1 0.00000 C09-196 num_unjug_ret@10 0.00000 C09-196 num_unjug_ret@100 50.00000 C09-196 num_unjug_ret@1000 868.00000 C09-196 num_rel 122.00000 C09-196 num_rel_ret 37.00000 C09-196 map 0.16656 C09-196 R-prec 0.27049 C09-196 bpref 0.29134 C09-196 recip_rank 0.25000 C09-196 ndcg 0.11883 C09-196 ndcg5 0.04406 C09-196 ndcg10 0.04758 C09-196 ndcg20 0.09937 C09-196 ERR 0.13375 C09-196 ERR10 0.09861 C09-196 ERR20 0.13329 C09-196 P1 0.00000 C09-196 P5 0.40000 C09-196 P10 0.70000 C09-196 P15 0.73333 C09-196 P20 0.75000 C09-196 P30 0.66667 C09-196 P50 0.52000 C09-196 P100 0.31000 C09-196 P200 0.18500 C09-196 P500 0.07400 C09-196 P1000 0.04000 C09-197 num_ret 618.00000 C09-197 num_unjug_ret@1 0.00000 C09-197 num_unjug_ret@10 0.00000 C09-197 num_unjug_ret@100 49.00000 C09-197 num_unjug_ret@1000 575.00000 C09-197 num_rel 113.00000 C09-197 num_rel_ret 19.00000 C09-197 map 0.01651 C09-197 R-prec 0.11504 C09-197 bpref 0.13729 C09-197 recip_rank 0.04348 C09-197 ndcg 0.18748 C09-197 ndcg5 0.06783 C09-197 ndcg10 0.11227 C09-197 ndcg20 0.23991 C09-197 ERR 0.26822 C09-197 ERR10 0.26526 C09-197 ERR20 0.26822 C09-197 P1 0.00000 C09-197 P5 0.00000 C09-197 P10 0.00000 C09-197 P15 0.00000 C09-197 P20 0.00000 C09-197 P30 0.06667 C09-197 P50 0.16000 C09-197 P100 0.12000 C09-197 P200 0.06500 C09-197 P500 0.03200 C09-197 P1000 0.03074 C09-198 num_ret 695.00000 C09-198 num_unjug_ret@1 1.00000 C09-198 num_unjug_ret@10 3.00000 C09-198 num_unjug_ret@100 33.00000 C09-198 num_unjug_ret@1000 624.00000 C09-198 num_rel 58.00000 C09-198 num_rel_ret 29.00000 C09-198 map 0.07984 C09-198 R-prec 0.15517 C09-198 bpref 0.37753 C09-198 recip_rank 0.50000 C09-198 ndcg 0.15971 C09-198 ndcg5 0.02557 C09-198 ndcg10 0.03387 C09-198 ndcg20 0.11816 C09-198 ERR 0.11577 C09-198 ERR10 0.06203 C09-198 ERR20 0.11520 C09-198 P1 0.00000 C09-198 P5 0.40000 C09-198 P10 0.20000 C09-198 P15 0.13333 C09-198 P20 0.10000 C09-198 P30 0.06667 C09-198 P50 0.16000 C09-198 P100 0.16000 C09-198 P200 0.12000 C09-198 P500 0.05600 C09-198 P1000 0.04173 C09-199 num_ret 951.00000 C09-199 num_unjug_ret@1 0.00000 C09-199 num_unjug_ret@10 0.00000 C09-199 num_unjug_ret@100 49.00000 C09-199 num_unjug_ret@1000 841.00000 C09-199 num_rel 194.00000 C09-199 num_rel_ret 48.00000 C09-199 map 0.06865 C09-199 R-prec 0.10825 C09-199 bpref 0.19561 C09-199 recip_rank 1.00000 C09-199 ndcg 0.21719 C09-199 ndcg5 0.28586 C09-199 ndcg10 0.19536 C09-199 ndcg20 0.19088 C09-199 ERR 0.51023 C09-199 ERR10 0.50705 C09-199 ERR20 0.51020 C09-199 P1 1.00000 C09-199 P5 0.80000 C09-199 P10 0.70000 C09-199 P15 0.66667 C09-199 P20 0.50000 C09-199 P30 0.43333 C09-199 P50 0.32000 C09-199 P100 0.17000 C09-199 P200 0.11000 C09-199 P500 0.07200 C09-199 P1000 0.05047 C09-200 num_ret 602.00000 C09-200 num_unjug_ret@1 0.00000 C09-200 num_unjug_ret@10 0.00000 C09-200 num_unjug_ret@100 21.00000 C09-200 num_unjug_ret@1000 566.00000 C09-200 num_rel 26.00000 C09-200 num_rel_ret 4.00000 C09-200 map 0.00496 C09-200 R-prec 0.00000 C09-200 bpref 0.06805 C09-200 recip_rank 0.01852 C09-200 ndcg 0.09995 C09-200 ndcg5 0.00000 C09-200 ndcg10 0.00907 C09-200 ndcg20 0.00830 C09-200 ERR 0.03762 C09-200 ERR10 0.00694 C09-200 ERR20 0.00694 C09-200 P1 0.00000 C09-200 P5 0.00000 C09-200 P10 0.00000 C09-200 P15 0.00000 C09-200 P20 0.00000 C09-200 P30 0.00000 C09-200 P50 0.00000 C09-200 P100 0.04000 C09-200 P200 0.02000 C09-200 P500 0.00800 C09-200 P1000 0.00664 all queries 200.00000 all num_ret 151112.00000 all num_unjug_ret@1 12.00000 all num_unjug_ret@10 256.00000 all num_unjug_ret@100 8287.00000 all num_unjug_ret@1000 138328.00000 all num_rel 18771.00000 all num_rel_ret 3770.00000 all map 0.04018 all R-prec 0.09169 all bpref 0.13037 all recip_rank 0.35806 all ndcg 0.15597 all ndcg5 0.17758 all ndcg10 0.16865 all ndcg20 0.15603 all ERR 0.13121 all ERR10 0.11870 all ERR20 0.12599 all P1 0.28283 all P5 0.18687 all P10 0.16768 all P15 0.16700 all P20 0.16490 all P30 0.15303 all P50 0.13263 all P100 0.10017 all P200 0.06569 all P500 0.03551 all P1000 0.02707