C09-1 num_ret 784.00000 C09-1 num_unjug_ret@1 0.00000 C09-1 num_unjug_ret@10 1.00000 C09-1 num_unjug_ret@100 77.00000 C09-1 num_unjug_ret@1000 742.00000 C09-1 num_rel 112.00000 C09-1 num_rel_ret 6.00000 C09-1 map 0.00127 C09-1 R-prec 0.03571 C09-1 bpref 0.04576 C09-1 recip_rank 0.01695 C09-1 ndcg 0.02970 C09-1 ndcg5 0.00000 C09-1 ndcg10 0.00000 C09-1 ndcg20 0.00000 C09-1 ERR 0.00460 C09-1 ERR10 0.00000 C09-1 ERR20 0.00000 C09-1 P1 0.00000 C09-1 P5 0.00000 C09-1 P10 0.00000 C09-1 P15 0.00000 C09-1 P20 0.00000 C09-1 P30 0.00000 C09-1 P50 0.00000 C09-1 P100 0.02000 C09-1 P200 0.02000 C09-1 P500 0.01000 C09-1 P1000 0.00765 C09-2 num_ret 908.00000 C09-2 num_unjug_ret@1 0.00000 C09-2 num_unjug_ret@10 0.00000 C09-2 num_unjug_ret@100 41.00000 C09-2 num_unjug_ret@1000 815.00000 C09-2 num_rel 148.00000 C09-2 num_rel_ret 56.00000 C09-2 map 0.15661 C09-2 R-prec 0.22973 C09-2 bpref 0.34784 C09-2 recip_rank 1.00000 C09-2 ndcg 0.41267 C09-2 ndcg5 0.55944 C09-2 ndcg10 0.61293 C09-2 ndcg20 0.49280 C09-2 ERR 0.30348 C09-2 ERR10 0.28917 C09-2 ERR20 0.29830 C09-2 P1 1.00000 C09-2 P5 0.80000 C09-2 P10 0.90000 C09-2 P15 0.66667 C09-2 P20 0.65000 C09-2 P30 0.53333 C09-2 P50 0.46000 C09-2 P100 0.34000 C09-2 P200 0.17500 C09-2 P500 0.09200 C09-2 P1000 0.06167 C09-3 num_ret 999.00000 C09-3 num_unjug_ret@1 0.00000 C09-3 num_unjug_ret@10 3.00000 C09-3 num_unjug_ret@100 74.00000 C09-3 num_unjug_ret@1000 931.00000 C09-3 num_rel 151.00000 C09-3 num_rel_ret 38.00000 C09-3 map 0.08497 C09-3 R-prec 0.15232 C09-3 bpref 0.22635 C09-3 recip_rank 1.00000 C09-3 ndcg 0.39690 C09-3 ndcg5 0.86879 C09-3 ndcg10 0.77020 C09-3 ndcg20 0.57990 C09-3 ERR 0.36479 C09-3 ERR10 0.35544 C09-3 ERR20 0.36152 C09-3 P1 1.00000 C09-3 P5 0.80000 C09-3 P10 0.70000 C09-3 P15 0.53333 C09-3 P20 0.50000 C09-3 P30 0.40000 C09-3 P50 0.30000 C09-3 P100 0.19000 C09-3 P200 0.13000 C09-3 P500 0.06600 C09-3 P1000 0.03804 C09-4 num_ret 805.00000 C09-4 num_unjug_ret@1 0.00000 C09-4 num_unjug_ret@10 0.00000 C09-4 num_unjug_ret@100 26.00000 C09-4 num_unjug_ret@1000 766.00000 C09-4 num_rel 56.00000 C09-4 num_rel_ret 6.00000 C09-4 map 0.00497 C09-4 R-prec 0.03571 C09-4 bpref 0.09184 C09-4 recip_rank 0.03226 C09-4 ndcg 0.16007 C09-4 ndcg5 0.50874 C09-4 ndcg10 0.33014 C09-4 ndcg20 0.24712 C09-4 ERR 0.24928 C09-4 ERR10 0.23828 C09-4 ERR20 0.24556 C09-4 P1 0.00000 C09-4 P5 0.00000 C09-4 P10 0.00000 C09-4 P15 0.00000 C09-4 P20 0.00000 C09-4 P30 0.00000 C09-4 P50 0.04000 C09-4 P100 0.04000 C09-4 P200 0.03000 C09-4 P500 0.01200 C09-4 P1000 0.00745 C09-5 num_ret 759.00000 C09-5 num_unjug_ret@1 0.00000 C09-5 num_unjug_ret@10 0.00000 C09-5 num_unjug_ret@100 54.00000 C09-5 num_unjug_ret@1000 707.00000 C09-5 num_rel 57.00000 C09-5 num_rel_ret 5.00000 C09-5 map 0.01299 C09-5 R-prec 0.05263 C09-5 bpref 0.05663 C09-5 recip_rank 0.50000 C09-5 ndcg 0.10192 C09-5 ndcg5 0.10159 C09-5 ndcg10 0.12354 C09-5 ndcg20 0.09360 C09-5 ERR 0.04431 C09-5 ERR10 0.03962 C09-5 ERR20 0.03962 C09-5 P1 0.00000 C09-5 P5 0.20000 C09-5 P10 0.10000 C09-5 P15 0.13333 C09-5 P20 0.10000 C09-5 P30 0.06667 C09-5 P50 0.04000 C09-5 P100 0.03000 C09-5 P200 0.01500 C09-5 P500 0.00800 C09-5 P1000 0.00659 C09-6 num_ret 828.00000 C09-6 num_unjug_ret@1 0.00000 C09-6 num_unjug_ret@10 2.00000 C09-6 num_unjug_ret@100 36.00000 C09-6 num_unjug_ret@1000 735.00000 C09-6 num_rel 48.00000 C09-6 num_rel_ret 5.00000 C09-6 map 0.00547 C09-6 R-prec 0.06250 C09-6 bpref 0.04427 C09-6 recip_rank 0.04545 C09-6 ndcg 0.09962 C09-6 ndcg5 0.00000 C09-6 ndcg10 0.00000 C09-6 ndcg20 0.04013 C09-6 ERR 0.02519 C09-6 ERR10 0.00000 C09-6 ERR20 0.01563 C09-6 P1 0.00000 C09-6 P5 0.00000 C09-6 P10 0.00000 C09-6 P15 0.00000 C09-6 P20 0.00000 C09-6 P30 0.03333 C09-6 P50 0.06000 C09-6 P100 0.03000 C09-6 P200 0.02500 C09-6 P500 0.01000 C09-6 P1000 0.00604 C09-7 num_ret 989.00000 C09-7 num_unjug_ret@1 0.00000 C09-7 num_unjug_ret@10 6.00000 C09-7 num_unjug_ret@100 91.00000 C09-7 num_unjug_ret@1000 964.00000 C09-7 num_rel 84.00000 C09-7 num_rel_ret 7.00000 C09-7 map 0.00518 C09-7 R-prec 0.02381 C09-7 bpref 0.07483 C09-7 recip_rank 0.14286 C09-7 ndcg 0.06680 C09-7 ndcg5 0.00000 C09-7 ndcg10 0.09071 C09-7 ndcg20 0.05854 C09-7 ERR 0.03063 C09-7 ERR10 0.02846 C09-7 ERR20 0.02846 C09-7 P1 0.00000 C09-7 P5 0.00000 C09-7 P10 0.20000 C09-7 P15 0.13333 C09-7 P20 0.10000 C09-7 P30 0.06667 C09-7 P50 0.04000 C09-7 P100 0.03000 C09-7 P200 0.01500 C09-7 P500 0.00800 C09-7 P1000 0.00708 C09-8 num_ret 986.00000 C09-8 num_unjug_ret@1 0.00000 C09-8 num_unjug_ret@10 5.00000 C09-8 num_unjug_ret@100 75.00000 C09-8 num_unjug_ret@1000 935.00000 C09-8 num_rel 63.00000 C09-8 num_rel_ret 14.00000 C09-8 map 0.01661 C09-8 R-prec 0.07937 C09-8 bpref 0.16553 C09-8 recip_rank 0.20000 C09-8 ndcg 0.10643 C09-8 ndcg5 0.04869 C09-8 ndcg10 0.03160 C09-8 ndcg20 0.04636 C09-8 ERR 0.02959 C09-8 ERR10 0.01563 C09-8 ERR20 0.02347 C09-8 P1 0.00000 C09-8 P5 0.20000 C09-8 P10 0.10000 C09-8 P15 0.13333 C09-8 P20 0.15000 C09-8 P30 0.13333 C09-8 P50 0.08000 C09-8 P100 0.05000 C09-8 P200 0.03500 C09-8 P500 0.02200 C09-8 P1000 0.01420 C09-9 num_ret 969.00000 C09-9 num_unjug_ret@1 0.00000 C09-9 num_unjug_ret@10 4.00000 C09-9 num_unjug_ret@100 87.00000 C09-9 num_unjug_ret@1000 947.00000 C09-9 num_rel 134.00000 C09-9 num_rel_ret 17.00000 C09-9 map 0.03870 C09-9 R-prec 0.08955 C09-9 bpref 0.11773 C09-9 recip_rank 1.00000 C09-9 ndcg 0.12831 C09-9 ndcg5 0.23307 C09-9 ndcg10 0.17738 C09-9 ndcg20 0.14999 C09-9 ERR 0.13410 C09-9 ERR10 0.11411 C09-9 ERR20 0.12377 C09-9 P1 1.00000 C09-9 P5 0.60000 C09-9 P10 0.40000 C09-9 P15 0.33333 C09-9 P20 0.25000 C09-9 P30 0.16667 C09-9 P50 0.16000 C09-9 P100 0.11000 C09-9 P200 0.06500 C09-9 P500 0.03200 C09-9 P1000 0.01754 C09-10 num_ret 984.00000 C09-10 num_unjug_ret@1 0.00000 C09-10 num_unjug_ret@10 5.00000 C09-10 num_unjug_ret@100 80.00000 C09-10 num_unjug_ret@1000 948.00000 C09-10 num_rel 185.00000 C09-10 num_rel_ret 8.00000 C09-10 map 0.00062 C09-10 R-prec 0.01081 C09-10 bpref 0.03749 C09-10 recip_rank 0.01163 C09-10 ndcg 0.02700 C09-10 ndcg5 0.00000 C09-10 ndcg10 0.00000 C09-10 ndcg20 0.00000 C09-10 ERR 0.00329 C09-10 ERR10 0.00000 C09-10 ERR20 0.00000 C09-10 P1 0.00000 C09-10 P5 0.00000 C09-10 P10 0.00000 C09-10 P15 0.00000 C09-10 P20 0.00000 C09-10 P30 0.00000 C09-10 P50 0.00000 C09-10 P100 0.01000 C09-10 P200 0.01000 C09-10 P500 0.01600 C09-10 P1000 0.00813 C09-11 num_ret 1000.00000 C09-11 num_unjug_ret@1 0.00000 C09-11 num_unjug_ret@10 0.00000 C09-11 num_unjug_ret@100 41.00000 C09-11 num_unjug_ret@1000 876.00000 C09-11 num_rel 134.00000 C09-11 num_rel_ret 47.00000 C09-11 map 0.15970 C09-11 R-prec 0.26866 C09-11 bpref 0.29383 C09-11 recip_rank 1.00000 C09-11 ndcg 0.50946 C09-11 ndcg5 0.83042 C09-11 ndcg10 0.68168 C09-11 ndcg20 0.63635 C09-11 ERR 0.35030 C09-11 ERR10 0.33470 C09-11 ERR20 0.34760 C09-11 P1 1.00000 C09-11 P5 0.80000 C09-11 P10 0.60000 C09-11 P15 0.53333 C09-11 P20 0.65000 C09-11 P30 0.56667 C09-11 P50 0.46000 C09-11 P100 0.33000 C09-11 P200 0.21500 C09-11 P500 0.09200 C09-11 P1000 0.04700 C09-12 num_ret 989.00000 C09-12 num_unjug_ret@1 0.00000 C09-12 num_unjug_ret@10 1.00000 C09-12 num_unjug_ret@100 84.00000 C09-12 num_unjug_ret@1000 941.00000 C09-12 num_rel 273.00000 C09-12 num_rel_ret 33.00000 C09-12 map 0.03896 C09-12 R-prec 0.06227 C09-12 bpref 0.11770 C09-12 recip_rank 1.00000 C09-12 ndcg 0.21989 C09-12 ndcg5 0.91253 C09-12 ndcg10 0.72915 C09-12 ndcg20 0.50567 C09-12 ERR 0.35851 C09-12 ERR10 0.35269 C09-12 ERR20 0.35577 C09-12 P1 1.00000 C09-12 P5 1.00000 C09-12 P10 0.70000 C09-12 P15 0.60000 C09-12 P20 0.50000 C09-12 P30 0.36667 C09-12 P50 0.24000 C09-12 P100 0.12000 C09-12 P200 0.07500 C09-12 P500 0.06400 C09-12 P1000 0.03337 C09-13 num_ret 898.00000 C09-13 num_unjug_ret@1 0.00000 C09-13 num_unjug_ret@10 7.00000 C09-13 num_unjug_ret@100 86.00000 C09-13 num_unjug_ret@1000 873.00000 C09-13 num_rel 11.00000 C09-13 num_rel_ret 1.00000 C09-13 map 0.01515 C09-13 R-prec 0.09091 C09-13 bpref 0.08264 C09-13 recip_rank 0.16667 C09-13 ndcg 0.08395 C09-13 ndcg5 0.00000 C09-13 ndcg10 0.08583 C09-13 ndcg20 0.08395 C09-13 ERR 0.03125 C09-13 ERR10 0.03125 C09-13 ERR20 0.03125 C09-13 P1 0.00000 C09-13 P5 0.00000 C09-13 P10 0.10000 C09-13 P15 0.06667 C09-13 P20 0.05000 C09-13 P30 0.03333 C09-13 P50 0.02000 C09-13 P100 0.01000 C09-13 P200 0.00500 C09-13 P500 0.00200 C09-13 P1000 0.00111 C09-14 num_ret 696.00000 C09-14 num_unjug_ret@1 0.00000 C09-14 num_unjug_ret@10 0.00000 C09-14 num_unjug_ret@100 41.00000 C09-14 num_unjug_ret@1000 610.00000 C09-14 num_rel 155.00000 C09-14 num_rel_ret 22.00000 C09-14 map 0.01829 C09-14 R-prec 0.07097 C09-14 bpref 0.11646 C09-14 recip_rank 0.50000 C09-14 ndcg 0.17532 C09-14 ndcg5 0.38357 C09-14 ndcg10 0.31834 C09-14 ndcg20 0.24383 C09-14 ERR 0.17333 C09-14 ERR10 0.16000 C09-14 ERR20 0.16838 C09-14 P1 0.00000 C09-14 P5 0.40000 C09-14 P10 0.20000 C09-14 P15 0.13333 C09-14 P20 0.15000 C09-14 P30 0.13333 C09-14 P50 0.10000 C09-14 P100 0.10000 C09-14 P200 0.08000 C09-14 P500 0.03600 C09-14 P1000 0.03161 C09-15 num_ret 150.00000 C09-15 num_unjug_ret@1 0.00000 C09-15 num_unjug_ret@10 0.00000 C09-15 num_unjug_ret@100 2.00000 C09-15 num_unjug_ret@1000 131.00000 C09-15 num_rel 253.00000 C09-15 num_rel_ret 15.00000 C09-15 map 0.00712 C09-15 R-prec 0.00000 C09-15 bpref 0.05113 C09-15 recip_rank 1.00000 C09-15 ndcg 0.10144 C09-15 ndcg5 0.36428 C09-15 ndcg10 0.47967 C09-15 ndcg20 0.32236 C09-15 ERR 0.18958 C09-15 ERR10 0.18477 C09-15 ERR20 0.18653 C09-15 P1 1.00000 C09-15 P5 0.20000 C09-15 P10 0.10000 C09-15 P15 0.06667 C09-15 P20 0.05000 C09-15 P30 0.06667 C09-15 P50 0.04000 C09-15 P100 0.08000 C09-15 P200 0.06667 C09-15 P500 0.08667 C09-15 P1000 0.10000 C09-16 num_ret 795.00000 C09-16 num_unjug_ret@1 0.00000 C09-16 num_unjug_ret@10 1.00000 C09-16 num_unjug_ret@100 52.00000 C09-16 num_unjug_ret@1000 684.00000 C09-16 num_rel 183.00000 C09-16 num_rel_ret 51.00000 C09-16 map 0.06357 C09-16 R-prec 0.16393 C09-16 bpref 0.23220 C09-16 recip_rank 0.16667 C09-16 ndcg 0.25879 C09-16 ndcg5 0.00000 C09-16 ndcg10 0.09582 C09-16 ndcg20 0.18480 C09-16 ERR 0.06939 C09-16 ERR10 0.03138 C09-16 ERR20 0.06084 C09-16 P1 0.00000 C09-16 P5 0.00000 C09-16 P10 0.40000 C09-16 P15 0.46667 C09-16 P20 0.40000 C09-16 P30 0.40000 C09-16 P50 0.32000 C09-16 P100 0.19000 C09-16 P200 0.16000 C09-16 P500 0.08800 C09-16 P1000 0.06415 C09-17 num_ret 931.00000 C09-17 num_unjug_ret@1 0.00000 C09-17 num_unjug_ret@10 2.00000 C09-17 num_unjug_ret@100 50.00000 C09-17 num_unjug_ret@1000 857.00000 C09-17 num_rel 171.00000 C09-17 num_rel_ret 39.00000 C09-17 map 0.09271 C09-17 R-prec 0.17544 C09-17 bpref 0.21391 C09-17 recip_rank 1.00000 C09-17 ndcg 0.27578 C09-17 ndcg5 0.47037 C09-17 ndcg10 0.42295 C09-17 ndcg20 0.34306 C09-17 ERR 0.26156 C09-17 ERR10 0.24298 C09-17 ERR20 0.25302 C09-17 P1 1.00000 C09-17 P5 0.40000 C09-17 P10 0.50000 C09-17 P15 0.46667 C09-17 P20 0.55000 C09-17 P30 0.56667 C09-17 P50 0.44000 C09-17 P100 0.28000 C09-17 P200 0.15000 C09-17 P500 0.06800 C09-17 P1000 0.04189 C09-18 num_ret 1000.00000 C09-18 num_unjug_ret@1 0.00000 C09-18 num_unjug_ret@10 1.00000 C09-18 num_unjug_ret@100 69.00000 C09-18 num_unjug_ret@1000 925.00000 C09-18 num_rel 196.00000 C09-18 num_rel_ret 42.00000 C09-18 map 0.06050 C09-18 R-prec 0.14286 C09-18 bpref 0.20210 C09-18 recip_rank 0.33333 C09-18 ndcg 0.22425 C09-18 ndcg5 0.18773 C09-18 ndcg10 0.27933 C09-18 ndcg20 0.30425 C09-18 ERR 0.11075 C09-18 ERR10 0.09041 C09-18 ERR20 0.10517 C09-18 P1 0.00000 C09-18 P5 0.40000 C09-18 P10 0.50000 C09-18 P15 0.46667 C09-18 P20 0.50000 C09-18 P30 0.43333 C09-18 P50 0.36000 C09-18 P100 0.21000 C09-18 P200 0.15000 C09-18 P500 0.08200 C09-18 P1000 0.04200 C09-19 num_ret 692.00000 C09-19 num_unjug_ret@1 1.00000 C09-19 num_unjug_ret@10 5.00000 C09-19 num_unjug_ret@100 52.00000 C09-19 num_unjug_ret@1000 662.00000 C09-19 num_rel 2.00000 C09-19 num_rel_ret 0.00000 C09-19 map 0.00000 C09-19 R-prec 0.00000 C09-19 bpref 0.00000 C09-19 recip_rank 0.00000 C09-19 ndcg 0.00000 C09-19 ndcg5 0.00000 C09-19 ndcg10 0.00000 C09-19 ndcg20 0.00000 C09-19 ERR 0.00000 C09-19 ERR10 0.00000 C09-19 ERR20 0.00000 C09-19 P1 0.00000 C09-19 P5 0.00000 C09-19 P10 0.00000 C09-19 P15 0.00000 C09-19 P20 0.00000 C09-19 P30 0.00000 C09-19 P50 0.00000 C09-19 P100 0.00000 C09-19 P200 0.00000 C09-19 P500 0.00000 C09-19 P1000 0.00000 C09-20 num_ret 742.00000 C09-20 num_unjug_ret@1 0.00000 C09-20 num_unjug_ret@10 1.00000 C09-20 num_unjug_ret@100 40.00000 C09-20 num_unjug_ret@1000 719.00000 C09-20 num_rel 0.00000 C09-20 num_rel_ret 0.00000 C09-20 map 0.00000 C09-20 R-prec 0.00000 C09-20 bpref 0.00000 C09-20 recip_rank 0.00000 C09-20 ndcg 0.00000 C09-20 ndcg5 0.00000 C09-20 ndcg10 0.00000 C09-20 ndcg20 0.00000 C09-20 ERR 0.00000 C09-20 ERR10 0.00000 C09-20 ERR20 0.00000 C09-20 P1 0.00000 C09-20 P5 0.00000 C09-20 P10 0.00000 C09-20 P15 0.00000 C09-20 P20 0.00000 C09-20 P30 0.00000 C09-20 P50 0.00000 C09-20 P100 0.00000 C09-20 P200 0.00000 C09-20 P500 0.00000 C09-20 P1000 0.00000 C09-21 num_ret 777.00000 C09-21 num_unjug_ret@1 0.00000 C09-21 num_unjug_ret@10 3.00000 C09-21 num_unjug_ret@100 56.00000 C09-21 num_unjug_ret@1000 737.00000 C09-21 num_rel 226.00000 C09-21 num_rel_ret 31.00000 C09-21 map 0.01244 C09-21 R-prec 0.09735 C09-21 bpref 0.12622 C09-21 recip_rank 0.05556 C09-21 ndcg 0.10064 C09-21 ndcg5 0.00000 C09-21 ndcg10 0.07336 C09-21 ndcg20 0.06055 C09-21 ERR 0.04285 C09-21 ERR10 0.02679 C09-21 ERR20 0.03140 C09-21 P1 0.00000 C09-21 P5 0.00000 C09-21 P10 0.00000 C09-21 P15 0.00000 C09-21 P20 0.05000 C09-21 P30 0.06667 C09-21 P50 0.06000 C09-21 P100 0.08000 C09-21 P200 0.11000 C09-21 P500 0.05800 C09-21 P1000 0.03990 C09-22 num_ret 986.00000 C09-22 num_unjug_ret@1 0.00000 C09-22 num_unjug_ret@10 0.00000 C09-22 num_unjug_ret@100 60.00000 C09-22 num_unjug_ret@1000 883.00000 C09-22 num_rel 163.00000 C09-22 num_rel_ret 62.00000 C09-22 map 0.19301 C09-22 R-prec 0.26994 C09-22 bpref 0.35922 C09-22 recip_rank 1.00000 C09-22 ndcg 0.47283 C09-22 ndcg5 1.00000 C09-22 ndcg10 1.00000 C09-22 ndcg20 0.87843 C09-22 ERR 0.38471 C09-22 ERR10 0.37752 C09-22 ERR20 0.38387 C09-22 P1 1.00000 C09-22 P5 1.00000 C09-22 P10 1.00000 C09-22 P15 0.93333 C09-22 P20 0.90000 C09-22 P30 0.66667 C09-22 P50 0.52000 C09-22 P100 0.33000 C09-22 P200 0.23500 C09-22 P500 0.11800 C09-22 P1000 0.06288 C09-23 num_ret 885.00000 C09-23 num_unjug_ret@1 1.00000 C09-23 num_unjug_ret@10 3.00000 C09-23 num_unjug_ret@100 43.00000 C09-23 num_unjug_ret@1000 871.00000 C09-23 num_rel 174.00000 C09-23 num_rel_ret 11.00000 C09-23 map 0.00238 C09-23 R-prec 0.03448 C09-23 bpref 0.05737 C09-23 recip_rank 0.02857 C09-23 ndcg 0.05077 C09-23 ndcg5 0.04869 C09-23 ndcg10 0.05280 C09-23 ndcg20 0.05577 C09-23 ERR 0.03038 C09-23 ERR10 0.02148 C09-23 ERR20 0.02606 C09-23 P1 0.00000 C09-23 P5 0.00000 C09-23 P10 0.00000 C09-23 P15 0.00000 C09-23 P20 0.00000 C09-23 P30 0.00000 C09-23 P50 0.06000 C09-23 P100 0.05000 C09-23 P200 0.03500 C09-23 P500 0.01600 C09-23 P1000 0.01243 C09-24 num_ret 945.00000 C09-24 num_unjug_ret@1 0.00000 C09-24 num_unjug_ret@10 1.00000 C09-24 num_unjug_ret@100 65.00000 C09-24 num_unjug_ret@1000 865.00000 C09-24 num_rel 154.00000 C09-24 num_rel_ret 36.00000 C09-24 map 0.04508 C09-24 R-prec 0.12987 C09-24 bpref 0.19974 C09-24 recip_rank 0.50000 C09-24 ndcg 0.20816 C09-24 ndcg5 0.11506 C09-24 ndcg10 0.16531 C09-24 ndcg20 0.17874 C09-24 ERR 0.09365 C09-24 ERR10 0.06803 C09-24 ERR20 0.08406 C09-24 P1 0.00000 C09-24 P5 0.40000 C09-24 P10 0.40000 C09-24 P15 0.33333 C09-24 P20 0.30000 C09-24 P30 0.26667 C09-24 P50 0.26000 C09-24 P100 0.19000 C09-24 P200 0.10500 C09-24 P500 0.05200 C09-24 P1000 0.03810 C09-25 num_ret 681.00000 C09-25 num_unjug_ret@1 0.00000 C09-25 num_unjug_ret@10 0.00000 C09-25 num_unjug_ret@100 27.00000 C09-25 num_unjug_ret@1000 595.00000 C09-25 num_rel 164.00000 C09-25 num_rel_ret 38.00000 C09-25 map 0.04563 C09-25 R-prec 0.12805 C09-25 bpref 0.18081 C09-25 recip_rank 0.50000 C09-25 ndcg 0.16479 C09-25 ndcg5 0.22028 C09-25 ndcg10 0.16908 C09-25 ndcg20 0.12155 C09-25 ERR 0.09952 C09-25 ERR10 0.08286 C09-25 ERR20 0.08634 C09-25 P1 0.00000 C09-25 P5 0.80000 C09-25 P10 0.50000 C09-25 P15 0.40000 C09-25 P20 0.30000 C09-25 P30 0.20000 C09-25 P50 0.12000 C09-25 P100 0.16000 C09-25 P200 0.11500 C09-25 P500 0.05400 C09-25 P1000 0.05580 C09-26 num_ret 811.00000 C09-26 num_unjug_ret@1 0.00000 C09-26 num_unjug_ret@10 5.00000 C09-26 num_unjug_ret@100 59.00000 C09-26 num_unjug_ret@1000 746.00000 C09-26 num_rel 173.00000 C09-26 num_rel_ret 25.00000 C09-26 map 0.02378 C09-26 R-prec 0.09827 C09-26 bpref 0.12349 C09-26 recip_rank 1.00000 C09-26 ndcg 0.18353 C09-26 ndcg5 0.33916 C09-26 ndcg10 0.26338 C09-26 ndcg20 0.19870 C09-26 ERR 0.21524 C09-26 ERR10 0.19790 C09-26 ERR20 0.20038 C09-26 P1 1.00000 C09-26 P5 0.20000 C09-26 P10 0.10000 C09-26 P15 0.06667 C09-26 P20 0.10000 C09-26 P30 0.10000 C09-26 P50 0.20000 C09-26 P100 0.15000 C09-26 P200 0.09000 C09-26 P500 0.04200 C09-26 P1000 0.03083 C09-27 num_ret 859.00000 C09-27 num_unjug_ret@1 0.00000 C09-27 num_unjug_ret@10 0.00000 C09-27 num_unjug_ret@100 51.00000 C09-27 num_unjug_ret@1000 793.00000 C09-27 num_rel 205.00000 C09-27 num_rel_ret 51.00000 C09-27 map 0.04251 C09-27 R-prec 0.14634 C09-27 bpref 0.23607 C09-27 recip_rank 1.00000 C09-27 ndcg 0.25289 C09-27 ndcg5 0.52896 C09-27 ndcg10 0.36535 C09-27 ndcg20 0.27253 C09-27 ERR 0.25635 C09-27 ERR10 0.23814 C09-27 ERR20 0.24571 C09-27 P1 1.00000 C09-27 P5 0.20000 C09-27 P10 0.10000 C09-27 P15 0.06667 C09-27 P20 0.05000 C09-27 P30 0.16667 C09-27 P50 0.20000 C09-27 P100 0.23000 C09-27 P200 0.14500 C09-27 P500 0.07600 C09-27 P1000 0.05937 C09-28 num_ret 604.00000 C09-28 num_unjug_ret@1 0.00000 C09-28 num_unjug_ret@10 2.00000 C09-28 num_unjug_ret@100 2.00000 C09-28 num_unjug_ret@1000 573.00000 C09-28 num_rel 275.00000 C09-28 num_rel_ret 18.00000 C09-28 map 0.00159 C09-28 R-prec 0.01091 C09-28 bpref 0.06450 C09-28 recip_rank 0.00633 C09-28 ndcg 0.04837 C09-28 ndcg5 0.17989 C09-28 ndcg10 0.13795 C09-28 ndcg20 0.08903 C09-28 ERR 0.06359 C09-28 ERR10 0.05554 C09-28 ERR20 0.05554 C09-28 P1 0.00000 C09-28 P5 0.00000 C09-28 P10 0.00000 C09-28 P15 0.00000 C09-28 P20 0.00000 C09-28 P30 0.00000 C09-28 P50 0.00000 C09-28 P100 0.00000 C09-28 P200 0.01500 C09-28 P500 0.02800 C09-28 P1000 0.02980 C09-29 num_ret 884.00000 C09-29 num_unjug_ret@1 1.00000 C09-29 num_unjug_ret@10 7.00000 C09-29 num_unjug_ret@100 86.00000 C09-29 num_unjug_ret@1000 860.00000 C09-29 num_rel 29.00000 C09-29 num_rel_ret 1.00000 C09-29 map 0.00044 C09-29 R-prec 0.00000 C09-29 bpref 0.02378 C09-29 recip_rank 0.01266 C09-29 ndcg 0.01123 C09-29 ndcg5 0.00000 C09-29 ndcg10 0.00000 C09-29 ndcg20 0.00000 C09-29 ERR 0.00079 C09-29 ERR10 0.00000 C09-29 ERR20 0.00000 C09-29 P1 0.00000 C09-29 P5 0.00000 C09-29 P10 0.00000 C09-29 P15 0.00000 C09-29 P20 0.00000 C09-29 P30 0.00000 C09-29 P50 0.00000 C09-29 P100 0.01000 C09-29 P200 0.00500 C09-29 P500 0.00200 C09-29 P1000 0.00113 C09-30 num_ret 964.00000 C09-30 num_unjug_ret@1 1.00000 C09-30 num_unjug_ret@10 2.00000 C09-30 num_unjug_ret@100 55.00000 C09-30 num_unjug_ret@1000 846.00000 C09-30 num_rel 303.00000 C09-30 num_rel_ret 86.00000 C09-30 map 0.09250 C09-30 R-prec 0.20132 C09-30 bpref 0.26446 C09-30 recip_rank 0.50000 C09-30 ndcg 0.31087 C09-30 ndcg5 0.30641 C09-30 ndcg10 0.31954 C09-30 ndcg20 0.34862 C09-30 ERR 0.17154 C09-30 ERR10 0.14474 C09-30 ERR20 0.16482 C09-30 P1 0.00000 C09-30 P5 0.60000 C09-30 P10 0.60000 C09-30 P15 0.60000 C09-30 P20 0.60000 C09-30 P30 0.56667 C09-30 P50 0.46000 C09-30 P100 0.33000 C09-30 P200 0.26000 C09-30 P500 0.14000 C09-30 P1000 0.08921 C09-31 num_ret 593.00000 C09-31 num_unjug_ret@1 0.00000 C09-31 num_unjug_ret@10 2.00000 C09-31 num_unjug_ret@100 20.00000 C09-31 num_unjug_ret@1000 541.00000 C09-31 num_rel 229.00000 C09-31 num_rel_ret 25.00000 C09-31 map 0.02755 C09-31 R-prec 0.07860 C09-31 bpref 0.10642 C09-31 recip_rank 1.00000 C09-31 ndcg 0.19560 C09-31 ndcg5 0.47311 C09-31 ndcg10 0.44400 C09-31 ndcg20 0.42900 C09-31 ERR 0.23151 C09-31 ERR10 0.21210 C09-31 ERR20 0.22833 C09-31 P1 1.00000 C09-31 P5 0.60000 C09-31 P10 0.30000 C09-31 P15 0.20000 C09-31 P20 0.15000 C09-31 P30 0.23333 C09-31 P50 0.24000 C09-31 P100 0.16000 C09-31 P200 0.09000 C09-31 P500 0.04600 C09-31 P1000 0.04216 C09-32 num_ret 1000.00000 C09-32 num_unjug_ret@1 0.00000 C09-32 num_unjug_ret@10 4.00000 C09-32 num_unjug_ret@100 80.00000 C09-32 num_unjug_ret@1000 953.00000 C09-32 num_rel 271.00000 C09-32 num_rel_ret 33.00000 C09-32 map 0.02506 C09-32 R-prec 0.06642 C09-32 bpref 0.10757 C09-32 recip_rank 1.00000 C09-32 ndcg 0.18935 C09-32 ndcg5 0.55315 C09-32 ndcg10 0.45353 C09-32 ndcg20 0.34279 C09-32 ERR 0.30060 C09-32 ERR10 0.28471 C09-32 ERR20 0.29413 C09-32 P1 1.00000 C09-32 P5 0.40000 C09-32 P10 0.40000 C09-32 P15 0.40000 C09-32 P20 0.30000 C09-32 P30 0.26667 C09-32 P50 0.24000 C09-32 P100 0.14000 C09-32 P200 0.09000 C09-32 P500 0.04600 C09-32 P1000 0.03300 C09-33 num_ret 996.00000 C09-33 num_unjug_ret@1 0.00000 C09-33 num_unjug_ret@10 2.00000 C09-33 num_unjug_ret@100 75.00000 C09-33 num_unjug_ret@1000 957.00000 C09-33 num_rel 245.00000 C09-33 num_rel_ret 26.00000 C09-33 map 0.04050 C09-33 R-prec 0.08163 C09-33 bpref 0.10073 C09-33 recip_rank 1.00000 C09-33 ndcg 0.17638 C09-33 ndcg5 0.64557 C09-33 ndcg10 0.53183 C09-33 ndcg20 0.40121 C09-33 ERR 0.31215 C09-33 ERR10 0.30158 C09-33 ERR20 0.30921 C09-33 P1 1.00000 C09-33 P5 0.80000 C09-33 P10 0.70000 C09-33 P15 0.60000 C09-33 P20 0.45000 C09-33 P30 0.33333 C09-33 P50 0.24000 C09-33 P100 0.17000 C09-33 P200 0.09000 C09-33 P500 0.05000 C09-33 P1000 0.02610 C09-34 num_ret 976.00000 C09-34 num_unjug_ret@1 0.00000 C09-34 num_unjug_ret@10 8.00000 C09-34 num_unjug_ret@100 97.00000 C09-34 num_unjug_ret@1000 964.00000 C09-34 num_rel 111.00000 C09-34 num_rel_ret 4.00000 C09-34 map 0.00139 C09-34 R-prec 0.00901 C09-34 bpref 0.03490 C09-34 recip_rank 0.12500 C09-34 ndcg 0.01915 C09-34 ndcg5 0.00000 C09-34 ndcg10 0.02314 C09-34 ndcg20 0.01494 C09-34 ERR 0.00862 C09-34 ERR10 0.00781 C09-34 ERR20 0.00781 C09-34 P1 0.00000 C09-34 P5 0.00000 C09-34 P10 0.10000 C09-34 P15 0.06667 C09-34 P20 0.05000 C09-34 P30 0.03333 C09-34 P50 0.02000 C09-34 P100 0.01000 C09-34 P200 0.00500 C09-34 P500 0.00800 C09-34 P1000 0.00410 C09-35 num_ret 603.00000 C09-35 num_unjug_ret@1 0.00000 C09-35 num_unjug_ret@10 0.00000 C09-35 num_unjug_ret@100 35.00000 C09-35 num_unjug_ret@1000 543.00000 C09-35 num_rel 125.00000 C09-35 num_rel_ret 18.00000 C09-35 map 0.01598 C09-35 R-prec 0.08000 C09-35 bpref 0.13107 C09-35 recip_rank 0.07143 C09-35 ndcg 0.19220 C09-35 ndcg5 0.36005 C09-35 ndcg10 0.35523 C09-35 ndcg20 0.31303 C09-35 ERR 0.17497 C09-35 ERR10 0.15878 C09-35 ERR20 0.17139 C09-35 P1 0.00000 C09-35 P5 0.00000 C09-35 P10 0.00000 C09-35 P15 0.06667 C09-35 P20 0.20000 C09-35 P30 0.16667 C09-35 P50 0.12000 C09-35 P100 0.10000 C09-35 P200 0.07000 C09-35 P500 0.03400 C09-35 P1000 0.02985 C09-36 num_ret 940.00000 C09-36 num_unjug_ret@1 0.00000 C09-36 num_unjug_ret@10 4.00000 C09-36 num_unjug_ret@100 60.00000 C09-36 num_unjug_ret@1000 911.00000 C09-36 num_rel 126.00000 C09-36 num_rel_ret 14.00000 C09-36 map 0.02929 C09-36 R-prec 0.07143 C09-36 bpref 0.09858 C09-36 recip_rank 0.50000 C09-36 ndcg 0.10937 C09-36 ndcg5 0.16375 C09-36 ndcg10 0.20781 C09-36 ndcg20 0.17142 C09-36 ERR 0.09905 C09-36 ERR10 0.08786 C09-36 ERR20 0.09692 C09-36 P1 0.00000 C09-36 P5 0.60000 C09-36 P10 0.50000 C09-36 P15 0.40000 C09-36 P20 0.30000 C09-36 P30 0.20000 C09-36 P50 0.12000 C09-36 P100 0.07000 C09-36 P200 0.04500 C09-36 P500 0.02200 C09-36 P1000 0.01489 C09-37 num_ret 888.00000 C09-37 num_unjug_ret@1 1.00000 C09-37 num_unjug_ret@10 5.00000 C09-37 num_unjug_ret@100 87.00000 C09-37 num_unjug_ret@1000 874.00000 C09-37 num_rel 4.00000 C09-37 num_rel_ret 1.00000 C09-37 map 0.02778 C09-37 R-prec 0.00000 C09-37 bpref 0.00000 C09-37 recip_rank 0.11111 C09-37 ndcg 0.15508 C09-37 ndcg5 0.00000 C09-37 ndcg10 0.15508 C09-37 ndcg20 0.15508 C09-37 ERR 0.02083 C09-37 ERR10 0.02083 C09-37 ERR20 0.02083 C09-37 P1 0.00000 C09-37 P5 0.00000 C09-37 P10 0.10000 C09-37 P15 0.06667 C09-37 P20 0.05000 C09-37 P30 0.03333 C09-37 P50 0.02000 C09-37 P100 0.01000 C09-37 P200 0.00500 C09-37 P500 0.00200 C09-37 P1000 0.00113 C09-38 num_ret 989.00000 C09-38 num_unjug_ret@1 0.00000 C09-38 num_unjug_ret@10 8.00000 C09-38 num_unjug_ret@100 76.00000 C09-38 num_unjug_ret@1000 913.00000 C09-38 num_rel 259.00000 C09-38 num_rel_ret 46.00000 C09-38 map 0.02059 C09-38 R-prec 0.10425 C09-38 bpref 0.16459 C09-38 recip_rank 0.33333 C09-38 ndcg 0.14492 C09-38 ndcg5 0.05653 C09-38 ndcg10 0.03668 C09-38 ndcg20 0.05842 C09-38 ERR 0.04306 C09-38 ERR10 0.02083 C09-38 ERR20 0.03182 C09-38 P1 0.00000 C09-38 P5 0.20000 C09-38 P10 0.10000 C09-38 P15 0.06667 C09-38 P20 0.10000 C09-38 P30 0.06667 C09-38 P50 0.14000 C09-38 P100 0.15000 C09-38 P200 0.13000 C09-38 P500 0.07000 C09-38 P1000 0.04651 C09-39 num_ret 807.00000 C09-39 num_unjug_ret@1 0.00000 C09-39 num_unjug_ret@10 0.00000 C09-39 num_unjug_ret@100 25.00000 C09-39 num_unjug_ret@1000 736.00000 C09-39 num_rel 135.00000 C09-39 num_rel_ret 21.00000 C09-39 map 0.01330 C09-39 R-prec 0.06667 C09-39 bpref 0.11731 C09-39 recip_rank 0.16667 C09-39 ndcg 0.11743 C09-39 ndcg5 0.17989 C09-39 ndcg10 0.11674 C09-39 ndcg20 0.09949 C09-39 ERR 0.06862 C09-39 ERR10 0.05078 C09-39 ERR20 0.05737 C09-39 P1 0.00000 C09-39 P5 0.00000 C09-39 P10 0.20000 C09-39 P15 0.13333 C09-39 P20 0.15000 C09-39 P30 0.16667 C09-39 P50 0.12000 C09-39 P100 0.08000 C09-39 P200 0.05000 C09-39 P500 0.03400 C09-39 P1000 0.02602 C09-40 num_ret 51.00000 C09-40 num_unjug_ret@1 0.00000 C09-40 num_unjug_ret@10 1.00000 C09-40 num_unjug_ret@100 19.00000 C09-40 num_unjug_ret@1000 19.00000 C09-40 num_rel 94.00000 C09-40 num_rel_ret 18.00000 C09-40 map 0.10211 C09-40 R-prec 0.00000 C09-40 bpref 0.17893 C09-40 recip_rank 0.50000 C09-40 ndcg 0.32453 C09-40 ndcg5 0.41658 C09-40 ndcg10 0.27033 C09-40 ndcg20 0.39736 C09-40 ERR 0.18231 C09-40 ERR10 0.14638 C09-40 ERR20 0.17811 C09-40 P1 0.00000 C09-40 P5 0.60000 C09-40 P10 0.30000 C09-40 P15 0.46667 C09-40 P20 0.55000 C09-40 P30 0.53333 C09-40 P50 0.36000 C09-40 P100 0.35294 C09-40 P200 0.35294 C09-40 P500 0.35294 C09-40 P1000 0.35294 C09-41 num_ret 896.00000 C09-41 num_unjug_ret@1 0.00000 C09-41 num_unjug_ret@10 0.00000 C09-41 num_unjug_ret@100 47.00000 C09-41 num_unjug_ret@1000 810.00000 C09-41 num_rel 137.00000 C09-41 num_rel_ret 42.00000 C09-41 map 0.07515 C09-41 R-prec 0.14599 C09-41 bpref 0.25862 C09-41 recip_rank 1.00000 C09-41 ndcg 0.37254 C09-41 ndcg5 0.60029 C09-41 ndcg10 0.49240 C09-41 ndcg20 0.33022 C09-41 ERR 0.29046 C09-41 ERR10 0.27867 C09-41 ERR20 0.28080 C09-41 P1 1.00000 C09-41 P5 0.80000 C09-41 P10 0.60000 C09-41 P15 0.40000 C09-41 P20 0.30000 C09-41 P30 0.23333 C09-41 P50 0.22000 C09-41 P100 0.19000 C09-41 P200 0.11500 C09-41 P500 0.06600 C09-41 P1000 0.04688 C09-42 num_ret 502.00000 C09-42 num_unjug_ret@1 0.00000 C09-42 num_unjug_ret@10 4.00000 C09-42 num_unjug_ret@100 24.00000 C09-42 num_unjug_ret@1000 479.00000 C09-42 num_rel 34.00000 C09-42 num_rel_ret 4.00000 C09-42 map 0.00215 C09-42 R-prec 0.02941 C09-42 bpref 0.09343 C09-42 recip_rank 0.03704 C09-42 ndcg 0.04438 C09-42 ndcg5 0.00000 C09-42 ndcg10 0.02446 C09-42 ndcg20 0.02019 C09-42 ERR 0.00882 C09-42 ERR10 0.00625 C09-42 ERR20 0.00625 C09-42 P1 0.00000 C09-42 P5 0.00000 C09-42 P10 0.00000 C09-42 P15 0.00000 C09-42 P20 0.00000 C09-42 P30 0.03333 C09-42 P50 0.02000 C09-42 P100 0.01000 C09-42 P200 0.01000 C09-42 P500 0.00600 C09-42 P1000 0.00797 C09-43 num_ret 842.00000 C09-43 num_unjug_ret@1 0.00000 C09-43 num_unjug_ret@10 0.00000 C09-43 num_unjug_ret@100 46.00000 C09-43 num_unjug_ret@1000 803.00000 C09-43 num_rel 47.00000 C09-43 num_rel_ret 2.00000 C09-43 map 0.00775 C09-43 R-prec 0.02128 C09-43 bpref 0.03893 C09-43 recip_rank 0.33333 C09-43 ndcg 0.04681 C09-43 ndcg5 0.11305 C09-43 ndcg10 0.07336 C09-43 ndcg20 0.04950 C09-43 ERR 0.06422 C09-43 ERR10 0.06250 C09-43 ERR20 0.06250 C09-43 P1 0.00000 C09-43 P5 0.20000 C09-43 P10 0.10000 C09-43 P15 0.06667 C09-43 P20 0.05000 C09-43 P30 0.03333 C09-43 P50 0.02000 C09-43 P100 0.02000 C09-43 P200 0.01000 C09-43 P500 0.00400 C09-43 P1000 0.00238 C09-44 num_ret 689.00000 C09-44 num_unjug_ret@1 0.00000 C09-44 num_unjug_ret@10 2.00000 C09-44 num_unjug_ret@100 53.00000 C09-44 num_unjug_ret@1000 659.00000 C09-44 num_rel 99.00000 C09-44 num_rel_ret 8.00000 C09-44 map 0.03503 C09-44 R-prec 0.06061 C09-44 bpref 0.07336 C09-44 recip_rank 1.00000 C09-44 ndcg 0.10182 C09-44 ndcg5 0.24091 C09-44 ndcg10 0.15633 C09-44 ndcg20 0.13640 C09-44 ERR 0.12332 C09-44 ERR10 0.11011 C09-44 ERR20 0.12041 C09-44 P1 1.00000 C09-44 P5 0.60000 C09-44 P10 0.30000 C09-44 P15 0.26667 C09-44 P20 0.20000 C09-44 P30 0.13333 C09-44 P50 0.08000 C09-44 P100 0.06000 C09-44 P200 0.03500 C09-44 P500 0.01600 C09-44 P1000 0.01161 C09-45 num_ret 860.00000 C09-45 num_unjug_ret@1 0.00000 C09-45 num_unjug_ret@10 3.00000 C09-45 num_unjug_ret@100 64.00000 C09-45 num_unjug_ret@1000 788.00000 C09-45 num_rel 212.00000 C09-45 num_rel_ret 41.00000 C09-45 map 0.06290 C09-45 R-prec 0.13208 C09-45 bpref 0.17971 C09-45 recip_rank 1.00000 C09-45 ndcg 0.23657 C09-45 ndcg5 0.81515 C09-45 ndcg10 0.52898 C09-45 ndcg20 0.37753 C09-45 ERR 0.33322 C09-45 ERR10 0.31960 C09-45 ERR20 0.32553 C09-45 P1 1.00000 C09-45 P5 1.00000 C09-45 P10 0.50000 C09-45 P15 0.40000 C09-45 P20 0.40000 C09-45 P30 0.33333 C09-45 P50 0.30000 C09-45 P100 0.25000 C09-45 P200 0.14000 C09-45 P500 0.06600 C09-45 P1000 0.04767 C09-46 num_ret 774.00000 C09-46 num_unjug_ret@1 0.00000 C09-46 num_unjug_ret@10 0.00000 C09-46 num_unjug_ret@100 25.00000 C09-46 num_unjug_ret@1000 699.00000 C09-46 num_rel 121.00000 C09-46 num_rel_ret 41.00000 C09-46 map 0.21815 C09-46 R-prec 0.32231 C09-46 bpref 0.31214 C09-46 recip_rank 1.00000 C09-46 ndcg 0.43701 C09-46 ndcg5 0.63995 C09-46 ndcg10 0.72218 C09-46 ndcg20 0.71999 C09-46 ERR 0.32144 C09-46 ERR10 0.30683 C09-46 ERR20 0.31964 C09-46 P1 1.00000 C09-46 P5 0.60000 C09-46 P10 0.80000 C09-46 P15 0.80000 C09-46 P20 0.75000 C09-46 P30 0.66667 C09-46 P50 0.58000 C09-46 P100 0.37000 C09-46 P200 0.20000 C09-46 P500 0.08200 C09-46 P1000 0.05297 C09-47 num_ret 974.00000 C09-47 num_unjug_ret@1 0.00000 C09-47 num_unjug_ret@10 0.00000 C09-47 num_unjug_ret@100 42.00000 C09-47 num_unjug_ret@1000 900.00000 C09-47 num_rel 156.00000 C09-47 num_rel_ret 26.00000 C09-47 map 0.07512 C09-47 R-prec 0.16026 C09-47 bpref 0.14965 C09-47 recip_rank 1.00000 C09-47 ndcg 0.33461 C09-47 ndcg5 0.85393 C09-47 ndcg10 0.71825 C09-47 ndcg20 0.55078 C09-47 ERR 0.35601 C09-47 ERR10 0.34735 C09-47 ERR20 0.35362 C09-47 P1 1.00000 C09-47 P5 0.80000 C09-47 P10 0.70000 C09-47 P15 0.66667 C09-47 P20 0.50000 C09-47 P30 0.33333 C09-47 P50 0.22000 C09-47 P100 0.22000 C09-47 P200 0.12500 C09-47 P500 0.05000 C09-47 P1000 0.02669 C09-48 num_ret 769.00000 C09-48 num_unjug_ret@1 0.00000 C09-48 num_unjug_ret@10 0.00000 C09-48 num_unjug_ret@100 59.00000 C09-48 num_unjug_ret@1000 719.00000 C09-48 num_rel 54.00000 C09-48 num_rel_ret 8.00000 C09-48 map 0.08905 C09-48 R-prec 0.12963 C09-48 bpref 0.12894 C09-48 recip_rank 1.00000 C09-48 ndcg 0.19152 C09-48 ndcg5 0.50693 C09-48 ndcg10 0.39522 C09-48 ndcg20 0.26750 C09-48 ERR 0.20475 C09-48 ERR10 0.20116 C09-48 ERR20 0.20343 C09-48 P1 1.00000 C09-48 P5 0.80000 C09-48 P10 0.50000 C09-48 P15 0.40000 C09-48 P20 0.30000 C09-48 P30 0.20000 C09-48 P50 0.14000 C09-48 P100 0.07000 C09-48 P200 0.04000 C09-48 P500 0.01600 C09-48 P1000 0.01040 C09-49 num_ret 788.00000 C09-49 num_unjug_ret@1 0.00000 C09-49 num_unjug_ret@10 0.00000 C09-49 num_unjug_ret@100 53.00000 C09-49 num_unjug_ret@1000 725.00000 C09-49 num_rel 47.00000 C09-49 num_rel_ret 27.00000 C09-49 map 0.43347 C09-49 R-prec 0.44681 C09-49 bpref 0.50204 C09-49 recip_rank 1.00000 C09-49 ndcg 0.58125 C09-49 ndcg5 0.70210 C09-49 ndcg10 0.60158 C09-49 ndcg20 0.67418 C09-49 ERR 0.32877 C09-49 ERR10 0.31069 C09-49 ERR20 0.32633 C09-49 P1 1.00000 C09-49 P5 1.00000 C09-49 P10 0.90000 C09-49 P15 0.93333 C09-49 P20 0.85000 C09-49 P30 0.66667 C09-49 P50 0.42000 C09-49 P100 0.24000 C09-49 P200 0.13000 C09-49 P500 0.05200 C09-49 P1000 0.03426 C09-50 num_ret 973.00000 C09-50 num_unjug_ret@1 0.00000 C09-50 num_unjug_ret@10 2.00000 C09-50 num_unjug_ret@100 90.00000 C09-50 num_unjug_ret@1000 934.00000 C09-50 num_rel 70.00000 C09-50 num_rel_ret 9.00000 C09-50 map 0.01174 C09-50 R-prec 0.04286 C09-50 bpref 0.10449 C09-50 recip_rank 0.33333 C09-50 ndcg 0.07538 C09-50 ndcg5 0.05653 C09-50 ndcg10 0.05983 C09-50 ndcg20 0.03861 C09-50 ERR 0.03590 C09-50 ERR10 0.02816 C09-50 ERR20 0.02816 C09-50 P1 0.00000 C09-50 P5 0.20000 C09-50 P10 0.20000 C09-50 P15 0.13333 C09-50 P20 0.10000 C09-50 P30 0.10000 C09-50 P50 0.06000 C09-50 P100 0.03000 C09-50 P200 0.01500 C09-50 P500 0.01600 C09-50 P1000 0.00925 C09-51 num_ret 757.00000 C09-51 num_unjug_ret@1 0.00000 C09-51 num_unjug_ret@10 0.00000 C09-51 num_unjug_ret@100 32.00000 C09-51 num_unjug_ret@1000 679.00000 C09-51 num_rel 147.00000 C09-51 num_rel_ret 28.00000 C09-51 map 0.09691 C09-51 R-prec 0.16327 C09-51 bpref 0.18141 C09-51 recip_rank 1.00000 C09-51 ndcg 0.19993 C09-51 ndcg5 0.21934 C09-51 ndcg10 0.25502 C09-51 ndcg20 0.25994 C09-51 ERR 0.19923 C09-51 ERR10 0.18176 C09-51 ERR20 0.19467 C09-51 P1 1.00000 C09-51 P5 1.00000 C09-51 P10 0.50000 C09-51 P15 0.60000 C09-51 P20 0.50000 C09-51 P30 0.50000 C09-51 P50 0.40000 C09-51 P100 0.23000 C09-51 P200 0.12500 C09-51 P500 0.05600 C09-51 P1000 0.03699 C09-52 num_ret 788.00000 C09-52 num_unjug_ret@1 0.00000 C09-52 num_unjug_ret@10 0.00000 C09-52 num_unjug_ret@100 42.00000 C09-52 num_unjug_ret@1000 662.00000 C09-52 num_rel 47.00000 C09-52 num_rel_ret 26.00000 C09-52 map 0.04279 C09-52 R-prec 0.08511 C09-52 bpref 0.05976 C09-52 recip_rank 0.03333 C09-52 ndcg 0.35526 C09-52 ndcg5 0.00000 C09-52 ndcg10 0.00000 C09-52 ndcg20 0.00000 C09-52 ERR 0.03224 C09-52 ERR10 0.00000 C09-52 ERR20 0.00000 C09-52 P1 0.00000 C09-52 P5 0.00000 C09-52 P10 0.00000 C09-52 P15 0.00000 C09-52 P20 0.00000 C09-52 P30 0.03333 C09-52 P50 0.08000 C09-52 P100 0.10000 C09-52 P200 0.08000 C09-52 P500 0.04600 C09-52 P1000 0.03299 C09-53 num_ret 678.00000 C09-53 num_unjug_ret@1 0.00000 C09-53 num_unjug_ret@10 0.00000 C09-53 num_unjug_ret@100 3.00000 C09-53 num_unjug_ret@1000 622.00000 C09-53 num_rel 110.00000 C09-53 num_rel_ret 11.00000 C09-53 map 0.00350 C09-53 R-prec 0.03636 C09-53 bpref 0.08421 C09-53 recip_rank 0.01299 C09-53 ndcg 0.09874 C09-53 ndcg5 0.02423 C09-53 ndcg10 0.10413 C09-53 ndcg20 0.11380 C09-53 ERR 0.07380 C09-53 ERR10 0.06641 C09-53 ERR20 0.07136 C09-53 P1 0.00000 C09-53 P5 0.00000 C09-53 P10 0.00000 C09-53 P15 0.00000 C09-53 P20 0.00000 C09-53 P30 0.00000 C09-53 P50 0.00000 C09-53 P100 0.03000 C09-53 P200 0.04000 C09-53 P500 0.02200 C09-53 P1000 0.01622 C09-54 num_ret 586.00000 C09-54 num_unjug_ret@1 0.00000 C09-54 num_unjug_ret@10 2.00000 C09-54 num_unjug_ret@100 37.00000 C09-54 num_unjug_ret@1000 509.00000 C09-54 num_rel 183.00000 C09-54 num_rel_ret 49.00000 C09-54 map 0.10274 C09-54 R-prec 0.22951 C09-54 bpref 0.24716 C09-54 recip_rank 0.50000 C09-54 ndcg 0.18259 C09-54 ndcg5 0.11506 C09-54 ndcg10 0.14409 C09-54 ndcg20 0.16173 C09-54 ERR 0.08876 C09-54 ERR10 0.06267 C09-54 ERR20 0.07702 C09-54 P1 0.00000 C09-54 P5 0.40000 C09-54 P10 0.40000 C09-54 P15 0.40000 C09-54 P20 0.50000 C09-54 P30 0.56667 C09-54 P50 0.44000 C09-54 P100 0.34000 C09-54 P200 0.21000 C09-54 P500 0.09400 C09-54 P1000 0.08362 C09-55 num_ret 619.00000 C09-55 num_unjug_ret@1 0.00000 C09-55 num_unjug_ret@10 1.00000 C09-55 num_unjug_ret@100 21.00000 C09-55 num_unjug_ret@1000 549.00000 C09-55 num_rel 97.00000 C09-55 num_rel_ret 22.00000 C09-55 map 0.02716 C09-55 R-prec 0.07216 C09-55 bpref 0.16824 C09-55 recip_rank 0.50000 C09-55 ndcg 0.21819 C09-55 ndcg5 0.38357 C09-55 ndcg10 0.32227 C09-55 ndcg20 0.20798 C09-55 ERR 0.17380 C09-55 ERR10 0.16221 C09-55 ERR20 0.16221 C09-55 P1 0.00000 C09-55 P5 0.40000 C09-55 P10 0.30000 C09-55 P15 0.20000 C09-55 P20 0.15000 C09-55 P30 0.10000 C09-55 P50 0.08000 C09-55 P100 0.07000 C09-55 P200 0.05500 C09-55 P500 0.03600 C09-55 P1000 0.03554 C09-56 num_ret 515.00000 C09-56 num_unjug_ret@1 0.00000 C09-56 num_unjug_ret@10 0.00000 C09-56 num_unjug_ret@100 22.00000 C09-56 num_unjug_ret@1000 456.00000 C09-56 num_rel 47.00000 C09-56 num_rel_ret 4.00000 C09-56 map 0.00145 C09-56 R-prec 0.02128 C09-56 bpref 0.01766 C09-56 recip_rank 0.03030 C09-56 ndcg 0.05940 C09-56 ndcg5 0.00000 C09-56 ndcg10 0.00000 C09-56 ndcg20 0.00000 C09-56 ERR 0.01105 C09-56 ERR10 0.00000 C09-56 ERR20 0.00000 C09-56 P1 0.00000 C09-56 P5 0.00000 C09-56 P10 0.00000 C09-56 P15 0.00000 C09-56 P20 0.00000 C09-56 P30 0.00000 C09-56 P50 0.02000 C09-56 P100 0.01000 C09-56 P200 0.01000 C09-56 P500 0.00800 C09-56 P1000 0.00777 C09-57 num_ret 995.00000 C09-57 num_unjug_ret@1 0.00000 C09-57 num_unjug_ret@10 0.00000 C09-57 num_unjug_ret@100 54.00000 C09-57 num_unjug_ret@1000 921.00000 C09-57 num_rel 314.00000 C09-57 num_rel_ret 63.00000 C09-57 map 0.11417 C09-57 R-prec 0.16242 C09-57 bpref 0.19249 C09-57 recip_rank 1.00000 C09-57 ndcg 0.17971 C09-57 ndcg5 0.14286 C09-57 ndcg10 0.13377 C09-57 ndcg20 0.13572 C09-57 ERR 0.18072 C09-57 ERR10 0.15536 C09-57 ERR20 0.17032 C09-57 P1 1.00000 C09-57 P5 1.00000 C09-57 P10 0.90000 C09-57 P15 0.93333 C09-57 P20 0.80000 C09-57 P30 0.70000 C09-57 P50 0.60000 C09-57 P100 0.44000 C09-57 P200 0.24500 C09-57 P500 0.10800 C09-57 P1000 0.06332 C09-58 num_ret 666.00000 C09-58 num_unjug_ret@1 0.00000 C09-58 num_unjug_ret@10 0.00000 C09-58 num_unjug_ret@100 13.00000 C09-58 num_unjug_ret@1000 567.00000 C09-58 num_rel 95.00000 C09-58 num_rel_ret 28.00000 C09-58 map 0.02402 C09-58 R-prec 0.05263 C09-58 bpref 0.18526 C09-58 recip_rank 1.00000 C09-58 ndcg 0.25035 C09-58 ndcg5 0.31835 C09-58 ndcg10 0.24277 C09-58 ndcg20 0.23014 C09-58 ERR 0.28663 C09-58 ERR10 0.26367 C09-58 ERR20 0.27784 C09-58 P1 1.00000 C09-58 P5 0.20000 C09-58 P10 0.10000 C09-58 P15 0.06667 C09-58 P20 0.10000 C09-58 P30 0.06667 C09-58 P50 0.04000 C09-58 P100 0.05000 C09-58 P200 0.04500 C09-58 P500 0.04200 C09-58 P1000 0.04204 C09-59 num_ret 885.00000 C09-59 num_unjug_ret@1 0.00000 C09-59 num_unjug_ret@10 2.00000 C09-59 num_unjug_ret@100 38.00000 C09-59 num_unjug_ret@1000 834.00000 C09-59 num_rel 61.00000 C09-59 num_rel_ret 6.00000 C09-59 map 0.00625 C09-59 R-prec 0.03279 C09-59 bpref 0.05321 C09-59 recip_rank 0.25000 C09-59 ndcg 0.09625 C09-59 ndcg5 0.14607 C09-59 ndcg10 0.09479 C09-59 ndcg20 0.07922 C09-59 ERR 0.11175 C09-59 ERR10 0.10938 C09-59 ERR20 0.10938 C09-59 P1 0.00000 C09-59 P5 0.20000 C09-59 P10 0.10000 C09-59 P15 0.06667 C09-59 P20 0.05000 C09-59 P30 0.06667 C09-59 P50 0.04000 C09-59 P100 0.02000 C09-59 P200 0.01000 C09-59 P500 0.01200 C09-59 P1000 0.00678 C09-60 num_ret 809.00000 C09-60 num_unjug_ret@1 0.00000 C09-60 num_unjug_ret@10 0.00000 C09-60 num_unjug_ret@100 25.00000 C09-60 num_unjug_ret@1000 710.00000 C09-60 num_rel 184.00000 C09-60 num_rel_ret 54.00000 C09-60 map 0.05866 C09-60 R-prec 0.16848 C09-60 bpref 0.26116 C09-60 recip_rank 1.00000 C09-60 ndcg 0.27273 C09-60 ndcg5 0.16174 C09-60 ndcg10 0.20650 C09-60 ndcg20 0.32706 C09-60 ERR 0.14139 C09-60 ERR10 0.11019 C09-60 ERR20 0.13635 C09-60 P1 1.00000 C09-60 P5 0.40000 C09-60 P10 0.40000 C09-60 P15 0.26667 C09-60 P20 0.20000 C09-60 P30 0.30000 C09-60 P50 0.26000 C09-60 P100 0.20000 C09-60 P200 0.16000 C09-60 P500 0.09400 C09-60 P1000 0.06675 C09-61 num_ret 708.00000 C09-61 num_unjug_ret@1 0.00000 C09-61 num_unjug_ret@10 0.00000 C09-61 num_unjug_ret@100 24.00000 C09-61 num_unjug_ret@1000 631.00000 C09-61 num_rel 123.00000 C09-61 num_rel_ret 33.00000 C09-61 map 0.03043 C09-61 R-prec 0.14634 C09-61 bpref 0.17721 C09-61 recip_rank 0.25000 C09-61 ndcg 0.20857 C09-61 ndcg5 0.04869 C09-61 ndcg10 0.15996 C09-61 ndcg20 0.18251 C09-61 ERR 0.07044 C09-61 ERR10 0.05389 C09-61 ERR20 0.06226 C09-61 P1 0.00000 C09-61 P5 0.20000 C09-61 P10 0.10000 C09-61 P15 0.20000 C09-61 P20 0.20000 C09-61 P30 0.16667 C09-61 P50 0.18000 C09-61 P100 0.15000 C09-61 P200 0.09000 C09-61 P500 0.03800 C09-61 P1000 0.04661 C09-62 num_ret 779.00000 C09-62 num_unjug_ret@1 0.00000 C09-62 num_unjug_ret@10 0.00000 C09-62 num_unjug_ret@100 16.00000 C09-62 num_unjug_ret@1000 730.00000 C09-62 num_rel 106.00000 C09-62 num_rel_ret 16.00000 C09-62 map 0.02434 C09-62 R-prec 0.08491 C09-62 bpref 0.13608 C09-62 recip_rank 0.08333 C09-62 ndcg 0.13170 C09-62 ndcg5 0.14895 C09-62 ndcg10 0.17169 C09-62 ndcg20 0.19468 C09-62 ERR 0.07482 C09-62 ERR10 0.06372 C09-62 ERR20 0.07296 C09-62 P1 0.00000 C09-62 P5 0.00000 C09-62 P10 0.00000 C09-62 P15 0.20000 C09-62 P20 0.25000 C09-62 P30 0.30000 C09-62 P50 0.18000 C09-62 P100 0.09000 C09-62 P200 0.06000 C09-62 P500 0.02600 C09-62 P1000 0.02054 C09-63 num_ret 719.00000 C09-63 num_unjug_ret@1 0.00000 C09-63 num_unjug_ret@10 0.00000 C09-63 num_unjug_ret@100 32.00000 C09-63 num_unjug_ret@1000 648.00000 C09-63 num_rel 107.00000 C09-63 num_rel_ret 20.00000 C09-63 map 0.01230 C09-63 R-prec 0.08411 C09-63 bpref 0.13372 C09-63 recip_rank 0.05556 C09-63 ndcg 0.13680 C09-63 ndcg5 0.02517 C09-63 ndcg10 0.03354 C09-63 ndcg20 0.02445 C09-63 ERR 0.03427 C09-63 ERR10 0.01836 C09-63 ERR20 0.01836 C09-63 P1 0.00000 C09-63 P5 0.00000 C09-63 P10 0.00000 C09-63 P15 0.00000 C09-63 P20 0.05000 C09-63 P30 0.03333 C09-63 P50 0.04000 C09-63 P100 0.09000 C09-63 P200 0.07000 C09-63 P500 0.03600 C09-63 P1000 0.02782 C09-64 num_ret 650.00000 C09-64 num_unjug_ret@1 0.00000 C09-64 num_unjug_ret@10 0.00000 C09-64 num_unjug_ret@100 24.00000 C09-64 num_unjug_ret@1000 544.00000 C09-64 num_rel 142.00000 C09-64 num_rel_ret 31.00000 C09-64 map 0.02375 C09-64 R-prec 0.11972 C09-64 bpref 0.17918 C09-64 recip_rank 0.20000 C09-64 ndcg 0.15115 C09-64 ndcg5 0.10924 C09-64 ndcg10 0.11478 C09-64 ndcg20 0.11147 C09-64 ERR 0.08746 C09-64 ERR10 0.06879 C09-64 ERR20 0.07734 C09-64 P1 0.00000 C09-64 P5 0.20000 C09-64 P10 0.10000 C09-64 P15 0.06667 C09-64 P20 0.05000 C09-64 P30 0.10000 C09-64 P50 0.14000 C09-64 P100 0.12000 C09-64 P200 0.10500 C09-64 P500 0.05400 C09-64 P1000 0.04769 C09-65 num_ret 650.00000 C09-65 num_unjug_ret@1 0.00000 C09-65 num_unjug_ret@10 0.00000 C09-65 num_unjug_ret@100 16.00000 C09-65 num_unjug_ret@1000 539.00000 C09-65 num_rel 128.00000 C09-65 num_rel_ret 30.00000 C09-65 map 0.01398 C09-65 R-prec 0.07031 C09-65 bpref 0.13208 C09-65 recip_rank 0.02632 C09-65 ndcg 0.11959 C09-65 ndcg5 0.02802 C09-65 ndcg10 0.03571 C09-65 ndcg20 0.02604 C09-65 ERR 0.03369 C09-65 ERR10 0.02148 C09-65 ERR20 0.02148 C09-65 P1 0.00000 C09-65 P5 0.00000 C09-65 P10 0.00000 C09-65 P15 0.00000 C09-65 P20 0.00000 C09-65 P30 0.00000 C09-65 P50 0.04000 C09-65 P100 0.08000 C09-65 P200 0.07000 C09-65 P500 0.04800 C09-65 P1000 0.04615 C09-66 num_ret 801.00000 C09-66 num_unjug_ret@1 0.00000 C09-66 num_unjug_ret@10 2.00000 C09-66 num_unjug_ret@100 77.00000 C09-66 num_unjug_ret@1000 753.00000 C09-66 num_rel 26.00000 C09-66 num_rel_ret 4.00000 C09-66 map 0.00118 C09-66 R-prec 0.00000 C09-66 bpref 0.00000 C09-66 recip_rank 0.00472 C09-66 ndcg 0.02396 C09-66 ndcg5 0.00000 C09-66 ndcg10 0.00000 C09-66 ndcg20 0.00000 C09-66 ERR 0.00116 C09-66 ERR10 0.00000 C09-66 ERR20 0.00000 C09-66 P1 0.00000 C09-66 P5 0.00000 C09-66 P10 0.00000 C09-66 P15 0.00000 C09-66 P20 0.00000 C09-66 P30 0.00000 C09-66 P50 0.00000 C09-66 P100 0.00000 C09-66 P200 0.00000 C09-66 P500 0.00600 C09-66 P1000 0.00499 C09-67 num_ret 685.00000 C09-67 num_unjug_ret@1 0.00000 C09-67 num_unjug_ret@10 0.00000 C09-67 num_unjug_ret@100 23.00000 C09-67 num_unjug_ret@1000 632.00000 C09-67 num_rel 127.00000 C09-67 num_rel_ret 24.00000 C09-67 map 0.01490 C09-67 R-prec 0.08661 C09-67 bpref 0.16393 C09-67 recip_rank 0.06667 C09-67 ndcg 0.10783 C09-67 ndcg5 0.00000 C09-67 ndcg10 0.04760 C09-67 ndcg20 0.06643 C09-67 ERR 0.03711 C09-67 ERR10 0.01625 C09-67 ERR20 0.02696 C09-67 P1 0.00000 C09-67 P5 0.00000 C09-67 P10 0.00000 C09-67 P15 0.06667 C09-67 P20 0.05000 C09-67 P30 0.10000 C09-67 P50 0.06000 C09-67 P100 0.09000 C09-67 P200 0.06000 C09-67 P500 0.04600 C09-67 P1000 0.03504 C09-68 num_ret 961.00000 C09-68 num_unjug_ret@1 0.00000 C09-68 num_unjug_ret@10 1.00000 C09-68 num_unjug_ret@100 48.00000 C09-68 num_unjug_ret@1000 854.00000 C09-68 num_rel 45.00000 C09-68 num_rel_ret 15.00000 C09-68 map 0.06190 C09-68 R-prec 0.11111 C09-68 bpref 0.12049 C09-68 recip_rank 1.00000 C09-68 ndcg 0.21535 C09-68 ndcg5 0.13869 C09-68 ndcg10 0.19188 C09-68 ndcg20 0.16963 C09-68 ERR 0.08794 C09-68 ERR10 0.08011 C09-68 ERR20 0.08269 C09-68 P1 1.00000 C09-68 P5 0.20000 C09-68 P10 0.30000 C09-68 P15 0.20000 C09-68 P20 0.20000 C09-68 P30 0.16667 C09-68 P50 0.12000 C09-68 P100 0.08000 C09-68 P200 0.05000 C09-68 P500 0.02600 C09-68 P1000 0.01561 C09-69 num_ret 991.00000 C09-69 num_unjug_ret@1 0.00000 C09-69 num_unjug_ret@10 0.00000 C09-69 num_unjug_ret@100 57.00000 C09-69 num_unjug_ret@1000 928.00000 C09-69 num_rel 36.00000 C09-69 num_rel_ret 10.00000 C09-69 map 0.19343 C09-69 R-prec 0.22222 C09-69 bpref 0.20756 C09-69 recip_rank 1.00000 C09-69 ndcg 0.25114 C09-69 ndcg5 0.26301 C09-69 ndcg10 0.25807 C09-69 ndcg20 0.23313 C09-69 ERR 0.14935 C09-69 ERR10 0.14018 C09-69 ERR20 0.14345 C09-69 P1 1.00000 C09-69 P5 1.00000 C09-69 P10 0.60000 C09-69 P15 0.46667 C09-69 P20 0.35000 C09-69 P30 0.26667 C09-69 P50 0.16000 C09-69 P100 0.08000 C09-69 P200 0.04000 C09-69 P500 0.01800 C09-69 P1000 0.01009 C09-70 num_ret 854.00000 C09-70 num_unjug_ret@1 0.00000 C09-70 num_unjug_ret@10 3.00000 C09-70 num_unjug_ret@100 54.00000 C09-70 num_unjug_ret@1000 782.00000 C09-70 num_rel 11.00000 C09-70 num_rel_ret 0.00000 C09-70 map 0.00000 C09-70 R-prec 0.00000 C09-70 bpref 0.00000 C09-70 recip_rank 0.00000 C09-70 ndcg 0.00000 C09-70 ndcg5 0.00000 C09-70 ndcg10 0.00000 C09-70 ndcg20 0.00000 C09-70 ERR 0.00000 C09-70 ERR10 0.00000 C09-70 ERR20 0.00000 C09-70 P1 0.00000 C09-70 P5 0.00000 C09-70 P10 0.00000 C09-70 P15 0.00000 C09-70 P20 0.00000 C09-70 P30 0.00000 C09-70 P50 0.00000 C09-70 P100 0.00000 C09-70 P200 0.00000 C09-70 P500 0.00000 C09-70 P1000 0.00000 C09-71 num_ret 797.00000 C09-71 num_unjug_ret@1 0.00000 C09-71 num_unjug_ret@10 3.00000 C09-71 num_unjug_ret@100 72.00000 C09-71 num_unjug_ret@1000 764.00000 C09-71 num_rel 91.00000 C09-71 num_rel_ret 9.00000 C09-71 map 0.00620 C09-71 R-prec 0.04396 C09-71 bpref 0.08453 C09-71 recip_rank 0.10000 C09-71 ndcg 0.03974 C09-71 ndcg5 0.00000 C09-71 ndcg10 0.01424 C09-71 ndcg20 0.02906 C09-71 ERR 0.01756 C09-71 ERR10 0.00781 C09-71 ERR20 0.01575 C09-71 P1 0.00000 C09-71 P5 0.00000 C09-71 P10 0.10000 C09-71 P15 0.13333 C09-71 P20 0.15000 C09-71 P30 0.10000 C09-71 P50 0.06000 C09-71 P100 0.04000 C09-71 P200 0.02500 C09-71 P500 0.01600 C09-71 P1000 0.01129 C09-72 num_ret 702.00000 C09-72 num_unjug_ret@1 0.00000 C09-72 num_unjug_ret@10 2.00000 C09-72 num_unjug_ret@100 39.00000 C09-72 num_unjug_ret@1000 637.00000 C09-72 num_rel 78.00000 C09-72 num_rel_ret 7.00000 C09-72 map 0.00289 C09-72 R-prec 0.01282 C09-72 bpref 0.03665 C09-72 recip_rank 0.16667 C09-72 ndcg 0.03663 C09-72 ndcg5 0.00000 C09-72 ndcg10 0.02613 C09-72 ndcg20 0.01687 C09-72 ERR 0.01212 C09-72 ERR10 0.01042 C09-72 ERR20 0.01042 C09-72 P1 0.00000 C09-72 P5 0.00000 C09-72 P10 0.10000 C09-72 P15 0.06667 C09-72 P20 0.05000 C09-72 P30 0.03333 C09-72 P50 0.02000 C09-72 P100 0.01000 C09-72 P200 0.00500 C09-72 P500 0.00800 C09-72 P1000 0.00997 C09-73 num_ret 655.00000 C09-73 num_unjug_ret@1 0.00000 C09-73 num_unjug_ret@10 0.00000 C09-73 num_unjug_ret@100 38.00000 C09-73 num_unjug_ret@1000 616.00000 C09-73 num_rel 276.00000 C09-73 num_rel_ret 29.00000 C09-73 map 0.02719 C09-73 R-prec 0.07971 C09-73 bpref 0.09629 C09-73 recip_rank 1.00000 C09-73 ndcg 0.14767 C09-73 ndcg5 0.43071 C09-73 ndcg10 0.32473 C09-73 ndcg20 0.27011 C09-73 ERR 0.18244 C09-73 ERR10 0.16609 C09-73 ERR20 0.17707 C09-73 P1 1.00000 C09-73 P5 0.40000 C09-73 P10 0.20000 C09-73 P15 0.33333 C09-73 P20 0.35000 C09-73 P30 0.36667 C09-73 P50 0.26000 C09-73 P100 0.20000 C09-73 P200 0.10500 C09-73 P500 0.04800 C09-73 P1000 0.04427 C09-74 num_ret 868.00000 C09-74 num_unjug_ret@1 0.00000 C09-74 num_unjug_ret@10 0.00000 C09-74 num_unjug_ret@100 23.00000 C09-74 num_unjug_ret@1000 778.00000 C09-74 num_rel 42.00000 C09-74 num_rel_ret 10.00000 C09-74 map 0.00498 C09-74 R-prec 0.00000 C09-74 bpref 0.02041 C09-74 recip_rank 0.01667 C09-74 ndcg 0.11384 C09-74 ndcg5 0.00000 C09-74 ndcg10 0.00000 C09-74 ndcg20 0.00000 C09-74 ERR 0.00906 C09-74 ERR10 0.00000 C09-74 ERR20 0.00000 C09-74 P1 0.00000 C09-74 P5 0.00000 C09-74 P10 0.00000 C09-74 P15 0.00000 C09-74 P20 0.00000 C09-74 P30 0.00000 C09-74 P50 0.00000 C09-74 P100 0.03000 C09-74 P200 0.02000 C09-74 P500 0.01400 C09-74 P1000 0.01152 C09-75 num_ret 334.00000 C09-75 num_unjug_ret@1 0.00000 C09-75 num_unjug_ret@10 0.00000 C09-75 num_unjug_ret@100 2.00000 C09-75 num_unjug_ret@1000 273.00000 C09-75 num_rel 174.00000 C09-75 num_rel_ret 35.00000 C09-75 map 0.01181 C09-75 R-prec 0.04598 C09-75 bpref 0.19174 C09-75 recip_rank 0.02326 C09-75 ndcg 0.35882 C09-75 ndcg5 0.69617 C09-75 ndcg10 0.65341 C09-75 ndcg20 0.54429 C09-75 ERR 0.35391 C09-75 ERR10 0.35047 C09-75 ERR20 0.35245 C09-75 P1 0.00000 C09-75 P5 0.00000 C09-75 P10 0.00000 C09-75 P15 0.00000 C09-75 P20 0.00000 C09-75 P30 0.00000 C09-75 P50 0.04000 C09-75 P100 0.08000 C09-75 P200 0.05500 C09-75 P500 0.07186 C09-75 P1000 0.10479 C09-76 num_ret 909.00000 C09-76 num_unjug_ret@1 0.00000 C09-76 num_unjug_ret@10 0.00000 C09-76 num_unjug_ret@100 31.00000 C09-76 num_unjug_ret@1000 830.00000 C09-76 num_rel 178.00000 C09-76 num_rel_ret 48.00000 C09-76 map 0.14945 C09-76 R-prec 0.24157 C09-76 bpref 0.25114 C09-76 recip_rank 1.00000 C09-76 ndcg 0.24811 C09-76 ndcg5 0.10325 C09-76 ndcg10 0.13824 C09-76 ndcg20 0.23066 C09-76 ERR 0.17370 C09-76 ERR10 0.13993 C09-76 ERR20 0.16838 C09-76 P1 1.00000 C09-76 P5 0.60000 C09-76 P10 0.60000 C09-76 P15 0.66667 C09-76 P20 0.65000 C09-76 P30 0.63333 C09-76 P50 0.58000 C09-76 P100 0.41000 C09-76 P200 0.22000 C09-76 P500 0.09200 C09-76 P1000 0.05281 C09-77 num_ret 873.00000 C09-77 num_unjug_ret@1 0.00000 C09-77 num_unjug_ret@10 0.00000 C09-77 num_unjug_ret@100 37.00000 C09-77 num_unjug_ret@1000 778.00000 C09-77 num_rel 68.00000 C09-77 num_rel_ret 20.00000 C09-77 map 0.03501 C09-77 R-prec 0.05882 C09-77 bpref 0.11484 C09-77 recip_rank 0.50000 C09-77 ndcg 0.28384 C09-77 ndcg5 0.40443 C09-77 ndcg10 0.27237 C09-77 ndcg20 0.18258 C09-77 ERR 0.31214 C09-77 ERR10 0.30804 C09-77 ERR20 0.30804 C09-77 P1 0.00000 C09-77 P5 0.40000 C09-77 P10 0.30000 C09-77 P15 0.26667 C09-77 P20 0.20000 C09-77 P30 0.13333 C09-77 P50 0.08000 C09-77 P100 0.07000 C09-77 P200 0.05000 C09-77 P500 0.02600 C09-77 P1000 0.02291 C09-78 num_ret 828.00000 C09-78 num_unjug_ret@1 0.00000 C09-78 num_unjug_ret@10 0.00000 C09-78 num_unjug_ret@100 24.00000 C09-78 num_unjug_ret@1000 751.00000 C09-78 num_rel 67.00000 C09-78 num_rel_ret 8.00000 C09-78 map 0.00313 C09-78 R-prec 0.02985 C09-78 bpref 0.05035 C09-78 recip_rank 0.03846 C09-78 ndcg 0.05416 C09-78 ndcg5 0.00000 C09-78 ndcg10 0.00000 C09-78 ndcg20 0.03157 C09-78 ERR 0.01155 C09-78 ERR10 0.00000 C09-78 ERR20 0.00877 C09-78 P1 0.00000 C09-78 P5 0.00000 C09-78 P10 0.00000 C09-78 P15 0.00000 C09-78 P20 0.00000 C09-78 P30 0.03333 C09-78 P50 0.02000 C09-78 P100 0.03000 C09-78 P200 0.02500 C09-78 P500 0.01200 C09-78 P1000 0.00966 C09-79 num_ret 576.00000 C09-79 num_unjug_ret@1 0.00000 C09-79 num_unjug_ret@10 1.00000 C09-79 num_unjug_ret@100 36.00000 C09-79 num_unjug_ret@1000 520.00000 C09-79 num_rel 89.00000 C09-79 num_rel_ret 34.00000 C09-79 map 0.08378 C09-79 R-prec 0.19101 C09-79 bpref 0.34364 C09-79 recip_rank 1.00000 C09-79 ndcg 0.32133 C09-79 ndcg5 0.50477 C09-79 ndcg10 0.41899 C09-79 ndcg20 0.32170 C09-79 ERR 0.31984 C09-79 ERR10 0.30767 C09-79 ERR20 0.31170 C09-79 P1 1.00000 C09-79 P5 0.60000 C09-79 P10 0.40000 C09-79 P15 0.26667 C09-79 P20 0.25000 C09-79 P30 0.16667 C09-79 P50 0.16000 C09-79 P100 0.20000 C09-79 P200 0.12000 C09-79 P500 0.06200 C09-79 P1000 0.05903 C09-80 num_ret 906.00000 C09-80 num_unjug_ret@1 0.00000 C09-80 num_unjug_ret@10 1.00000 C09-80 num_unjug_ret@100 35.00000 C09-80 num_unjug_ret@1000 826.00000 C09-80 num_rel 280.00000 C09-80 num_rel_ret 61.00000 C09-80 map 0.09670 C09-80 R-prec 0.18214 C09-80 bpref 0.21156 C09-80 recip_rank 1.00000 C09-80 ndcg 0.28140 C09-80 ndcg5 1.00000 C09-80 ndcg10 0.92664 C09-80 ndcg20 0.78228 C09-80 ERR 0.17352 C09-80 ERR10 0.15364 C09-80 ERR20 0.16533 C09-80 P1 1.00000 C09-80 P5 1.00000 C09-80 P10 0.90000 C09-80 P15 0.86667 C09-80 P20 0.70000 C09-80 P30 0.60000 C09-80 P50 0.46000 C09-80 P100 0.27000 C09-80 P200 0.23500 C09-80 P500 0.12000 C09-80 P1000 0.06733 C09-81 num_ret 630.00000 C09-81 num_unjug_ret@1 0.00000 C09-81 num_unjug_ret@10 3.00000 C09-81 num_unjug_ret@100 39.00000 C09-81 num_unjug_ret@1000 561.00000 C09-81 num_rel 49.00000 C09-81 num_rel_ret 10.00000 C09-81 map 0.00524 C09-81 R-prec 0.02041 C09-81 bpref 0.09163 C09-81 recip_rank 0.02174 C09-81 ndcg 0.10080 C09-81 ndcg5 0.00000 C09-81 ndcg10 0.00000 C09-81 ndcg20 0.00000 C09-81 ERR 0.00746 C09-81 ERR10 0.00000 C09-81 ERR20 0.00000 C09-81 P1 0.00000 C09-81 P5 0.00000 C09-81 P10 0.00000 C09-81 P15 0.00000 C09-81 P20 0.00000 C09-81 P30 0.00000 C09-81 P50 0.02000 C09-81 P100 0.03000 C09-81 P200 0.03000 C09-81 P500 0.01400 C09-81 P1000 0.01587 C09-82 num_ret 717.00000 C09-82 num_unjug_ret@1 0.00000 C09-82 num_unjug_ret@10 2.00000 C09-82 num_unjug_ret@100 31.00000 C09-82 num_unjug_ret@1000 635.00000 C09-82 num_rel 93.00000 C09-82 num_rel_ret 12.00000 C09-82 map 0.00488 C09-82 R-prec 0.02151 C09-82 bpref 0.07689 C09-82 recip_rank 0.09091 C09-82 ndcg 0.06968 C09-82 ndcg5 0.00000 C09-82 ndcg10 0.00000 C09-82 ndcg20 0.01009 C09-82 ERR 0.01606 C09-82 ERR10 0.00000 C09-82 ERR20 0.00568 C09-82 P1 0.00000 C09-82 P5 0.00000 C09-82 P10 0.00000 C09-82 P15 0.06667 C09-82 P20 0.05000 C09-82 P30 0.06667 C09-82 P50 0.04000 C09-82 P100 0.02000 C09-82 P200 0.04000 C09-82 P500 0.02000 C09-82 P1000 0.01674 C09-83 num_ret 1000.00000 C09-83 num_unjug_ret@1 0.00000 C09-83 num_unjug_ret@10 6.00000 C09-83 num_unjug_ret@100 76.00000 C09-83 num_unjug_ret@1000 898.00000 C09-83 num_rel 64.00000 C09-83 num_rel_ret 0.00000 C09-83 map 0.00000 C09-83 R-prec 0.00000 C09-83 bpref 0.00000 C09-83 recip_rank 0.00000 C09-83 ndcg 0.00000 C09-83 ndcg5 0.00000 C09-83 ndcg10 0.00000 C09-83 ndcg20 0.00000 C09-83 ERR 0.00000 C09-83 ERR10 0.00000 C09-83 ERR20 0.00000 C09-83 P1 0.00000 C09-83 P5 0.00000 C09-83 P10 0.00000 C09-83 P15 0.00000 C09-83 P20 0.00000 C09-83 P30 0.00000 C09-83 P50 0.00000 C09-83 P100 0.00000 C09-83 P200 0.00000 C09-83 P500 0.00000 C09-83 P1000 0.00000 C09-84 num_ret 610.00000 C09-84 num_unjug_ret@1 0.00000 C09-84 num_unjug_ret@10 0.00000 C09-84 num_unjug_ret@100 28.00000 C09-84 num_unjug_ret@1000 546.00000 C09-84 num_rel 226.00000 C09-84 num_rel_ret 48.00000 C09-84 map 0.05268 C09-84 R-prec 0.17257 C09-84 bpref 0.17632 C09-84 recip_rank 0.03704 C09-84 ndcg 0.29631 C09-84 ndcg5 0.83042 C09-84 ndcg10 0.88995 C09-84 ndcg20 0.79145 C09-84 ERR 0.36261 C09-84 ERR10 0.35301 C09-84 ERR20 0.36129 C09-84 P1 0.00000 C09-84 P5 0.00000 C09-84 P10 0.00000 C09-84 P15 0.00000 C09-84 P20 0.00000 C09-84 P30 0.10000 C09-84 P50 0.40000 C09-84 P100 0.30000 C09-84 P200 0.19500 C09-84 P500 0.08800 C09-84 P1000 0.07869 C09-85 num_ret 748.00000 C09-85 num_unjug_ret@1 0.00000 C09-85 num_unjug_ret@10 2.00000 C09-85 num_unjug_ret@100 41.00000 C09-85 num_unjug_ret@1000 708.00000 C09-85 num_rel 149.00000 C09-85 num_rel_ret 16.00000 C09-85 map 0.02938 C09-85 R-prec 0.08725 C09-85 bpref 0.09680 C09-85 recip_rank 1.00000 C09-85 ndcg 0.08600 C09-85 ndcg5 0.09760 C09-85 ndcg10 0.10704 C09-85 ndcg20 0.12333 C09-85 ERR 0.11614 C09-85 ERR10 0.09691 C09-85 ERR20 0.11144 C09-85 P1 1.00000 C09-85 P5 0.40000 C09-85 P10 0.30000 C09-85 P15 0.26667 C09-85 P20 0.20000 C09-85 P30 0.16667 C09-85 P50 0.22000 C09-85 P100 0.13000 C09-85 P200 0.07000 C09-85 P500 0.03000 C09-85 P1000 0.02139 C09-86 num_ret 936.00000 C09-86 num_unjug_ret@1 0.00000 C09-86 num_unjug_ret@10 0.00000 C09-86 num_unjug_ret@100 49.00000 C09-86 num_unjug_ret@1000 791.00000 C09-86 num_rel 88.00000 C09-86 num_rel_ret 42.00000 C09-86 map 0.04262 C09-86 R-prec 0.05682 C09-86 bpref 0.18518 C09-86 recip_rank 0.50000 C09-86 ndcg 0.34562 C09-86 ndcg5 0.14735 C09-86 ndcg10 0.28180 C09-86 ndcg20 0.23109 C09-86 ERR 0.15484 C09-86 ERR10 0.14675 C09-86 ERR20 0.15308 C09-86 P1 0.00000 C09-86 P5 0.20000 C09-86 P10 0.10000 C09-86 P15 0.06667 C09-86 P20 0.10000 C09-86 P30 0.13333 C09-86 P50 0.08000 C09-86 P100 0.05000 C09-86 P200 0.02500 C09-86 P500 0.07000 C09-86 P1000 0.04487 C09-87 num_ret 546.00000 C09-87 num_unjug_ret@1 0.00000 C09-87 num_unjug_ret@10 0.00000 C09-87 num_unjug_ret@100 27.00000 C09-87 num_unjug_ret@1000 498.00000 C09-87 num_rel 58.00000 C09-87 num_rel_ret 15.00000 C09-87 map 0.02378 C09-87 R-prec 0.13793 C09-87 bpref 0.19144 C09-87 recip_rank 0.06667 C09-87 ndcg 0.18391 C09-87 ndcg5 0.05365 C09-87 ndcg10 0.08179 C09-87 ndcg20 0.12942 C09-87 ERR 0.03871 C09-87 ERR10 0.02087 C09-87 ERR20 0.03108 C09-87 P1 0.00000 C09-87 P5 0.00000 C09-87 P10 0.00000 C09-87 P15 0.06667 C09-87 P20 0.05000 C09-87 P30 0.10000 C09-87 P50 0.16000 C09-87 P100 0.08000 C09-87 P200 0.05500 C09-87 P500 0.02800 C09-87 P1000 0.02747 C09-88 num_ret 860.00000 C09-88 num_unjug_ret@1 0.00000 C09-88 num_unjug_ret@10 1.00000 C09-88 num_unjug_ret@100 48.00000 C09-88 num_unjug_ret@1000 791.00000 C09-88 num_rel 115.00000 C09-88 num_rel_ret 27.00000 C09-88 map 0.07860 C09-88 R-prec 0.18261 C09-88 bpref 0.20408 C09-88 recip_rank 1.00000 C09-88 ndcg 0.23935 C09-88 ndcg5 0.15679 C09-88 ndcg10 0.20135 C09-88 ndcg20 0.23624 C09-88 ERR 0.13380 C09-88 ERR10 0.10615 C09-88 ERR20 0.12579 C09-88 P1 1.00000 C09-88 P5 0.40000 C09-88 P10 0.40000 C09-88 P15 0.26667 C09-88 P20 0.40000 C09-88 P30 0.40000 C09-88 P50 0.32000 C09-88 P100 0.21000 C09-88 P200 0.12000 C09-88 P500 0.05200 C09-88 P1000 0.03140 C09-89 num_ret 956.00000 C09-89 num_unjug_ret@1 0.00000 C09-89 num_unjug_ret@10 5.00000 C09-89 num_unjug_ret@100 39.00000 C09-89 num_unjug_ret@1000 821.00000 C09-89 num_rel 167.00000 C09-89 num_rel_ret 69.00000 C09-89 map 0.09400 C09-89 R-prec 0.21557 C09-89 bpref 0.33655 C09-89 recip_rank 1.00000 C09-89 ndcg 0.18777 C09-89 ndcg5 0.04845 C09-89 ndcg10 0.04192 C09-89 ndcg20 0.05243 C09-89 ERR 0.11133 C09-89 ERR10 0.07087 C09-89 ERR20 0.08741 C09-89 P1 1.00000 C09-89 P5 0.20000 C09-89 P10 0.20000 C09-89 P15 0.33333 C09-89 P20 0.35000 C09-89 P30 0.33333 C09-89 P50 0.26000 C09-89 P100 0.24000 C09-89 P200 0.20000 C09-89 P500 0.12600 C09-89 P1000 0.07218 C09-90 num_ret 726.00000 C09-90 num_unjug_ret@1 0.00000 C09-90 num_unjug_ret@10 0.00000 C09-90 num_unjug_ret@100 40.00000 C09-90 num_unjug_ret@1000 671.00000 C09-90 num_rel 47.00000 C09-90 num_rel_ret 7.00000 C09-90 map 0.02415 C09-90 R-prec 0.04255 C09-90 bpref 0.08737 C09-90 recip_rank 0.33333 C09-90 ndcg 0.15516 C09-90 ndcg5 0.23648 C09-90 ndcg10 0.18908 C09-90 ndcg20 0.14393 C09-90 ERR 0.15531 C09-90 ERR10 0.15137 C09-90 ERR20 0.15137 C09-90 P1 0.00000 C09-90 P5 0.40000 C09-90 P10 0.20000 C09-90 P15 0.13333 C09-90 P20 0.10000 C09-90 P30 0.06667 C09-90 P50 0.06000 C09-90 P100 0.06000 C09-90 P200 0.03000 C09-90 P500 0.01200 C09-90 P1000 0.00964 C09-91 num_ret 587.00000 C09-91 num_unjug_ret@1 0.00000 C09-91 num_unjug_ret@10 0.00000 C09-91 num_unjug_ret@100 46.00000 C09-91 num_unjug_ret@1000 535.00000 C09-91 num_rel 158.00000 C09-91 num_rel_ret 12.00000 C09-91 map 0.00486 C09-91 R-prec 0.06329 C09-91 bpref 0.06750 C09-91 recip_rank 0.07692 C09-91 ndcg 0.06075 C09-91 ndcg5 0.00000 C09-91 ndcg10 0.05059 C09-91 ndcg20 0.06608 C09-91 ERR 0.03344 C09-91 ERR10 0.01879 C09-91 ERR20 0.02794 C09-91 P1 0.00000 C09-91 P5 0.00000 C09-91 P10 0.00000 C09-91 P15 0.06667 C09-91 P20 0.05000 C09-91 P30 0.06667 C09-91 P50 0.06000 C09-91 P100 0.07000 C09-91 P200 0.05000 C09-91 P500 0.02000 C09-91 P1000 0.02044 C09-92 num_ret 657.00000 C09-92 num_unjug_ret@1 0.00000 C09-92 num_unjug_ret@10 0.00000 C09-92 num_unjug_ret@100 12.00000 C09-92 num_unjug_ret@1000 600.00000 C09-92 num_rel 15.00000 C09-92 num_rel_ret 1.00000 C09-92 map 0.00028 C09-92 R-prec 0.00000 C09-92 bpref 0.00000 C09-92 recip_rank 0.00420 C09-92 ndcg 0.04020 C09-92 ndcg5 0.00000 C09-92 ndcg10 0.00000 C09-92 ndcg20 0.00000 C09-92 ERR 0.00170 C09-92 ERR10 0.00000 C09-92 ERR20 0.00000 C09-92 P1 0.00000 C09-92 P5 0.00000 C09-92 P10 0.00000 C09-92 P15 0.00000 C09-92 P20 0.00000 C09-92 P30 0.00000 C09-92 P50 0.00000 C09-92 P100 0.00000 C09-92 P200 0.00000 C09-92 P500 0.00200 C09-92 P1000 0.00152 C09-93 num_ret 866.00000 C09-93 num_unjug_ret@1 0.00000 C09-93 num_unjug_ret@10 0.00000 C09-93 num_unjug_ret@100 36.00000 C09-93 num_unjug_ret@1000 774.00000 C09-93 num_rel 35.00000 C09-93 num_rel_ret 5.00000 C09-93 map 0.00353 C09-93 R-prec 0.00000 C09-93 bpref 0.04571 C09-93 recip_rank 0.01961 C09-93 ndcg 0.05157 C09-93 ndcg5 0.00000 C09-93 ndcg10 0.00000 C09-93 ndcg20 0.00000 C09-93 ERR 0.01130 C09-93 ERR10 0.00000 C09-93 ERR20 0.00000 C09-93 P1 0.00000 C09-93 P5 0.00000 C09-93 P10 0.00000 C09-93 P15 0.00000 C09-93 P20 0.00000 C09-93 P30 0.00000 C09-93 P50 0.00000 C09-93 P100 0.03000 C09-93 P200 0.02000 C09-93 P500 0.00800 C09-93 P1000 0.00577 C09-94 num_ret 487.00000 C09-94 num_unjug_ret@1 0.00000 C09-94 num_unjug_ret@10 0.00000 C09-94 num_unjug_ret@100 24.00000 C09-94 num_unjug_ret@1000 447.00000 C09-94 num_rel 15.00000 C09-94 num_rel_ret 4.00000 C09-94 map 0.00256 C09-94 R-prec 0.00000 C09-94 bpref 0.06222 C09-94 recip_rank 0.01163 C09-94 ndcg 0.11106 C09-94 ndcg5 0.00000 C09-94 ndcg10 0.00000 C09-94 ndcg20 0.00000 C09-94 ERR 0.01140 C09-94 ERR10 0.00000 C09-94 ERR20 0.00000 C09-94 P1 0.00000 C09-94 P5 0.00000 C09-94 P10 0.00000 C09-94 P15 0.00000 C09-94 P20 0.00000 C09-94 P30 0.00000 C09-94 P50 0.00000 C09-94 P100 0.01000 C09-94 P200 0.01000 C09-94 P500 0.00821 C09-94 P1000 0.00821 C09-95 num_ret NaN C09-95 num_unjug_ret@1 NaN C09-95 num_unjug_ret@10 NaN C09-95 num_unjug_ret@100 NaN C09-95 num_unjug_ret@1000 NaN C09-95 num_rel NaN C09-95 num_rel_ret NaN C09-95 map NaN C09-95 R-prec NaN C09-95 bpref NaN C09-95 recip_rank NaN C09-95 ndcg NaN C09-95 ndcg5 NaN C09-95 ndcg10 NaN C09-95 ndcg20 NaN C09-95 ERR NaN C09-95 ERR10 NaN C09-95 ERR20 NaN C09-95 P1 NaN C09-95 P5 NaN C09-95 P10 NaN C09-95 P15 NaN C09-95 P20 NaN C09-95 P30 NaN C09-95 P50 NaN C09-95 P100 NaN C09-95 P200 NaN C09-95 P500 NaN C09-95 P1000 NaN C09-96 num_ret 646.00000 C09-96 num_unjug_ret@1 0.00000 C09-96 num_unjug_ret@10 0.00000 C09-96 num_unjug_ret@100 22.00000 C09-96 num_unjug_ret@1000 586.00000 C09-96 num_rel 93.00000 C09-96 num_rel_ret 30.00000 C09-96 map 0.02036 C09-96 R-prec 0.08602 C09-96 bpref 0.23101 C09-96 recip_rank 0.05000 C09-96 ndcg 0.26887 C09-96 ndcg5 0.03012 C09-96 ndcg10 0.11606 C09-96 ndcg20 0.26650 C09-96 ERR 0.07554 C09-96 ERR10 0.04237 C09-96 ERR20 0.07280 C09-96 P1 0.00000 C09-96 P5 0.00000 C09-96 P10 0.00000 C09-96 P15 0.00000 C09-96 P20 0.05000 C09-96 P30 0.16667 C09-96 P50 0.10000 C09-96 P100 0.08000 C09-96 P200 0.06000 C09-96 P500 0.04200 C09-96 P1000 0.04644 C09-97 num_ret 830.00000 C09-97 num_unjug_ret@1 0.00000 C09-97 num_unjug_ret@10 5.00000 C09-97 num_unjug_ret@100 45.00000 C09-97 num_unjug_ret@1000 714.00000 C09-97 num_rel 192.00000 C09-97 num_rel_ret 24.00000 C09-97 map 0.00394 C09-97 R-prec 0.03125 C09-97 bpref 0.08843 C09-97 recip_rank 0.01667 C09-97 ndcg 0.07753 C09-97 ndcg5 0.00000 C09-97 ndcg10 0.00000 C09-97 ndcg20 0.00000 C09-97 ERR 0.01229 C09-97 ERR10 0.00000 C09-97 ERR20 0.00000 C09-97 P1 0.00000 C09-97 P5 0.00000 C09-97 P10 0.00000 C09-97 P15 0.00000 C09-97 P20 0.00000 C09-97 P30 0.00000 C09-97 P50 0.00000 C09-97 P100 0.04000 C09-97 P200 0.03000 C09-97 P500 0.03000 C09-97 P1000 0.02892 C09-98 num_ret 909.00000 C09-98 num_unjug_ret@1 0.00000 C09-98 num_unjug_ret@10 0.00000 C09-98 num_unjug_ret@100 52.00000 C09-98 num_unjug_ret@1000 825.00000 C09-98 num_rel 127.00000 C09-98 num_rel_ret 26.00000 C09-98 map 0.02480 C09-98 R-prec 0.09449 C09-98 bpref 0.14967 C09-98 recip_rank 0.16667 C09-98 ndcg 0.10457 C09-98 ndcg5 0.00000 C09-98 ndcg10 0.03911 C09-98 ndcg20 0.06182 C09-98 ERR 0.03700 C09-98 ERR10 0.01879 C09-98 ERR20 0.03034 C09-98 P1 0.00000 C09-98 P5 0.00000 C09-98 P10 0.20000 C09-98 P15 0.26667 C09-98 P20 0.25000 C09-98 P30 0.20000 C09-98 P50 0.16000 C09-98 P100 0.12000 C09-98 P200 0.07000 C09-98 P500 0.04000 C09-98 P1000 0.02860 C09-99 num_ret 596.00000 C09-99 num_unjug_ret@1 0.00000 C09-99 num_unjug_ret@10 0.00000 C09-99 num_unjug_ret@100 23.00000 C09-99 num_unjug_ret@1000 553.00000 C09-99 num_rel 63.00000 C09-99 num_rel_ret 8.00000 C09-99 map 0.00425 C09-99 R-prec 0.03175 C09-99 bpref 0.08012 C09-99 recip_rank 0.06250 C09-99 ndcg 0.07367 C09-99 ndcg5 0.00000 C09-99 ndcg10 0.00000 C09-99 ndcg20 0.05315 C09-99 ERR 0.02321 C09-99 ERR10 0.00000 C09-99 ERR20 0.02146 C09-99 P1 0.00000 C09-99 P5 0.00000 C09-99 P10 0.00000 C09-99 P15 0.00000 C09-99 P20 0.10000 C09-99 P30 0.06667 C09-99 P50 0.04000 C09-99 P100 0.02000 C09-99 P200 0.01500 C09-99 P500 0.01200 C09-99 P1000 0.01342 C09-100 num_ret NaN C09-100 num_unjug_ret@1 NaN C09-100 num_unjug_ret@10 NaN C09-100 num_unjug_ret@100 NaN C09-100 num_unjug_ret@1000 NaN C09-100 num_rel NaN C09-100 num_rel_ret NaN C09-100 map NaN C09-100 R-prec NaN C09-100 bpref NaN C09-100 recip_rank NaN C09-100 ndcg NaN C09-100 ndcg5 NaN C09-100 ndcg10 NaN C09-100 ndcg20 NaN C09-100 ERR NaN C09-100 ERR10 NaN C09-100 ERR20 NaN C09-100 P1 NaN C09-100 P5 NaN C09-100 P10 NaN C09-100 P15 NaN C09-100 P20 NaN C09-100 P30 NaN C09-100 P50 NaN C09-100 P100 NaN C09-100 P200 NaN C09-100 P500 NaN C09-100 P1000 NaN C09-101 num_ret 960.00000 C09-101 num_unjug_ret@1 0.00000 C09-101 num_unjug_ret@10 0.00000 C09-101 num_unjug_ret@100 56.00000 C09-101 num_unjug_ret@1000 883.00000 C09-101 num_rel 84.00000 C09-101 num_rel_ret 11.00000 C09-101 map 0.03281 C09-101 R-prec 0.05952 C09-101 bpref 0.08716 C09-101 recip_rank 1.00000 C09-101 ndcg 0.12413 C09-101 ndcg5 0.18438 C09-101 ndcg10 0.11965 C09-101 ndcg20 0.13644 C09-101 ERR 0.10569 C09-101 ERR10 0.09180 C09-101 ERR20 0.10149 C09-101 P1 1.00000 C09-101 P5 0.40000 C09-101 P10 0.20000 C09-101 P15 0.13333 C09-101 P20 0.15000 C09-101 P30 0.13333 C09-101 P50 0.08000 C09-101 P100 0.08000 C09-101 P200 0.04500 C09-101 P500 0.01800 C09-101 P1000 0.01146 C09-102 num_ret 864.00000 C09-102 num_unjug_ret@1 0.00000 C09-102 num_unjug_ret@10 2.00000 C09-102 num_unjug_ret@100 51.00000 C09-102 num_unjug_ret@1000 765.00000 C09-102 num_rel 22.00000 C09-102 num_rel_ret 1.00000 C09-102 map 0.01136 C09-102 R-prec 0.04545 C09-102 bpref 0.03926 C09-102 recip_rank 0.25000 C09-102 ndcg 0.03666 C09-102 ndcg5 0.05973 C09-102 ndcg10 0.04891 C09-102 ndcg20 0.03811 C09-102 ERR 0.01563 C09-102 ERR10 0.01563 C09-102 ERR20 0.01563 C09-102 P1 0.00000 C09-102 P5 0.20000 C09-102 P10 0.10000 C09-102 P15 0.06667 C09-102 P20 0.05000 C09-102 P30 0.03333 C09-102 P50 0.02000 C09-102 P100 0.01000 C09-102 P200 0.00500 C09-102 P500 0.00200 C09-102 P1000 0.00116 C09-103 num_ret 720.00000 C09-103 num_unjug_ret@1 0.00000 C09-103 num_unjug_ret@10 0.00000 C09-103 num_unjug_ret@100 42.00000 C09-103 num_unjug_ret@1000 690.00000 C09-103 num_rel 58.00000 C09-103 num_rel_ret 14.00000 C09-103 map 0.05992 C09-103 R-prec 0.15517 C09-103 bpref 0.22057 C09-103 recip_rank 0.50000 C09-103 ndcg 0.27642 C09-103 ndcg5 0.36005 C09-103 ndcg10 0.42870 C09-103 ndcg20 0.34038 C09-103 ERR 0.18337 C09-103 ERR10 0.17241 C09-103 ERR20 0.18150 C09-103 P1 0.00000 C09-103 P5 0.40000 C09-103 P10 0.30000 C09-103 P15 0.20000 C09-103 P20 0.20000 C09-103 P30 0.30000 C09-103 P50 0.18000 C09-103 P100 0.10000 C09-103 P200 0.06500 C09-103 P500 0.02800 C09-103 P1000 0.01944 C09-104 num_ret 976.00000 C09-104 num_unjug_ret@1 0.00000 C09-104 num_unjug_ret@10 1.00000 C09-104 num_unjug_ret@100 49.00000 C09-104 num_unjug_ret@1000 871.00000 C09-104 num_rel 21.00000 C09-104 num_rel_ret 4.00000 C09-104 map 0.12407 C09-104 R-prec 0.14286 C09-104 bpref 0.13832 C09-104 recip_rank 1.00000 C09-104 ndcg 0.32434 C09-104 ndcg5 0.68435 C09-104 ndcg10 0.44410 C09-104 ndcg20 0.32262 C09-104 ERR 0.28847 C09-104 ERR10 0.28843 C09-104 ERR20 0.28843 C09-104 P1 1.00000 C09-104 P5 0.60000 C09-104 P10 0.30000 C09-104 P15 0.20000 C09-104 P20 0.15000 C09-104 P30 0.10000 C09-104 P50 0.06000 C09-104 P100 0.03000 C09-104 P200 0.01500 C09-104 P500 0.00600 C09-104 P1000 0.00410 C09-105 num_ret 852.00000 C09-105 num_unjug_ret@1 0.00000 C09-105 num_unjug_ret@10 1.00000 C09-105 num_unjug_ret@100 33.00000 C09-105 num_unjug_ret@1000 765.00000 C09-105 num_rel 109.00000 C09-105 num_rel_ret 29.00000 C09-105 map 0.06853 C09-105 R-prec 0.12844 C09-105 bpref 0.20352 C09-105 recip_rank 1.00000 C09-105 ndcg 0.27270 C09-105 ndcg5 0.41662 C09-105 ndcg10 0.46644 C09-105 ndcg20 0.39452 C09-105 ERR 0.13906 C09-105 ERR10 0.12604 C09-105 ERR20 0.13211 C09-105 P1 1.00000 C09-105 P5 0.40000 C09-105 P10 0.50000 C09-105 P15 0.46667 C09-105 P20 0.35000 C09-105 P30 0.26667 C09-105 P50 0.26000 C09-105 P100 0.14000 C09-105 P200 0.09500 C09-105 P500 0.04800 C09-105 P1000 0.03404 C09-106 num_ret 861.00000 C09-106 num_unjug_ret@1 0.00000 C09-106 num_unjug_ret@10 0.00000 C09-106 num_unjug_ret@100 54.00000 C09-106 num_unjug_ret@1000 813.00000 C09-106 num_rel 10.00000 C09-106 num_rel_ret 0.00000 C09-106 map 0.00000 C09-106 R-prec 0.00000 C09-106 bpref 0.00000 C09-106 recip_rank 0.00000 C09-106 ndcg 0.00000 C09-106 ndcg5 0.00000 C09-106 ndcg10 0.00000 C09-106 ndcg20 0.00000 C09-106 ERR 0.00000 C09-106 ERR10 0.00000 C09-106 ERR20 0.00000 C09-106 P1 0.00000 C09-106 P5 0.00000 C09-106 P10 0.00000 C09-106 P15 0.00000 C09-106 P20 0.00000 C09-106 P30 0.00000 C09-106 P50 0.00000 C09-106 P100 0.00000 C09-106 P200 0.00000 C09-106 P500 0.00000 C09-106 P1000 0.00000 C09-107 num_ret 277.00000 C09-107 num_unjug_ret@1 0.00000 C09-107 num_unjug_ret@10 3.00000 C09-107 num_unjug_ret@100 30.00000 C09-107 num_unjug_ret@1000 224.00000 C09-107 num_rel 52.00000 C09-107 num_rel_ret 4.00000 C09-107 map 0.00318 C09-107 R-prec 0.01923 C09-107 bpref 0.04327 C09-107 recip_rank 0.12500 C09-107 ndcg 0.04605 C09-107 ndcg5 0.03353 C09-107 ndcg10 0.02443 C09-107 ndcg20 0.02082 C09-107 ERR 0.01958 C09-107 ERR10 0.01563 C09-107 ERR20 0.01563 C09-107 P1 0.00000 C09-107 P5 0.00000 C09-107 P10 0.10000 C09-107 P15 0.06667 C09-107 P20 0.05000 C09-107 P30 0.03333 C09-107 P50 0.02000 C09-107 P100 0.01000 C09-107 P200 0.01000 C09-107 P500 0.01444 C09-107 P1000 0.01444 C09-108 num_ret 354.00000 C09-108 num_unjug_ret@1 0.00000 C09-108 num_unjug_ret@10 0.00000 C09-108 num_unjug_ret@100 3.00000 C09-108 num_unjug_ret@1000 306.00000 C09-108 num_rel 73.00000 C09-108 num_rel_ret 11.00000 C09-108 map 0.03146 C09-108 R-prec 0.10959 C09-108 bpref 0.14937 C09-108 recip_rank 0.10000 C09-108 ndcg 0.18385 C09-108 ndcg5 0.28960 C09-108 ndcg10 0.32467 C09-108 ndcg20 0.27025 C09-108 ERR 0.15981 C09-108 ERR10 0.15428 C09-108 ERR20 0.15875 C09-108 P1 0.00000 C09-108 P5 0.00000 C09-108 P10 0.10000 C09-108 P15 0.26667 C09-108 P20 0.30000 C09-108 P30 0.23333 C09-108 P50 0.16000 C09-108 P100 0.09000 C09-108 P200 0.05500 C09-108 P500 0.03107 C09-108 P1000 0.03107 C09-109 num_ret 977.00000 C09-109 num_unjug_ret@1 0.00000 C09-109 num_unjug_ret@10 0.00000 C09-109 num_unjug_ret@100 48.00000 C09-109 num_unjug_ret@1000 864.00000 C09-109 num_rel 11.00000 C09-109 num_rel_ret 3.00000 C09-109 map 0.00522 C09-109 R-prec 0.00000 C09-109 bpref 0.00000 C09-109 recip_rank 0.03030 C09-109 ndcg 0.09662 C09-109 ndcg5 0.00000 C09-109 ndcg10 0.00000 C09-109 ndcg20 0.00000 C09-109 ERR 0.00257 C09-109 ERR10 0.00000 C09-109 ERR20 0.00000 C09-109 P1 0.00000 C09-109 P5 0.00000 C09-109 P10 0.00000 C09-109 P15 0.00000 C09-109 P20 0.00000 C09-109 P30 0.00000 C09-109 P50 0.02000 C09-109 P100 0.01000 C09-109 P200 0.01000 C09-109 P500 0.00600 C09-109 P1000 0.00307 C09-110 num_ret 985.00000 C09-110 num_unjug_ret@1 0.00000 C09-110 num_unjug_ret@10 0.00000 C09-110 num_unjug_ret@100 62.00000 C09-110 num_unjug_ret@1000 907.00000 C09-110 num_rel 63.00000 C09-110 num_rel_ret 11.00000 C09-110 map 0.00852 C09-110 R-prec 0.01587 C09-110 bpref 0.07533 C09-110 recip_rank 0.20000 C09-110 ndcg 0.11263 C09-110 ndcg5 0.04374 C09-110 ndcg10 0.02838 C09-110 ndcg20 0.01872 C09-110 ERR 0.01943 C09-110 ERR10 0.01250 C09-110 ERR20 0.01250 C09-110 P1 0.00000 C09-110 P5 0.20000 C09-110 P10 0.10000 C09-110 P15 0.06667 C09-110 P20 0.05000 C09-110 P30 0.03333 C09-110 P50 0.02000 C09-110 P100 0.06000 C09-110 P200 0.03000 C09-110 P500 0.01800 C09-110 P1000 0.01117 C09-111 num_ret 822.00000 C09-111 num_unjug_ret@1 0.00000 C09-111 num_unjug_ret@10 0.00000 C09-111 num_unjug_ret@100 30.00000 C09-111 num_unjug_ret@1000 755.00000 C09-111 num_rel 141.00000 C09-111 num_rel_ret 43.00000 C09-111 map 0.13923 C09-111 R-prec 0.26241 C09-111 bpref 0.29277 C09-111 recip_rank 1.00000 C09-111 ndcg 0.24546 C09-111 ndcg5 0.28821 C09-111 ndcg10 0.25049 C09-111 ndcg20 0.27419 C09-111 ERR 0.32971 C09-111 ERR10 0.30430 C09-111 ERR20 0.32705 C09-111 P1 1.00000 C09-111 P5 0.60000 C09-111 P10 0.30000 C09-111 P15 0.46667 C09-111 P20 0.50000 C09-111 P30 0.63333 C09-111 P50 0.44000 C09-111 P100 0.36000 C09-111 P200 0.19000 C09-111 P500 0.08200 C09-111 P1000 0.05231 C09-112 num_ret 932.00000 C09-112 num_unjug_ret@1 0.00000 C09-112 num_unjug_ret@10 0.00000 C09-112 num_unjug_ret@100 38.00000 C09-112 num_unjug_ret@1000 859.00000 C09-112 num_rel 1.00000 C09-112 num_rel_ret 0.00000 C09-112 map 0.00000 C09-112 R-prec 0.00000 C09-112 bpref 0.00000 C09-112 recip_rank 0.00000 C09-112 ndcg 0.00000 C09-112 ndcg5 0.00000 C09-112 ndcg10 0.00000 C09-112 ndcg20 0.00000 C09-112 ERR 0.00000 C09-112 ERR10 0.00000 C09-112 ERR20 0.00000 C09-112 P1 0.00000 C09-112 P5 0.00000 C09-112 P10 0.00000 C09-112 P15 0.00000 C09-112 P20 0.00000 C09-112 P30 0.00000 C09-112 P50 0.00000 C09-112 P100 0.00000 C09-112 P200 0.00000 C09-112 P500 0.00000 C09-112 P1000 0.00000 C09-113 num_ret 915.00000 C09-113 num_unjug_ret@1 0.00000 C09-113 num_unjug_ret@10 0.00000 C09-113 num_unjug_ret@100 58.00000 C09-113 num_unjug_ret@1000 864.00000 C09-113 num_rel 8.00000 C09-113 num_rel_ret 0.00000 C09-113 map 0.00000 C09-113 R-prec 0.00000 C09-113 bpref 0.00000 C09-113 recip_rank 0.00000 C09-113 ndcg 0.00000 C09-113 ndcg5 0.00000 C09-113 ndcg10 0.00000 C09-113 ndcg20 0.00000 C09-113 ERR 0.00000 C09-113 ERR10 0.00000 C09-113 ERR20 0.00000 C09-113 P1 0.00000 C09-113 P5 0.00000 C09-113 P10 0.00000 C09-113 P15 0.00000 C09-113 P20 0.00000 C09-113 P30 0.00000 C09-113 P50 0.00000 C09-113 P100 0.00000 C09-113 P200 0.00000 C09-113 P500 0.00000 C09-113 P1000 0.00000 C09-114 num_ret 802.00000 C09-114 num_unjug_ret@1 0.00000 C09-114 num_unjug_ret@10 2.00000 C09-114 num_unjug_ret@100 55.00000 C09-114 num_unjug_ret@1000 757.00000 C09-114 num_rel 26.00000 C09-114 num_rel_ret 6.00000 C09-114 map 0.00661 C09-114 R-prec 0.03846 C09-114 bpref 0.06509 C09-114 recip_rank 0.09091 C09-114 ndcg 0.09663 C09-114 ndcg5 0.00000 C09-114 ndcg10 0.03412 C09-114 ndcg20 0.02753 C09-114 ERR 0.01507 C09-114 ERR10 0.01042 C09-114 ERR20 0.01042 C09-114 P1 0.00000 C09-114 P5 0.00000 C09-114 P10 0.00000 C09-114 P15 0.06667 C09-114 P20 0.05000 C09-114 P30 0.03333 C09-114 P50 0.02000 C09-114 P100 0.02000 C09-114 P200 0.01500 C09-114 P500 0.00600 C09-114 P1000 0.00748 C09-115 num_ret 948.00000 C09-115 num_unjug_ret@1 0.00000 C09-115 num_unjug_ret@10 0.00000 C09-115 num_unjug_ret@100 47.00000 C09-115 num_unjug_ret@1000 833.00000 C09-115 num_rel 4.00000 C09-115 num_rel_ret 0.00000 C09-115 map 0.00000 C09-115 R-prec 0.00000 C09-115 bpref 0.00000 C09-115 recip_rank 0.00000 C09-115 ndcg 0.00000 C09-115 ndcg5 0.00000 C09-115 ndcg10 0.00000 C09-115 ndcg20 0.00000 C09-115 ERR 0.00000 C09-115 ERR10 0.00000 C09-115 ERR20 0.00000 C09-115 P1 0.00000 C09-115 P5 0.00000 C09-115 P10 0.00000 C09-115 P15 0.00000 C09-115 P20 0.00000 C09-115 P30 0.00000 C09-115 P50 0.00000 C09-115 P100 0.00000 C09-115 P200 0.00000 C09-115 P500 0.00000 C09-115 P1000 0.00000 C09-116 num_ret 940.00000 C09-116 num_unjug_ret@1 0.00000 C09-116 num_unjug_ret@10 0.00000 C09-116 num_unjug_ret@100 56.00000 C09-116 num_unjug_ret@1000 872.00000 C09-116 num_rel 181.00000 C09-116 num_rel_ret 49.00000 C09-116 map 0.09623 C09-116 R-prec 0.17127 C09-116 bpref 0.25836 C09-116 recip_rank 1.00000 C09-116 ndcg 0.21001 C09-116 ndcg5 0.25245 C09-116 ndcg10 0.25493 C09-116 ndcg20 0.20638 C09-116 ERR 0.26368 C09-116 ERR10 0.25129 C09-116 ERR20 0.25971 C09-116 P1 1.00000 C09-116 P5 0.80000 C09-116 P10 0.80000 C09-116 P15 0.66667 C09-116 P20 0.55000 C09-116 P30 0.43333 C09-116 P50 0.34000 C09-116 P100 0.25000 C09-116 P200 0.16500 C09-116 P500 0.08800 C09-116 P1000 0.05213 C09-117 num_ret 944.00000 C09-117 num_unjug_ret@1 0.00000 C09-117 num_unjug_ret@10 0.00000 C09-117 num_unjug_ret@100 34.00000 C09-117 num_unjug_ret@1000 820.00000 C09-117 num_rel 234.00000 C09-117 num_rel_ret 71.00000 C09-117 map 0.07571 C09-117 R-prec 0.21795 C09-117 bpref 0.26313 C09-117 recip_rank 0.06667 C09-117 ndcg 0.21583 C09-117 ndcg5 0.02087 C09-117 ndcg10 0.02474 C09-117 ndcg20 0.13496 C09-117 ERR 0.07836 C09-117 ERR10 0.02539 C09-117 ERR20 0.07443 C09-117 P1 0.00000 C09-117 P5 0.00000 C09-117 P10 0.00000 C09-117 P15 0.06667 C09-117 P20 0.10000 C09-117 P30 0.23333 C09-117 P50 0.38000 C09-117 P100 0.32000 C09-117 P200 0.23500 C09-117 P500 0.12800 C09-117 P1000 0.07521 C09-118 num_ret 856.00000 C09-118 num_unjug_ret@1 0.00000 C09-118 num_unjug_ret@10 1.00000 C09-118 num_unjug_ret@100 48.00000 C09-118 num_unjug_ret@1000 782.00000 C09-118 num_rel 48.00000 C09-118 num_rel_ret 11.00000 C09-118 map 0.09817 C09-118 R-prec 0.22917 C09-118 bpref 0.18490 C09-118 recip_rank 1.00000 C09-118 ndcg 0.36499 C09-118 ndcg5 0.63995 C09-118 ndcg10 0.43974 C09-118 ndcg20 0.34405 C09-118 ERR 0.28091 C09-118 ERR10 0.26783 C09-118 ERR20 0.27490 C09-118 P1 1.00000 C09-118 P5 0.60000 C09-118 P10 0.40000 C09-118 P15 0.33333 C09-118 P20 0.30000 C09-118 P30 0.23333 C09-118 P50 0.22000 C09-118 P100 0.11000 C09-118 P200 0.05500 C09-118 P500 0.02200 C09-118 P1000 0.01285 C09-119 num_ret 992.00000 C09-119 num_unjug_ret@1 0.00000 C09-119 num_unjug_ret@10 1.00000 C09-119 num_unjug_ret@100 54.00000 C09-119 num_unjug_ret@1000 922.00000 C09-119 num_rel 71.00000 C09-119 num_rel_ret 25.00000 C09-119 map 0.09136 C09-119 R-prec 0.21127 C09-119 bpref 0.25471 C09-119 recip_rank 0.20000 C09-119 ndcg 0.20087 C09-119 ndcg5 0.04374 C09-119 ndcg10 0.07598 C09-119 ndcg20 0.15291 C09-119 ERR 0.05878 C09-119 ERR10 0.02774 C09-119 ERR20 0.05162 C09-119 P1 0.00000 C09-119 P5 0.20000 C09-119 P10 0.30000 C09-119 P15 0.33333 C09-119 P20 0.40000 C09-119 P30 0.36667 C09-119 P50 0.28000 C09-119 P100 0.17000 C09-119 P200 0.10500 C09-119 P500 0.04800 C09-119 P1000 0.02520 C09-120 num_ret 869.00000 C09-120 num_unjug_ret@1 0.00000 C09-120 num_unjug_ret@10 3.00000 C09-120 num_unjug_ret@100 52.00000 C09-120 num_unjug_ret@1000 810.00000 C09-120 num_rel 25.00000 C09-120 num_rel_ret 0.00000 C09-120 map 0.00000 C09-120 R-prec 0.00000 C09-120 bpref 0.00000 C09-120 recip_rank 0.00000 C09-120 ndcg 0.00000 C09-120 ndcg5 0.00000 C09-120 ndcg10 0.00000 C09-120 ndcg20 0.00000 C09-120 ERR 0.00000 C09-120 ERR10 0.00000 C09-120 ERR20 0.00000 C09-120 P1 0.00000 C09-120 P5 0.00000 C09-120 P10 0.00000 C09-120 P15 0.00000 C09-120 P20 0.00000 C09-120 P30 0.00000 C09-120 P50 0.00000 C09-120 P100 0.00000 C09-120 P200 0.00000 C09-120 P500 0.00000 C09-120 P1000 0.00000 C09-121 num_ret 902.00000 C09-121 num_unjug_ret@1 0.00000 C09-121 num_unjug_ret@10 1.00000 C09-121 num_unjug_ret@100 59.00000 C09-121 num_unjug_ret@1000 820.00000 C09-121 num_rel 78.00000 C09-121 num_rel_ret 17.00000 C09-121 map 0.09134 C09-121 R-prec 0.20513 C09-121 bpref 0.19329 C09-121 recip_rank 0.50000 C09-121 ndcg 0.15334 C09-121 ndcg5 0.16375 C09-121 ndcg10 0.12835 C09-121 ndcg20 0.14255 C09-121 ERR 0.08587 C09-121 ERR10 0.06261 C09-121 ERR20 0.07762 C09-121 P1 0.00000 C09-121 P5 0.60000 C09-121 P10 0.40000 C09-121 P15 0.40000 C09-121 P20 0.45000 C09-121 P30 0.36667 C09-121 P50 0.28000 C09-121 P100 0.16000 C09-121 P200 0.08500 C09-121 P500 0.03400 C09-121 P1000 0.01885 C09-122 num_ret 278.00000 C09-122 num_unjug_ret@1 0.00000 C09-122 num_unjug_ret@10 0.00000 C09-122 num_unjug_ret@100 7.00000 C09-122 num_unjug_ret@1000 235.00000 C09-122 num_rel 5.00000 C09-122 num_rel_ret 2.00000 C09-122 map 0.01930 C09-122 R-prec 0.00000 C09-122 bpref 0.08000 C09-122 recip_rank 0.06667 C09-122 ndcg 0.13171 C09-122 ndcg5 0.08703 C09-122 ndcg10 0.08703 C09-122 ndcg20 0.08703 C09-122 ERR 0.01829 C09-122 ERR10 0.01563 C09-122 ERR20 0.01563 C09-122 P1 0.00000 C09-122 P5 0.00000 C09-122 P10 0.00000 C09-122 P15 0.06667 C09-122 P20 0.05000 C09-122 P30 0.03333 C09-122 P50 0.02000 C09-122 P100 0.02000 C09-122 P200 0.01000 C09-122 P500 0.00719 C09-122 P1000 0.00719 C09-123 num_ret 745.00000 C09-123 num_unjug_ret@1 0.00000 C09-123 num_unjug_ret@10 0.00000 C09-123 num_unjug_ret@100 29.00000 C09-123 num_unjug_ret@1000 665.00000 C09-123 num_rel 98.00000 C09-123 num_rel_ret 30.00000 C09-123 map 0.13998 C09-123 R-prec 0.26531 C09-123 bpref 0.26760 C09-123 recip_rank 0.50000 C09-123 ndcg 0.31707 C09-123 ndcg5 0.57337 C09-123 ndcg10 0.65953 C09-123 ndcg20 0.50756 C09-123 ERR 0.23148 C09-123 ERR10 0.22224 C09-123 ERR20 0.22759 C09-123 P1 0.00000 C09-123 P5 0.80000 C09-123 P10 0.80000 C09-123 P15 0.53333 C09-123 P20 0.40000 C09-123 P30 0.40000 C09-123 P50 0.38000 C09-123 P100 0.26000 C09-123 P200 0.14500 C09-123 P500 0.06000 C09-123 P1000 0.04027 C09-124 num_ret 979.00000 C09-124 num_unjug_ret@1 0.00000 C09-124 num_unjug_ret@10 0.00000 C09-124 num_unjug_ret@100 53.00000 C09-124 num_unjug_ret@1000 889.00000 C09-124 num_rel 63.00000 C09-124 num_rel_ret 8.00000 C09-124 map 0.01182 C09-124 R-prec 0.09524 C09-124 bpref 0.07332 C09-124 recip_rank 0.08333 C09-124 ndcg 0.13679 C09-124 ndcg5 0.00000 C09-124 ndcg10 0.06943 C09-124 ndcg20 0.08319 C09-124 ERR 0.08415 C09-124 ERR10 0.05469 C09-124 ERR20 0.07520 C09-124 P1 0.00000 C09-124 P5 0.00000 C09-124 P10 0.00000 C09-124 P15 0.06667 C09-124 P20 0.10000 C09-124 P30 0.06667 C09-124 P50 0.12000 C09-124 P100 0.06000 C09-124 P200 0.03500 C09-124 P500 0.01600 C09-124 P1000 0.00817 C09-125 num_ret 927.00000 C09-125 num_unjug_ret@1 0.00000 C09-125 num_unjug_ret@10 1.00000 C09-125 num_unjug_ret@100 58.00000 C09-125 num_unjug_ret@1000 869.00000 C09-125 num_rel 47.00000 C09-125 num_rel_ret 12.00000 C09-125 map 0.03335 C09-125 R-prec 0.06383 C09-125 bpref 0.12766 C09-125 recip_rank 1.00000 C09-125 ndcg 0.12592 C09-125 ndcg5 0.05459 C09-125 ndcg10 0.06473 C09-125 ndcg20 0.06894 C09-125 ERR 0.07585 C09-125 ERR10 0.06836 C09-125 ERR20 0.07228 C09-125 P1 1.00000 C09-125 P5 0.20000 C09-125 P10 0.10000 C09-125 P15 0.06667 C09-125 P20 0.10000 C09-125 P30 0.10000 C09-125 P50 0.06000 C09-125 P100 0.04000 C09-125 P200 0.03500 C09-125 P500 0.02400 C09-125 P1000 0.01294 C09-126 num_ret 851.00000 C09-126 num_unjug_ret@1 0.00000 C09-126 num_unjug_ret@10 1.00000 C09-126 num_unjug_ret@100 47.00000 C09-126 num_unjug_ret@1000 750.00000 C09-126 num_rel 5.00000 C09-126 num_rel_ret 0.00000 C09-126 map 0.00000 C09-126 R-prec 0.00000 C09-126 bpref 0.00000 C09-126 recip_rank 0.00000 C09-126 ndcg 0.00000 C09-126 ndcg5 0.00000 C09-126 ndcg10 0.00000 C09-126 ndcg20 0.00000 C09-126 ERR 0.00000 C09-126 ERR10 0.00000 C09-126 ERR20 0.00000 C09-126 P1 0.00000 C09-126 P5 0.00000 C09-126 P10 0.00000 C09-126 P15 0.00000 C09-126 P20 0.00000 C09-126 P30 0.00000 C09-126 P50 0.00000 C09-126 P100 0.00000 C09-126 P200 0.00000 C09-126 P500 0.00000 C09-126 P1000 0.00000 C09-127 num_ret 610.00000 C09-127 num_unjug_ret@1 0.00000 C09-127 num_unjug_ret@10 0.00000 C09-127 num_unjug_ret@100 32.00000 C09-127 num_unjug_ret@1000 511.00000 C09-127 num_rel 124.00000 C09-127 num_rel_ret 45.00000 C09-127 map 0.19812 C09-127 R-prec 0.28226 C09-127 bpref 0.31556 C09-127 recip_rank 1.00000 C09-127 ndcg 0.39767 C09-127 ndcg5 0.28960 C09-127 ndcg10 0.38018 C09-127 ndcg20 0.33474 C09-127 ERR 0.18953 C09-127 ERR10 0.16882 C09-127 ERR20 0.17999 C09-127 P1 1.00000 C09-127 P5 0.80000 C09-127 P10 0.80000 C09-127 P15 0.66667 C09-127 P20 0.65000 C09-127 P30 0.70000 C09-127 P50 0.50000 C09-127 P100 0.29000 C09-127 P200 0.20500 C09-127 P500 0.08600 C09-127 P1000 0.07377 C09-128 num_ret 687.00000 C09-128 num_unjug_ret@1 0.00000 C09-128 num_unjug_ret@10 0.00000 C09-128 num_unjug_ret@100 16.00000 C09-128 num_unjug_ret@1000 596.00000 C09-128 num_rel 60.00000 C09-128 num_rel_ret 14.00000 C09-128 map 0.08790 C09-128 R-prec 0.20000 C09-128 bpref 0.20361 C09-128 recip_rank 0.33333 C09-128 ndcg 0.29362 C09-128 ndcg5 0.31565 C09-128 ndcg10 0.42022 C09-128 ndcg20 0.41946 C09-128 ERR 0.16261 C09-128 ERR10 0.14375 C09-128 ERR20 0.15943 C09-128 P1 0.00000 C09-128 P5 0.40000 C09-128 P10 0.50000 C09-128 P15 0.46667 C09-128 P20 0.35000 C09-128 P30 0.30000 C09-128 P50 0.22000 C09-128 P100 0.13000 C09-128 P200 0.07000 C09-128 P500 0.02800 C09-128 P1000 0.02038 C09-129 num_ret 968.00000 C09-129 num_unjug_ret@1 0.00000 C09-129 num_unjug_ret@10 0.00000 C09-129 num_unjug_ret@100 47.00000 C09-129 num_unjug_ret@1000 858.00000 C09-129 num_rel 27.00000 C09-129 num_rel_ret 3.00000 C09-129 map 0.00180 C09-129 R-prec 0.00000 C09-129 bpref 0.00274 C09-129 recip_rank 0.02439 C09-129 ndcg 0.02363 C09-129 ndcg5 0.00000 C09-129 ndcg10 0.00000 C09-129 ndcg20 0.00000 C09-129 ERR 0.00357 C09-129 ERR10 0.00000 C09-129 ERR20 0.00000 C09-129 P1 0.00000 C09-129 P5 0.00000 C09-129 P10 0.00000 C09-129 P15 0.00000 C09-129 P20 0.00000 C09-129 P30 0.00000 C09-129 P50 0.02000 C09-129 P100 0.01000 C09-129 P200 0.00500 C09-129 P500 0.00600 C09-129 P1000 0.00310 C09-130 num_ret 719.00000 C09-130 num_unjug_ret@1 0.00000 C09-130 num_unjug_ret@10 1.00000 C09-130 num_unjug_ret@100 34.00000 C09-130 num_unjug_ret@1000 620.00000 C09-130 num_rel 282.00000 C09-130 num_rel_ret 75.00000 C09-130 map 0.09357 C09-130 R-prec 0.20213 C09-130 bpref 0.21089 C09-130 recip_rank 1.00000 C09-130 ndcg 0.27116 C09-130 ndcg5 0.42596 C09-130 ndcg10 0.37926 C09-130 ndcg20 0.33864 C09-130 ERR 0.51236 C09-130 ERR10 0.50159 C09-130 ERR20 0.51052 C09-130 P1 1.00000 C09-130 P5 0.40000 C09-130 P10 0.50000 C09-130 P15 0.60000 C09-130 P20 0.45000 C09-130 P30 0.50000 C09-130 P50 0.50000 C09-130 P100 0.38000 C09-130 P200 0.24000 C09-130 P500 0.12400 C09-130 P1000 0.10431 C09-131 num_ret 990.00000 C09-131 num_unjug_ret@1 0.00000 C09-131 num_unjug_ret@10 5.00000 C09-131 num_unjug_ret@100 81.00000 C09-131 num_unjug_ret@1000 914.00000 C09-131 num_rel 4.00000 C09-131 num_rel_ret 2.00000 C09-131 map 0.01083 C09-131 R-prec 0.00000 C09-131 bpref 0.00000 C09-131 recip_rank 0.03448 C09-131 ndcg 0.05695 C09-131 ndcg5 0.00000 C09-131 ndcg10 0.00000 C09-131 ndcg20 0.00000 C09-131 ERR 0.00242 C09-131 ERR10 0.00000 C09-131 ERR20 0.00000 C09-131 P1 0.00000 C09-131 P5 0.00000 C09-131 P10 0.00000 C09-131 P15 0.00000 C09-131 P20 0.00000 C09-131 P30 0.03333 C09-131 P50 0.02000 C09-131 P100 0.01000 C09-131 P200 0.00500 C09-131 P500 0.00400 C09-131 P1000 0.00202 C09-132 num_ret 428.00000 C09-132 num_unjug_ret@1 0.00000 C09-132 num_unjug_ret@10 1.00000 C09-132 num_unjug_ret@100 43.00000 C09-132 num_unjug_ret@1000 404.00000 C09-132 num_rel 50.00000 C09-132 num_rel_ret 4.00000 C09-132 map 0.00260 C09-132 R-prec 0.02000 C09-132 bpref 0.04840 C09-132 recip_rank 0.11111 C09-132 ndcg 0.05947 C09-132 ndcg5 0.14607 C09-132 ndcg10 0.09479 C09-132 ndcg20 0.06117 C09-132 ERR 0.04846 C09-132 ERR10 0.04688 C09-132 ERR20 0.04688 C09-132 P1 0.00000 C09-132 P5 0.00000 C09-132 P10 0.10000 C09-132 P15 0.06667 C09-132 P20 0.05000 C09-132 P30 0.03333 C09-132 P50 0.02000 C09-132 P100 0.01000 C09-132 P200 0.00500 C09-132 P500 0.00701 C09-132 P1000 0.00935 C09-133 num_ret 812.00000 C09-133 num_unjug_ret@1 0.00000 C09-133 num_unjug_ret@10 0.00000 C09-133 num_unjug_ret@100 50.00000 C09-133 num_unjug_ret@1000 724.00000 C09-133 num_rel 140.00000 C09-133 num_rel_ret 25.00000 C09-133 map 0.03440 C09-133 R-prec 0.11429 C09-133 bpref 0.15250 C09-133 recip_rank 0.20000 C09-133 ndcg 0.22536 C09-133 ndcg5 0.72273 C09-133 ndcg10 0.60205 C09-133 ndcg20 0.46160 C09-133 ERR 0.13641 C09-133 ERR10 0.12137 C09-133 ERR20 0.12784 C09-133 P1 0.00000 C09-133 P5 0.20000 C09-133 P10 0.30000 C09-133 P15 0.40000 C09-133 P20 0.30000 C09-133 P30 0.23333 C09-133 P50 0.22000 C09-133 P100 0.14000 C09-133 P200 0.08500 C09-133 P500 0.04400 C09-133 P1000 0.03079 C09-134 num_ret 850.00000 C09-134 num_unjug_ret@1 0.00000 C09-134 num_unjug_ret@10 3.00000 C09-134 num_unjug_ret@100 68.00000 C09-134 num_unjug_ret@1000 733.00000 C09-134 num_rel 23.00000 C09-134 num_rel_ret 4.00000 C09-134 map 0.00123 C09-134 R-prec 0.00000 C09-134 bpref 0.00000 C09-134 recip_rank 0.00794 C09-134 ndcg 0.06470 C09-134 ndcg5 0.00000 C09-134 ndcg10 0.00000 C09-134 ndcg20 0.00000 C09-134 ERR 0.00105 C09-134 ERR10 0.00000 C09-134 ERR20 0.00000 C09-134 P1 0.00000 C09-134 P5 0.00000 C09-134 P10 0.00000 C09-134 P15 0.00000 C09-134 P20 0.00000 C09-134 P30 0.00000 C09-134 P50 0.00000 C09-134 P100 0.00000 C09-134 P200 0.00500 C09-134 P500 0.00400 C09-134 P1000 0.00471 C09-135 num_ret 784.00000 C09-135 num_unjug_ret@1 0.00000 C09-135 num_unjug_ret@10 0.00000 C09-135 num_unjug_ret@100 27.00000 C09-135 num_unjug_ret@1000 708.00000 C09-135 num_rel 3.00000 C09-135 num_rel_ret 0.00000 C09-135 map 0.00000 C09-135 R-prec 0.00000 C09-135 bpref 0.00000 C09-135 recip_rank 0.00000 C09-135 ndcg 0.00000 C09-135 ndcg5 0.00000 C09-135 ndcg10 0.00000 C09-135 ndcg20 0.00000 C09-135 ERR 0.00000 C09-135 ERR10 0.00000 C09-135 ERR20 0.00000 C09-135 P1 0.00000 C09-135 P5 0.00000 C09-135 P10 0.00000 C09-135 P15 0.00000 C09-135 P20 0.00000 C09-135 P30 0.00000 C09-135 P50 0.00000 C09-135 P100 0.00000 C09-135 P200 0.00000 C09-135 P500 0.00000 C09-135 P1000 0.00000 C09-136 num_ret 620.00000 C09-136 num_unjug_ret@1 0.00000 C09-136 num_unjug_ret@10 2.00000 C09-136 num_unjug_ret@100 40.00000 C09-136 num_unjug_ret@1000 525.00000 C09-136 num_rel 33.00000 C09-136 num_rel_ret 12.00000 C09-136 map 0.00484 C09-136 R-prec 0.00000 C09-136 bpref 0.00275 C09-136 recip_rank 0.01266 C09-136 ndcg 0.14579 C09-136 ndcg5 0.00000 C09-136 ndcg10 0.00000 C09-136 ndcg20 0.00000 C09-136 ERR 0.01108 C09-136 ERR10 0.00000 C09-136 ERR20 0.00000 C09-136 P1 0.00000 C09-136 P5 0.00000 C09-136 P10 0.00000 C09-136 P15 0.00000 C09-136 P20 0.00000 C09-136 P30 0.00000 C09-136 P50 0.00000 C09-136 P100 0.01000 C09-136 P200 0.01000 C09-136 P500 0.01400 C09-136 P1000 0.01935 C09-137 num_ret 939.00000 C09-137 num_unjug_ret@1 0.00000 C09-137 num_unjug_ret@10 0.00000 C09-137 num_unjug_ret@100 34.00000 C09-137 num_unjug_ret@1000 829.00000 C09-137 num_rel 189.00000 C09-137 num_rel_ret 64.00000 C09-137 map 0.20313 C09-137 R-prec 0.26984 C09-137 bpref 0.31228 C09-137 recip_rank 1.00000 C09-137 ndcg 0.39930 C09-137 ndcg5 0.42857 C09-137 ndcg10 0.37891 C09-137 ndcg20 0.40129 C09-137 ERR 0.38124 C09-137 ERR10 0.36988 C09-137 ERR20 0.38061 C09-137 P1 1.00000 C09-137 P5 1.00000 C09-137 P10 0.90000 C09-137 P15 0.80000 C09-137 P20 0.85000 C09-137 P30 0.76667 C09-137 P50 0.62000 C09-137 P100 0.46000 C09-137 P200 0.25500 C09-137 P500 0.12200 C09-137 P1000 0.06816 C09-138 num_ret 906.00000 C09-138 num_unjug_ret@1 0.00000 C09-138 num_unjug_ret@10 0.00000 C09-138 num_unjug_ret@100 48.00000 C09-138 num_unjug_ret@1000 824.00000 C09-138 num_rel 15.00000 C09-138 num_rel_ret 11.00000 C09-138 map 0.42083 C09-138 R-prec 0.40000 C09-138 bpref 0.32000 C09-138 recip_rank 1.00000 C09-138 ndcg 0.69788 C09-138 ndcg5 0.86879 C09-138 ndcg10 0.56379 C09-138 ndcg20 0.52335 C09-138 ERR 0.13606 C09-138 ERR10 0.12298 C09-138 ERR20 0.12945 C09-138 P1 1.00000 C09-138 P5 0.80000 C09-138 P10 0.40000 C09-138 P15 0.40000 C09-138 P20 0.30000 C09-138 P30 0.33333 C09-138 P50 0.22000 C09-138 P100 0.11000 C09-138 P200 0.05500 C09-138 P500 0.02200 C09-138 P1000 0.01214 C09-139 num_ret 811.00000 C09-139 num_unjug_ret@1 0.00000 C09-139 num_unjug_ret@10 1.00000 C09-139 num_unjug_ret@100 49.00000 C09-139 num_unjug_ret@1000 726.00000 C09-139 num_rel 24.00000 C09-139 num_rel_ret 11.00000 C09-139 map 0.10873 C09-139 R-prec 0.29167 C09-139 bpref 0.27431 C09-139 recip_rank 0.16667 C09-139 ndcg 0.36178 C09-139 ndcg5 0.00000 C09-139 ndcg10 0.22544 C09-139 ndcg20 0.28379 C09-139 ERR 0.07903 C09-139 ERR10 0.05986 C09-139 ERR20 0.07559 C09-139 P1 0.00000 C09-139 P5 0.00000 C09-139 P10 0.30000 C09-139 P15 0.26667 C09-139 P20 0.35000 C09-139 P30 0.26667 C09-139 P50 0.16000 C09-139 P100 0.10000 C09-139 P200 0.05500 C09-139 P500 0.02200 C09-139 P1000 0.01356 C09-140 num_ret 424.00000 C09-140 num_unjug_ret@1 0.00000 C09-140 num_unjug_ret@10 0.00000 C09-140 num_unjug_ret@100 5.00000 C09-140 num_unjug_ret@1000 369.00000 C09-140 num_rel 4.00000 C09-140 num_rel_ret 0.00000 C09-140 map 0.00000 C09-140 R-prec 0.00000 C09-140 bpref 0.00000 C09-140 recip_rank 0.00000 C09-140 ndcg 0.00000 C09-140 ndcg5 0.00000 C09-140 ndcg10 0.00000 C09-140 ndcg20 0.00000 C09-140 ERR 0.00000 C09-140 ERR10 0.00000 C09-140 ERR20 0.00000 C09-140 P1 0.00000 C09-140 P5 0.00000 C09-140 P10 0.00000 C09-140 P15 0.00000 C09-140 P20 0.00000 C09-140 P30 0.00000 C09-140 P50 0.00000 C09-140 P100 0.00000 C09-140 P200 0.00000 C09-140 P500 0.00000 C09-140 P1000 0.00000 C09-141 num_ret 986.00000 C09-141 num_unjug_ret@1 0.00000 C09-141 num_unjug_ret@10 0.00000 C09-141 num_unjug_ret@100 41.00000 C09-141 num_unjug_ret@1000 871.00000 C09-141 num_rel 34.00000 C09-141 num_rel_ret 21.00000 C09-141 map 0.23639 C09-141 R-prec 0.41176 C09-141 bpref 0.32439 C09-141 recip_rank 0.25000 C09-141 ndcg 0.37551 C09-141 ndcg5 0.09242 C09-141 ndcg10 0.10732 C09-141 ndcg20 0.22441 C09-141 ERR 0.07477 C09-141 ERR10 0.04165 C09-141 ERR20 0.06657 C09-141 P1 0.00000 C09-141 P5 0.40000 C09-141 P10 0.40000 C09-141 P15 0.53333 C09-141 P20 0.45000 C09-141 P30 0.40000 C09-141 P50 0.34000 C09-141 P100 0.20000 C09-141 P200 0.10000 C09-141 P500 0.04200 C09-141 P1000 0.02130 C09-142 num_ret 704.00000 C09-142 num_unjug_ret@1 0.00000 C09-142 num_unjug_ret@10 0.00000 C09-142 num_unjug_ret@100 39.00000 C09-142 num_unjug_ret@1000 652.00000 C09-142 num_rel 45.00000 C09-142 num_rel_ret 2.00000 C09-142 map 0.00093 C09-142 R-prec 0.00000 C09-142 bpref 0.02765 C09-142 recip_rank 0.01724 C09-142 ndcg 0.03268 C09-142 ndcg5 0.00000 C09-142 ndcg10 0.00000 C09-142 ndcg20 0.00000 C09-142 ERR 0.00374 C09-142 ERR10 0.00000 C09-142 ERR20 0.00000 C09-142 P1 0.00000 C09-142 P5 0.00000 C09-142 P10 0.00000 C09-142 P15 0.00000 C09-142 P20 0.00000 C09-142 P30 0.00000 C09-142 P50 0.00000 C09-142 P100 0.02000 C09-142 P200 0.01000 C09-142 P500 0.00400 C09-142 P1000 0.00284 C09-143 num_ret 849.00000 C09-143 num_unjug_ret@1 0.00000 C09-143 num_unjug_ret@10 0.00000 C09-143 num_unjug_ret@100 38.00000 C09-143 num_unjug_ret@1000 789.00000 C09-143 num_rel 25.00000 C09-143 num_rel_ret 0.00000 C09-143 map 0.00000 C09-143 R-prec 0.00000 C09-143 bpref 0.00000 C09-143 recip_rank 0.00000 C09-143 ndcg 0.00000 C09-143 ndcg5 0.00000 C09-143 ndcg10 0.00000 C09-143 ndcg20 0.00000 C09-143 ERR 0.00000 C09-143 ERR10 0.00000 C09-143 ERR20 0.00000 C09-143 P1 0.00000 C09-143 P5 0.00000 C09-143 P10 0.00000 C09-143 P15 0.00000 C09-143 P20 0.00000 C09-143 P30 0.00000 C09-143 P50 0.00000 C09-143 P100 0.00000 C09-143 P200 0.00000 C09-143 P500 0.00000 C09-143 P1000 0.00000 C09-144 num_ret 808.00000 C09-144 num_unjug_ret@1 0.00000 C09-144 num_unjug_ret@10 1.00000 C09-144 num_unjug_ret@100 30.00000 C09-144 num_unjug_ret@1000 680.00000 C09-144 num_rel 97.00000 C09-144 num_rel_ret 21.00000 C09-144 map 0.06015 C09-144 R-prec 0.11340 C09-144 bpref 0.13710 C09-144 recip_rank 1.00000 C09-144 ndcg 0.21472 C09-144 ndcg5 0.37506 C09-144 ndcg10 0.26784 C09-144 ndcg20 0.18400 C09-144 ERR 0.15639 C09-144 ERR10 0.14790 C09-144 ERR20 0.15008 C09-144 P1 1.00000 C09-144 P5 0.80000 C09-144 P10 0.50000 C09-144 P15 0.33333 C09-144 P20 0.30000 C09-144 P30 0.20000 C09-144 P50 0.20000 C09-144 P100 0.11000 C09-144 P200 0.08000 C09-144 P500 0.04000 C09-144 P1000 0.02599 C09-145 num_ret 879.00000 C09-145 num_unjug_ret@1 0.00000 C09-145 num_unjug_ret@10 2.00000 C09-145 num_unjug_ret@100 42.00000 C09-145 num_unjug_ret@1000 781.00000 C09-145 num_rel 101.00000 C09-145 num_rel_ret 26.00000 C09-145 map 0.07313 C09-145 R-prec 0.17822 C09-145 bpref 0.18959 C09-145 recip_rank 1.00000 C09-145 ndcg 0.26104 C09-145 ndcg5 0.45422 C09-145 ndcg10 0.29476 C09-145 ndcg20 0.25488 C09-145 ERR 0.24023 C09-145 ERR10 0.22241 C09-145 ERR20 0.22856 C09-145 P1 1.00000 C09-145 P5 0.60000 C09-145 P10 0.30000 C09-145 P15 0.26667 C09-145 P20 0.25000 C09-145 P30 0.30000 C09-145 P50 0.26000 C09-145 P100 0.18000 C09-145 P200 0.10000 C09-145 P500 0.04600 C09-145 P1000 0.02958 C09-146 num_ret 829.00000 C09-146 num_unjug_ret@1 0.00000 C09-146 num_unjug_ret@10 0.00000 C09-146 num_unjug_ret@100 42.00000 C09-146 num_unjug_ret@1000 751.00000 C09-146 num_rel 16.00000 C09-146 num_rel_ret 10.00000 C09-146 map 0.32857 C09-146 R-prec 0.50000 C09-146 bpref 0.39453 C09-146 recip_rank 0.50000 C09-146 ndcg 0.54027 C09-146 ndcg5 0.51766 C09-146 ndcg10 0.48386 C09-146 ndcg20 0.48742 C09-146 ERR 0.12257 C09-146 ERR10 0.11151 C09-146 ERR20 0.12000 C09-146 P1 0.00000 C09-146 P5 0.60000 C09-146 P10 0.50000 C09-146 P15 0.53333 C09-146 P20 0.40000 C09-146 P30 0.33333 C09-146 P50 0.20000 C09-146 P100 0.10000 C09-146 P200 0.05000 C09-146 P500 0.02000 C09-146 P1000 0.01206 C09-147 num_ret 923.00000 C09-147 num_unjug_ret@1 0.00000 C09-147 num_unjug_ret@10 3.00000 C09-147 num_unjug_ret@100 35.00000 C09-147 num_unjug_ret@1000 805.00000 C09-147 num_rel 177.00000 C09-147 num_rel_ret 50.00000 C09-147 map 0.11494 C09-147 R-prec 0.20904 C09-147 bpref 0.25178 C09-147 recip_rank 1.00000 C09-147 ndcg 0.29290 C09-147 ndcg5 0.69921 C09-147 ndcg10 0.47820 C09-147 ndcg20 0.44972 C09-147 ERR 0.32577 C09-147 ERR10 0.29941 C09-147 ERR20 0.31841 C09-147 P1 1.00000 C09-147 P5 0.60000 C09-147 P10 0.40000 C09-147 P15 0.46667 C09-147 P20 0.50000 C09-147 P30 0.53333 C09-147 P50 0.44000 C09-147 P100 0.32000 C09-147 P200 0.19000 C09-147 P500 0.09400 C09-147 P1000 0.05417 C09-148 num_ret 790.00000 C09-148 num_unjug_ret@1 0.00000 C09-148 num_unjug_ret@10 0.00000 C09-148 num_unjug_ret@100 33.00000 C09-148 num_unjug_ret@1000 733.00000 C09-148 num_rel 80.00000 C09-148 num_rel_ret 14.00000 C09-148 map 0.07848 C09-148 R-prec 0.16250 C09-148 bpref 0.15578 C09-148 recip_rank 1.00000 C09-148 ndcg 0.23492 C09-148 ndcg5 0.48811 C09-148 ndcg10 0.38811 C09-148 ndcg20 0.32514 C09-148 ERR 0.24929 C09-148 ERR10 0.24122 C09-148 ERR20 0.24522 C09-148 P1 1.00000 C09-148 P5 0.60000 C09-148 P10 0.50000 C09-148 P15 0.40000 C09-148 P20 0.35000 C09-148 P30 0.36667 C09-148 P50 0.24000 C09-148 P100 0.13000 C09-148 P200 0.06500 C09-148 P500 0.02800 C09-148 P1000 0.01772 C09-149 num_ret 816.00000 C09-149 num_unjug_ret@1 0.00000 C09-149 num_unjug_ret@10 0.00000 C09-149 num_unjug_ret@100 25.00000 C09-149 num_unjug_ret@1000 725.00000 C09-149 num_rel 62.00000 C09-149 num_rel_ret 22.00000 C09-149 map 0.03733 C09-149 R-prec 0.14516 C09-149 bpref 0.16129 C09-149 recip_rank 0.04762 C09-149 ndcg 0.25528 C09-149 ndcg5 0.00000 C09-149 ndcg10 0.00000 C09-149 ndcg20 0.10592 C09-149 ERR 0.02377 C09-149 ERR10 0.00000 C09-149 ERR20 0.01183 C09-149 P1 0.00000 C09-149 P5 0.00000 C09-149 P10 0.00000 C09-149 P15 0.00000 C09-149 P20 0.00000 C09-149 P30 0.10000 C09-149 P50 0.18000 C09-149 P100 0.12000 C09-149 P200 0.08000 C09-149 P500 0.04000 C09-149 P1000 0.02696 C09-150 num_ret 779.00000 C09-150 num_unjug_ret@1 0.00000 C09-150 num_unjug_ret@10 1.00000 C09-150 num_unjug_ret@100 24.00000 C09-150 num_unjug_ret@1000 679.00000 C09-150 num_rel 4.00000 C09-150 num_rel_ret 1.00000 C09-150 map 0.00236 C09-150 R-prec 0.00000 C09-150 bpref 0.00000 C09-150 recip_rank 0.00943 C09-150 ndcg 0.06140 C09-150 ndcg5 0.00000 C09-150 ndcg10 0.00000 C09-150 ndcg20 0.00000 C09-150 ERR 0.00231 C09-150 ERR10 0.00000 C09-150 ERR20 0.00000 C09-150 P1 0.00000 C09-150 P5 0.00000 C09-150 P10 0.00000 C09-150 P15 0.00000 C09-150 P20 0.00000 C09-150 P30 0.00000 C09-150 P50 0.00000 C09-150 P100 0.00000 C09-150 P200 0.00500 C09-150 P500 0.00200 C09-150 P1000 0.00128 C09-151 num_ret 975.00000 C09-151 num_unjug_ret@1 0.00000 C09-151 num_unjug_ret@10 3.00000 C09-151 num_unjug_ret@100 64.00000 C09-151 num_unjug_ret@1000 924.00000 C09-151 num_rel 148.00000 C09-151 num_rel_ret 9.00000 C09-151 map 0.01297 C09-151 R-prec 0.05405 C09-151 bpref 0.05246 C09-151 recip_rank 1.00000 C09-151 ndcg 0.04458 C09-151 ndcg5 0.02261 C09-151 ndcg10 0.01956 C09-151 ndcg20 0.01442 C09-151 ERR 0.09329 C09-151 ERR10 0.07087 C09-151 ERR20 0.07087 C09-151 P1 1.00000 C09-151 P5 0.20000 C09-151 P10 0.20000 C09-151 P15 0.13333 C09-151 P20 0.10000 C09-151 P30 0.10000 C09-151 P50 0.10000 C09-151 P100 0.07000 C09-151 P200 0.04000 C09-151 P500 0.01800 C09-151 P1000 0.00923 C09-152 num_ret 220.00000 C09-152 num_unjug_ret@1 0.00000 C09-152 num_unjug_ret@10 0.00000 C09-152 num_unjug_ret@100 12.00000 C09-152 num_unjug_ret@1000 198.00000 C09-152 num_rel 8.00000 C09-152 num_rel_ret 0.00000 C09-152 map 0.00000 C09-152 R-prec 0.00000 C09-152 bpref 0.00000 C09-152 recip_rank 0.00000 C09-152 ndcg 0.00000 C09-152 ndcg5 0.00000 C09-152 ndcg10 0.00000 C09-152 ndcg20 0.00000 C09-152 ERR 0.00000 C09-152 ERR10 0.00000 C09-152 ERR20 0.00000 C09-152 P1 0.00000 C09-152 P5 0.00000 C09-152 P10 0.00000 C09-152 P15 0.00000 C09-152 P20 0.00000 C09-152 P30 0.00000 C09-152 P50 0.00000 C09-152 P100 0.00000 C09-152 P200 0.00000 C09-152 P500 0.00000 C09-152 P1000 0.00000 C09-153 num_ret 877.00000 C09-153 num_unjug_ret@1 0.00000 C09-153 num_unjug_ret@10 0.00000 C09-153 num_unjug_ret@100 34.00000 C09-153 num_unjug_ret@1000 778.00000 C09-153 num_rel 122.00000 C09-153 num_rel_ret 45.00000 C09-153 map 0.19433 C09-153 R-prec 0.28689 C09-153 bpref 0.31987 C09-153 recip_rank 1.00000 C09-153 ndcg 0.17947 C09-153 ndcg5 0.05792 C09-153 ndcg10 0.05875 C09-153 ndcg20 0.07989 C09-153 ERR 0.17212 C09-153 ERR10 0.14423 C09-153 ERR20 0.15986 C09-153 P1 1.00000 C09-153 P5 0.80000 C09-153 P10 0.80000 C09-153 P15 0.86667 C09-153 P20 0.75000 C09-153 P30 0.53333 C09-153 P50 0.46000 C09-153 P100 0.32000 C09-153 P200 0.19500 C09-153 P500 0.08600 C09-153 P1000 0.05131 C09-154 num_ret 920.00000 C09-154 num_unjug_ret@1 0.00000 C09-154 num_unjug_ret@10 0.00000 C09-154 num_unjug_ret@100 45.00000 C09-154 num_unjug_ret@1000 838.00000 C09-154 num_rel 58.00000 C09-154 num_rel_ret 10.00000 C09-154 map 0.00534 C09-154 R-prec 0.03448 C09-154 bpref 0.03389 C09-154 recip_rank 0.04167 C09-154 ndcg 0.08421 C09-154 ndcg5 0.00000 C09-154 ndcg10 0.00000 C09-154 ndcg20 0.03406 C09-154 ERR 0.05591 C09-154 ERR10 0.00000 C09-154 ERR20 0.05515 C09-154 P1 0.00000 C09-154 P5 0.00000 C09-154 P10 0.00000 C09-154 P15 0.00000 C09-154 P20 0.00000 C09-154 P30 0.03333 C09-154 P50 0.04000 C09-154 P100 0.03000 C09-154 P200 0.02500 C09-154 P500 0.01800 C09-154 P1000 0.01087 C09-155 num_ret 679.00000 C09-155 num_unjug_ret@1 0.00000 C09-155 num_unjug_ret@10 0.00000 C09-155 num_unjug_ret@100 19.00000 C09-155 num_unjug_ret@1000 628.00000 C09-155 num_rel 67.00000 C09-155 num_rel_ret 21.00000 C09-155 map 0.06879 C09-155 R-prec 0.14925 C09-155 bpref 0.25217 C09-155 recip_rank 0.50000 C09-155 ndcg 0.31379 C09-155 ndcg5 0.14547 C09-155 ndcg10 0.30585 C09-155 ndcg20 0.33729 C09-155 ERR 0.21664 C09-155 ERR10 0.21664 C09-155 ERR20 0.21664 C09-155 P1 0.00000 C09-155 P5 0.20000 C09-155 P10 0.30000 C09-155 P15 0.33333 C09-155 P20 0.40000 C09-155 P30 0.30000 C09-155 P50 0.20000 C09-155 P100 0.13000 C09-155 P200 0.09000 C09-155 P500 0.04200 C09-155 P1000 0.03093 C09-156 num_ret 905.00000 C09-156 num_unjug_ret@1 0.00000 C09-156 num_unjug_ret@10 1.00000 C09-156 num_unjug_ret@100 60.00000 C09-156 num_unjug_ret@1000 817.00000 C09-156 num_rel 108.00000 C09-156 num_rel_ret 49.00000 C09-156 map 0.12487 C09-156 R-prec 0.16667 C09-156 bpref 0.37037 C09-156 recip_rank 1.00000 C09-156 ndcg 0.17515 C09-156 ndcg5 0.02972 C09-156 ndcg10 0.06354 C09-156 ndcg20 0.12550 C09-156 ERR 0.11561 C09-156 ERR10 0.08829 C09-156 ERR20 0.11214 C09-156 P1 1.00000 C09-156 P5 0.20000 C09-156 P10 0.50000 C09-156 P15 0.66667 C09-156 P20 0.75000 C09-156 P30 0.56667 C09-156 P50 0.34000 C09-156 P100 0.18000 C09-156 P200 0.10000 C09-156 P500 0.08200 C09-156 P1000 0.05414 C09-157 num_ret 288.00000 C09-157 num_unjug_ret@1 0.00000 C09-157 num_unjug_ret@10 0.00000 C09-157 num_unjug_ret@100 10.00000 C09-157 num_unjug_ret@1000 241.00000 C09-157 num_rel 58.00000 C09-157 num_rel_ret 4.00000 C09-157 map 0.00050 C09-157 R-prec 0.00000 C09-157 bpref 0.03329 C09-157 recip_rank 0.00459 C09-157 ndcg 0.00810 C09-157 ndcg5 0.00000 C09-157 ndcg10 0.00000 C09-157 ndcg20 0.00000 C09-157 ERR 0.00349 C09-157 ERR10 0.00000 C09-157 ERR20 0.00000 C09-157 P1 0.00000 C09-157 P5 0.00000 C09-157 P10 0.00000 C09-157 P15 0.00000 C09-157 P20 0.00000 C09-157 P30 0.00000 C09-157 P50 0.00000 C09-157 P100 0.00000 C09-157 P200 0.00000 C09-157 P500 0.01389 C09-157 P1000 0.01389 C09-158 num_ret 966.00000 C09-158 num_unjug_ret@1 0.00000 C09-158 num_unjug_ret@10 0.00000 C09-158 num_unjug_ret@100 46.00000 C09-158 num_unjug_ret@1000 872.00000 C09-158 num_rel 131.00000 C09-158 num_rel_ret 68.00000 C09-158 map 0.40368 C09-158 R-prec 0.40458 C09-158 bpref 0.50797 C09-158 recip_rank 1.00000 C09-158 ndcg 0.33315 C09-158 ndcg5 0.06667 C09-158 ndcg10 0.18788 C09-158 ndcg20 0.18541 C09-158 ERR 0.21699 C09-158 ERR10 0.21687 C09-158 ERR20 0.21695 C09-158 P1 1.00000 C09-158 P5 1.00000 C09-158 P10 1.00000 C09-158 P15 1.00000 C09-158 P20 1.00000 C09-158 P30 1.00000 C09-158 P50 0.82000 C09-158 P100 0.53000 C09-158 P200 0.29000 C09-158 P500 0.13000 C09-158 P1000 0.07039 C09-159 num_ret 717.00000 C09-159 num_unjug_ret@1 0.00000 C09-159 num_unjug_ret@10 1.00000 C09-159 num_unjug_ret@100 45.00000 C09-159 num_unjug_ret@1000 669.00000 C09-159 num_rel 31.00000 C09-159 num_rel_ret 7.00000 C09-159 map 0.03107 C09-159 R-prec 0.12903 C09-159 bpref 0.14776 C09-159 recip_rank 0.12500 C09-159 ndcg 0.14049 C09-159 ndcg5 0.18887 C09-159 ndcg10 0.20559 C09-159 ndcg20 0.13268 C09-159 ERR 0.29215 C09-159 ERR10 0.29214 C09-159 ERR20 0.29214 C09-159 P1 0.00000 C09-159 P5 0.00000 C09-159 P10 0.10000 C09-159 P15 0.26667 C09-159 P20 0.20000 C09-159 P30 0.13333 C09-159 P50 0.10000 C09-159 P100 0.05000 C09-159 P200 0.02500 C09-159 P500 0.01400 C09-159 P1000 0.00976 C09-160 num_ret 935.00000 C09-160 num_unjug_ret@1 0.00000 C09-160 num_unjug_ret@10 0.00000 C09-160 num_unjug_ret@100 44.00000 C09-160 num_unjug_ret@1000 855.00000 C09-160 num_rel 6.00000 C09-160 num_rel_ret 2.00000 C09-160 map 0.00967 C09-160 R-prec 0.00000 C09-160 bpref 0.00000 C09-160 recip_rank 0.05556 C09-160 ndcg 0.02425 C09-160 ndcg5 0.00000 C09-160 ndcg10 0.01823 C09-160 ndcg20 0.01823 C09-160 ERR 0.00789 C09-160 ERR10 0.00781 C09-160 ERR20 0.00781 C09-160 P1 0.00000 C09-160 P5 0.00000 C09-160 P10 0.00000 C09-160 P15 0.00000 C09-160 P20 0.05000 C09-160 P30 0.03333 C09-160 P50 0.02000 C09-160 P100 0.01000 C09-160 P200 0.00500 C09-160 P500 0.00200 C09-160 P1000 0.00214 C09-161 num_ret 992.00000 C09-161 num_unjug_ret@1 0.00000 C09-161 num_unjug_ret@10 0.00000 C09-161 num_unjug_ret@100 61.00000 C09-161 num_unjug_ret@1000 935.00000 C09-161 num_rel 7.00000 C09-161 num_rel_ret 3.00000 C09-161 map 0.02417 C09-161 R-prec 0.14286 C09-161 bpref 0.02041 C09-161 recip_rank 0.14286 C09-161 ndcg 0.04485 C09-161 ndcg5 0.00000 C09-161 ndcg10 0.01764 C09-161 ndcg20 0.01764 C09-161 ERR 0.01000 C09-161 ERR10 0.00893 C09-161 ERR20 0.00893 C09-161 P1 0.00000 C09-161 P5 0.00000 C09-161 P10 0.10000 C09-161 P15 0.06667 C09-161 P20 0.05000 C09-161 P30 0.03333 C09-161 P50 0.02000 C09-161 P100 0.01000 C09-161 P200 0.01000 C09-161 P500 0.00600 C09-161 P1000 0.00302 C09-162 num_ret 902.00000 C09-162 num_unjug_ret@1 0.00000 C09-162 num_unjug_ret@10 2.00000 C09-162 num_unjug_ret@100 37.00000 C09-162 num_unjug_ret@1000 773.00000 C09-162 num_rel 32.00000 C09-162 num_rel_ret 4.00000 C09-162 map 0.01595 C09-162 R-prec 0.06250 C09-162 bpref 0.05469 C09-162 recip_rank 0.33333 C09-162 ndcg 0.12547 C09-162 ndcg5 0.16958 C09-162 ndcg10 0.12281 C09-162 ndcg20 0.12009 C09-162 ERR 0.31343 C09-162 ERR10 0.31250 C09-162 ERR20 0.31323 C09-162 P1 0.00000 C09-162 P5 0.20000 C09-162 P10 0.10000 C09-162 P15 0.06667 C09-162 P20 0.10000 C09-162 P30 0.06667 C09-162 P50 0.04000 C09-162 P100 0.03000 C09-162 P200 0.02000 C09-162 P500 0.00800 C09-162 P1000 0.00443 C09-163 num_ret 693.00000 C09-163 num_unjug_ret@1 0.00000 C09-163 num_unjug_ret@10 1.00000 C09-163 num_unjug_ret@100 28.00000 C09-163 num_unjug_ret@1000 618.00000 C09-163 num_rel 112.00000 C09-163 num_rel_ret 25.00000 C09-163 map 0.02353 C09-163 R-prec 0.08036 C09-163 bpref 0.15705 C09-163 recip_rank 0.14286 C09-163 ndcg 0.10727 C09-163 ndcg5 0.00875 C09-163 ndcg10 0.01520 C09-163 ndcg20 0.01439 C09-163 ERR 0.06388 C09-163 ERR10 0.02774 C09-163 ERR20 0.03383 C09-163 P1 0.00000 C09-163 P5 0.00000 C09-163 P10 0.30000 C09-163 P15 0.20000 C09-163 P20 0.20000 C09-163 P30 0.23333 C09-163 P50 0.14000 C09-163 P100 0.09000 C09-163 P200 0.05500 C09-163 P500 0.04000 C09-163 P1000 0.03608 C09-164 num_ret 913.00000 C09-164 num_unjug_ret@1 0.00000 C09-164 num_unjug_ret@10 2.00000 C09-164 num_unjug_ret@100 66.00000 C09-164 num_unjug_ret@1000 867.00000 C09-164 num_rel 78.00000 C09-164 num_rel_ret 15.00000 C09-164 map 0.03299 C09-164 R-prec 0.08974 C09-164 bpref 0.14201 C09-164 recip_rank 0.20000 C09-164 ndcg 0.17802 C09-164 ndcg5 0.13121 C09-164 ndcg10 0.23297 C09-164 ndcg20 0.22284 C09-164 ERR 0.19774 C09-164 ERR10 0.19772 C09-164 ERR20 0.19774 C09-164 P1 0.00000 C09-164 P5 0.20000 C09-164 P10 0.30000 C09-164 P15 0.26667 C09-164 P20 0.25000 C09-164 P30 0.20000 C09-164 P50 0.14000 C09-164 P100 0.09000 C09-164 P200 0.07000 C09-164 P500 0.02800 C09-164 P1000 0.01643 C09-165 num_ret 751.00000 C09-165 num_unjug_ret@1 0.00000 C09-165 num_unjug_ret@10 0.00000 C09-165 num_unjug_ret@100 29.00000 C09-165 num_unjug_ret@1000 683.00000 C09-165 num_rel 31.00000 C09-165 num_rel_ret 2.00000 C09-165 map 0.00508 C09-165 R-prec 0.03226 C09-165 bpref 0.03434 C09-165 recip_rank 0.14286 C09-165 ndcg 0.13033 C09-165 ndcg5 0.21399 C09-165 ndcg10 0.15538 C09-165 ndcg20 0.12678 C09-165 ERR 0.46911 C09-165 ERR10 0.46875 C09-165 ERR20 0.46875 C09-165 P1 0.00000 C09-165 P5 0.00000 C09-165 P10 0.10000 C09-165 P15 0.06667 C09-165 P20 0.05000 C09-165 P30 0.03333 C09-165 P50 0.02000 C09-165 P100 0.01000 C09-165 P200 0.01000 C09-165 P500 0.00400 C09-165 P1000 0.00266 C09-166 num_ret 743.00000 C09-166 num_unjug_ret@1 0.00000 C09-166 num_unjug_ret@10 0.00000 C09-166 num_unjug_ret@100 21.00000 C09-166 num_unjug_ret@1000 677.00000 C09-166 num_rel 23.00000 C09-166 num_rel_ret 7.00000 C09-166 map 0.00404 C09-166 R-prec 0.00000 C09-166 bpref 0.00189 C09-166 recip_rank 0.01563 C09-166 ndcg 0.13137 C09-166 ndcg5 0.00000 C09-166 ndcg10 0.00000 C09-166 ndcg20 0.00000 C09-166 ERR 0.01281 C09-166 ERR10 0.00000 C09-166 ERR20 0.00000 C09-166 P1 0.00000 C09-166 P5 0.00000 C09-166 P10 0.00000 C09-166 P15 0.00000 C09-166 P20 0.00000 C09-166 P30 0.00000 C09-166 P50 0.00000 C09-166 P100 0.02000 C09-166 P200 0.01500 C09-166 P500 0.00800 C09-166 P1000 0.00942 C09-167 num_ret 907.00000 C09-167 num_unjug_ret@1 0.00000 C09-167 num_unjug_ret@10 0.00000 C09-167 num_unjug_ret@100 45.00000 C09-167 num_unjug_ret@1000 828.00000 C09-167 num_rel 58.00000 C09-167 num_rel_ret 16.00000 C09-167 map 0.02233 C09-167 R-prec 0.12069 C09-167 bpref 0.12455 C09-167 recip_rank 0.10000 C09-167 ndcg 0.13289 C09-167 ndcg5 0.00000 C09-167 ndcg10 0.01325 C09-167 ndcg20 0.02349 C09-167 ERR 0.05050 C09-167 ERR10 0.02083 C09-167 ERR20 0.03497 C09-167 P1 0.00000 C09-167 P5 0.00000 C09-167 P10 0.10000 C09-167 P15 0.13333 C09-167 P20 0.15000 C09-167 P30 0.10000 C09-167 P50 0.14000 C09-167 P100 0.07000 C09-167 P200 0.05500 C09-167 P500 0.02400 C09-167 P1000 0.01764 C09-168 num_ret 670.00000 C09-168 num_unjug_ret@1 0.00000 C09-168 num_unjug_ret@10 0.00000 C09-168 num_unjug_ret@100 48.00000 C09-168 num_unjug_ret@1000 628.00000 C09-168 num_rel 41.00000 C09-168 num_rel_ret 10.00000 C09-168 map 0.06405 C09-168 R-prec 0.24390 C09-168 bpref 0.20226 C09-168 recip_rank 0.08333 C09-168 ndcg 0.05275 C09-168 ndcg5 0.00875 C09-168 ndcg10 0.02466 C09-168 ndcg20 0.05379 C09-168 ERR 0.07995 C09-168 ERR10 0.04138 C09-168 ERR20 0.07973 C09-168 P1 0.00000 C09-168 P5 0.00000 C09-168 P10 0.00000 C09-168 P15 0.26667 C09-168 P20 0.30000 C09-168 P30 0.33333 C09-168 P50 0.20000 C09-168 P100 0.10000 C09-168 P200 0.05000 C09-168 P500 0.02000 C09-168 P1000 0.01493 C09-169 num_ret 525.00000 C09-169 num_unjug_ret@1 0.00000 C09-169 num_unjug_ret@10 5.00000 C09-169 num_unjug_ret@100 28.00000 C09-169 num_unjug_ret@1000 491.00000 C09-169 num_rel 103.00000 C09-169 num_rel_ret 7.00000 C09-169 map 0.00253 C09-169 R-prec 0.03883 C09-169 bpref 0.06004 C09-169 recip_rank 0.05263 C09-169 ndcg 0.06038 C09-169 ndcg5 0.00000 C09-169 ndcg10 0.00000 C09-169 ndcg20 0.00755 C09-169 ERR 0.02947 C09-169 ERR10 0.00000 C09-169 ERR20 0.00417 C09-169 P1 0.00000 C09-169 P5 0.00000 C09-169 P10 0.00000 C09-169 P15 0.00000 C09-169 P20 0.05000 C09-169 P30 0.03333 C09-169 P50 0.04000 C09-169 P100 0.04000 C09-169 P200 0.02500 C09-169 P500 0.01400 C09-169 P1000 0.01333 C09-170 num_ret 879.00000 C09-170 num_unjug_ret@1 0.00000 C09-170 num_unjug_ret@10 0.00000 C09-170 num_unjug_ret@100 46.00000 C09-170 num_unjug_ret@1000 784.00000 C09-170 num_rel 24.00000 C09-170 num_rel_ret 4.00000 C09-170 map 0.00366 C09-170 R-prec 0.04167 C09-170 bpref 0.02257 C09-170 recip_rank 0.04348 C09-170 ndcg 0.06842 C09-170 ndcg5 0.00000 C09-170 ndcg10 0.00000 C09-170 ndcg20 0.00406 C09-170 ERR 0.02129 C09-170 ERR10 0.00000 C09-170 ERR20 0.00521 C09-170 P1 0.00000 C09-170 P5 0.00000 C09-170 P10 0.00000 C09-170 P15 0.00000 C09-170 P20 0.00000 C09-170 P30 0.03333 C09-170 P50 0.02000 C09-170 P100 0.02000 C09-170 P200 0.01000 C09-170 P500 0.00600 C09-170 P1000 0.00455 C09-171 num_ret 746.00000 C09-171 num_unjug_ret@1 0.00000 C09-171 num_unjug_ret@10 1.00000 C09-171 num_unjug_ret@100 45.00000 C09-171 num_unjug_ret@1000 697.00000 C09-171 num_rel 82.00000 C09-171 num_rel_ret 11.00000 C09-171 map 0.01436 C09-171 R-prec 0.06098 C09-171 bpref 0.09622 C09-171 recip_rank 0.25000 C09-171 ndcg 0.06571 C09-171 ndcg5 0.01427 C09-171 ndcg10 0.00975 C09-171 ndcg20 0.01917 C09-171 ERR 0.06930 C09-171 ERR10 0.03125 C09-171 ERR20 0.04130 C09-171 P1 0.00000 C09-171 P5 0.20000 C09-171 P10 0.10000 C09-171 P15 0.06667 C09-171 P20 0.15000 C09-171 P30 0.13333 C09-171 P50 0.10000 C09-171 P100 0.05000 C09-171 P200 0.04500 C09-171 P500 0.02000 C09-171 P1000 0.01475 C09-172 num_ret 992.00000 C09-172 num_unjug_ret@1 0.00000 C09-172 num_unjug_ret@10 0.00000 C09-172 num_unjug_ret@100 34.00000 C09-172 num_unjug_ret@1000 865.00000 C09-172 num_rel 174.00000 C09-172 num_rel_ret 76.00000 C09-172 map 0.13652 C09-172 R-prec 0.28736 C09-172 bpref 0.37089 C09-172 recip_rank 0.11111 C09-172 ndcg 0.28833 C09-172 ndcg5 0.01848 C09-172 ndcg10 0.15662 C09-172 ndcg20 0.17204 C09-172 ERR 0.12975 C09-172 ERR10 0.12957 C09-172 ERR20 0.12975 C09-172 P1 0.00000 C09-172 P5 0.00000 C09-172 P10 0.20000 C09-172 P15 0.46667 C09-172 P20 0.35000 C09-172 P30 0.36667 C09-172 P50 0.36000 C09-172 P100 0.38000 C09-172 P200 0.27000 C09-172 P500 0.14400 C09-172 P1000 0.07661 C09-173 num_ret 819.00000 C09-173 num_unjug_ret@1 0.00000 C09-173 num_unjug_ret@10 0.00000 C09-173 num_unjug_ret@100 43.00000 C09-173 num_unjug_ret@1000 764.00000 C09-173 num_rel 64.00000 C09-173 num_rel_ret 24.00000 C09-173 map 0.09056 C09-173 R-prec 0.23438 C09-173 bpref 0.29395 C09-173 recip_rank 0.07692 C09-173 ndcg 0.34703 C09-173 ndcg5 0.14094 C09-173 ndcg10 0.22426 C09-173 ndcg20 0.30235 C09-173 ERR 0.19794 C09-173 ERR10 0.19776 C09-173 ERR20 0.19794 C09-173 P1 0.00000 C09-173 P5 0.00000 C09-173 P10 0.00000 C09-173 P15 0.20000 C09-173 P20 0.30000 C09-173 P30 0.40000 C09-173 P50 0.28000 C09-173 P100 0.19000 C09-173 P200 0.10000 C09-173 P500 0.04400 C09-173 P1000 0.02930 C09-174 num_ret 747.00000 C09-174 num_unjug_ret@1 0.00000 C09-174 num_unjug_ret@10 1.00000 C09-174 num_unjug_ret@100 25.00000 C09-174 num_unjug_ret@1000 653.00000 C09-174 num_rel 55.00000 C09-174 num_rel_ret 16.00000 C09-174 map 0.03686 C09-174 R-prec 0.09091 C09-174 bpref 0.12231 C09-174 recip_rank 0.33333 C09-174 ndcg 0.20583 C09-174 ndcg5 0.17932 C09-174 ndcg10 0.18751 C09-174 ndcg20 0.12101 C09-174 ERR 0.31983 C09-174 ERR10 0.31972 C09-174 ERR20 0.31972 C09-174 P1 0.00000 C09-174 P5 0.40000 C09-174 P10 0.20000 C09-174 P15 0.20000 C09-174 P20 0.20000 C09-174 P30 0.13333 C09-174 P50 0.10000 C09-174 P100 0.06000 C09-174 P200 0.06000 C09-174 P500 0.02600 C09-174 P1000 0.02142 C09-175 num_ret 694.00000 C09-175 num_unjug_ret@1 0.00000 C09-175 num_unjug_ret@10 0.00000 C09-175 num_unjug_ret@100 24.00000 C09-175 num_unjug_ret@1000 661.00000 C09-175 num_rel 121.00000 C09-175 num_rel_ret 4.00000 C09-175 map 0.01607 C09-175 R-prec 0.02479 C09-175 bpref 0.03183 C09-175 recip_rank 0.50000 C09-175 ndcg 0.06014 C09-175 ndcg5 0.22278 C09-175 ndcg10 0.14457 C09-175 ndcg20 0.09330 C09-175 ERR 0.29942 C09-175 ERR10 0.29926 C09-175 ERR20 0.29926 C09-175 P1 0.00000 C09-175 P5 0.60000 C09-175 P10 0.30000 C09-175 P15 0.20000 C09-175 P20 0.15000 C09-175 P30 0.10000 C09-175 P50 0.06000 C09-175 P100 0.03000 C09-175 P200 0.02000 C09-175 P500 0.00800 C09-175 P1000 0.00576 C09-176 num_ret 961.00000 C09-176 num_unjug_ret@1 0.00000 C09-176 num_unjug_ret@10 1.00000 C09-176 num_unjug_ret@100 63.00000 C09-176 num_unjug_ret@1000 903.00000 C09-176 num_rel 17.00000 C09-176 num_rel_ret 1.00000 C09-176 map 0.00015 C09-176 R-prec 0.00000 C09-176 bpref 0.00000 C09-176 recip_rank 0.00263 C09-176 ndcg 0.00599 C09-176 ndcg5 0.00000 C09-176 ndcg10 0.00000 C09-176 ndcg20 0.00000 C09-176 ERR 0.00050 C09-176 ERR10 0.00000 C09-176 ERR20 0.00000 C09-176 P1 0.00000 C09-176 P5 0.00000 C09-176 P10 0.00000 C09-176 P15 0.00000 C09-176 P20 0.00000 C09-176 P30 0.00000 C09-176 P50 0.00000 C09-176 P100 0.00000 C09-176 P200 0.00000 C09-176 P500 0.00200 C09-176 P1000 0.00104 C09-177 num_ret 982.00000 C09-177 num_unjug_ret@1 0.00000 C09-177 num_unjug_ret@10 1.00000 C09-177 num_unjug_ret@100 61.00000 C09-177 num_unjug_ret@1000 919.00000 C09-177 num_rel 44.00000 C09-177 num_rel_ret 19.00000 C09-177 map 0.11816 C09-177 R-prec 0.18182 C09-177 bpref 0.23657 C09-177 recip_rank 1.00000 C09-177 ndcg 0.39156 C09-177 ndcg5 0.61643 C09-177 ndcg10 0.46628 C09-177 ndcg20 0.41299 C09-177 ERR 0.10848 C09-177 ERR10 0.09386 C09-177 ERR20 0.10451 C09-177 P1 1.00000 C09-177 P5 0.60000 C09-177 P10 0.40000 C09-177 P15 0.40000 C09-177 P20 0.35000 C09-177 P30 0.23333 C09-177 P50 0.18000 C09-177 P100 0.10000 C09-177 P200 0.07500 C09-177 P500 0.03600 C09-177 P1000 0.01935 C09-178 num_ret 957.00000 C09-178 num_unjug_ret@1 0.00000 C09-178 num_unjug_ret@10 0.00000 C09-178 num_unjug_ret@100 42.00000 C09-178 num_unjug_ret@1000 869.00000 C09-178 num_rel 53.00000 C09-178 num_rel_ret 29.00000 C09-178 map 0.07149 C09-178 R-prec 0.13208 C09-178 bpref 0.15913 C09-178 recip_rank 0.25000 C09-178 ndcg 0.34059 C09-178 ndcg5 0.14607 C09-178 ndcg10 0.16815 C09-178 ndcg20 0.14403 C09-178 ERR 0.24300 C09-178 ERR10 0.24275 C09-178 ERR20 0.24299 C09-178 P1 0.00000 C09-178 P5 0.20000 C09-178 P10 0.20000 C09-178 P15 0.13333 C09-178 P20 0.15000 C09-178 P30 0.13333 C09-178 P50 0.12000 C09-178 P100 0.14000 C09-178 P200 0.11000 C09-178 P500 0.05600 C09-178 P1000 0.03030 C09-179 num_ret 815.00000 C09-179 num_unjug_ret@1 0.00000 C09-179 num_unjug_ret@10 3.00000 C09-179 num_unjug_ret@100 47.00000 C09-179 num_unjug_ret@1000 737.00000 C09-179 num_rel 11.00000 C09-179 num_rel_ret 7.00000 C09-179 map 0.01819 C09-179 R-prec 0.00000 C09-179 bpref 0.00000 C09-179 recip_rank 0.03125 C09-179 ndcg 0.08073 C09-179 ndcg5 0.00000 C09-179 ndcg10 0.00000 C09-179 ndcg20 0.00000 C09-179 ERR 0.00741 C09-179 ERR10 0.00000 C09-179 ERR20 0.00000 C09-179 P1 0.00000 C09-179 P5 0.00000 C09-179 P10 0.00000 C09-179 P15 0.00000 C09-179 P20 0.00000 C09-179 P30 0.00000 C09-179 P50 0.04000 C09-179 P100 0.03000 C09-179 P200 0.02000 C09-179 P500 0.01200 C09-179 P1000 0.00859 C09-180 num_ret 975.00000 C09-180 num_unjug_ret@1 0.00000 C09-180 num_unjug_ret@10 0.00000 C09-180 num_unjug_ret@100 66.00000 C09-180 num_unjug_ret@1000 929.00000 C09-180 num_rel 71.00000 C09-180 num_rel_ret 6.00000 C09-180 map 0.01386 C09-180 R-prec 0.04225 C09-180 bpref 0.06031 C09-180 recip_rank 0.50000 C09-180 ndcg 0.02133 C09-180 ndcg5 0.01427 C09-180 ndcg10 0.01056 C09-180 ndcg20 0.01822 C09-180 ERR 0.04134 C09-180 ERR10 0.03125 C09-180 ERR20 0.04036 C09-180 P1 0.00000 C09-180 P5 0.20000 C09-180 P10 0.10000 C09-180 P15 0.20000 C09-180 P20 0.15000 C09-180 P30 0.10000 C09-180 P50 0.06000 C09-180 P100 0.04000 C09-180 P200 0.02000 C09-180 P500 0.01000 C09-180 P1000 0.00615 C09-181 num_ret 668.00000 C09-181 num_unjug_ret@1 0.00000 C09-181 num_unjug_ret@10 0.00000 C09-181 num_unjug_ret@100 45.00000 C09-181 num_unjug_ret@1000 622.00000 C09-181 num_rel 30.00000 C09-181 num_rel_ret 4.00000 C09-181 map 0.04095 C09-181 R-prec 0.13333 C09-181 bpref 0.11000 C09-181 recip_rank 0.20000 C09-181 ndcg 0.04146 C09-181 ndcg5 0.01501 C09-181 ndcg10 0.03932 C09-181 ndcg20 0.04440 C09-181 ERR 0.03355 C09-181 ERR10 0.03011 C09-181 ERR20 0.03355 C09-181 P1 0.00000 C09-181 P5 0.20000 C09-181 P10 0.30000 C09-181 P15 0.26667 C09-181 P20 0.20000 C09-181 P30 0.13333 C09-181 P50 0.08000 C09-181 P100 0.04000 C09-181 P200 0.02000 C09-181 P500 0.00800 C09-181 P1000 0.00599 C09-182 num_ret 985.00000 C09-182 num_unjug_ret@1 0.00000 C09-182 num_unjug_ret@10 0.00000 C09-182 num_unjug_ret@100 51.00000 C09-182 num_unjug_ret@1000 880.00000 C09-182 num_rel 253.00000 C09-182 num_rel_ret 67.00000 C09-182 map 0.12493 C09-182 R-prec 0.18577 C09-182 bpref 0.23827 C09-182 recip_rank 1.00000 C09-182 ndcg 0.24656 C09-182 ndcg5 0.44216 C09-182 ndcg10 0.32615 C09-182 ndcg20 0.28545 C09-182 ERR 0.52074 C09-182 ERR10 0.52062 C09-182 ERR20 0.52074 C09-182 P1 1.00000 C09-182 P5 1.00000 C09-182 P10 0.90000 C09-182 P15 0.86667 C09-182 P20 0.80000 C09-182 P30 0.73333 C09-182 P50 0.56000 C09-182 P100 0.33000 C09-182 P200 0.21000 C09-182 P500 0.11800 C09-182 P1000 0.06802 C09-183 num_ret 902.00000 C09-183 num_unjug_ret@1 0.00000 C09-183 num_unjug_ret@10 1.00000 C09-183 num_unjug_ret@100 45.00000 C09-183 num_unjug_ret@1000 848.00000 C09-183 num_rel 31.00000 C09-183 num_rel_ret 4.00000 C09-183 map 0.00889 C09-183 R-prec 0.06452 C09-183 bpref 0.05203 C09-183 recip_rank 0.10000 C09-183 ndcg 0.02219 C09-183 ndcg5 0.00000 C09-183 ndcg10 0.00555 C09-183 ndcg20 0.00529 C09-183 ERR 0.01483 C09-183 ERR10 0.00625 C09-183 ERR20 0.00625 C09-183 P1 0.00000 C09-183 P5 0.00000 C09-183 P10 0.10000 C09-183 P15 0.06667 C09-183 P20 0.05000 C09-183 P30 0.06667 C09-183 P50 0.04000 C09-183 P100 0.04000 C09-183 P200 0.02000 C09-183 P500 0.00800 C09-183 P1000 0.00443 C09-184 num_ret 394.00000 C09-184 num_unjug_ret@1 0.00000 C09-184 num_unjug_ret@10 0.00000 C09-184 num_unjug_ret@100 20.00000 C09-184 num_unjug_ret@1000 385.00000 C09-184 num_rel 69.00000 C09-184 num_rel_ret 2.00000 C09-184 map 0.00751 C09-184 R-prec 0.01449 C09-184 bpref 0.02878 C09-184 recip_rank 0.50000 C09-184 ndcg 0.08399 C09-184 ndcg5 0.33916 C09-184 ndcg10 0.22009 C09-184 ndcg20 0.14204 C09-184 ERR 0.93945 C09-184 ERR10 0.93750 C09-184 ERR20 0.93750 C09-184 P1 0.00000 C09-184 P5 0.20000 C09-184 P10 0.10000 C09-184 P15 0.06667 C09-184 P20 0.05000 C09-184 P30 0.03333 C09-184 P50 0.02000 C09-184 P100 0.01000 C09-184 P200 0.01000 C09-184 P500 0.00508 C09-184 P1000 0.00508 C09-185 num_ret 963.00000 C09-185 num_unjug_ret@1 0.00000 C09-185 num_unjug_ret@10 0.00000 C09-185 num_unjug_ret@100 65.00000 C09-185 num_unjug_ret@1000 894.00000 C09-185 num_rel 81.00000 C09-185 num_rel_ret 27.00000 C09-185 map 0.04102 C09-185 R-prec 0.14815 C09-185 bpref 0.22588 C09-185 recip_rank 0.12500 C09-185 ndcg 0.27440 C09-185 ndcg5 0.00000 C09-185 ndcg10 0.06943 C09-185 ndcg20 0.16144 C09-185 ERR 0.12230 C09-185 ERR10 0.11719 C09-185 ERR20 0.12230 C09-185 P1 0.00000 C09-185 P5 0.00000 C09-185 P10 0.10000 C09-185 P15 0.13333 C09-185 P20 0.25000 C09-185 P30 0.20000 C09-185 P50 0.16000 C09-185 P100 0.12000 C09-185 P200 0.09500 C09-185 P500 0.04400 C09-185 P1000 0.02804 C09-186 num_ret 894.00000 C09-186 num_unjug_ret@1 0.00000 C09-186 num_unjug_ret@10 0.00000 C09-186 num_unjug_ret@100 31.00000 C09-186 num_unjug_ret@1000 809.00000 C09-186 num_rel 202.00000 C09-186 num_rel_ret 36.00000 C09-186 map 0.03133 C09-186 R-prec 0.08416 C09-186 bpref 0.14278 C09-186 recip_rank 0.50000 C09-186 ndcg 0.03457 C09-186 ndcg5 0.02557 C09-186 ndcg10 0.03113 C09-186 ndcg20 0.02265 C09-186 ERR 0.08715 C09-186 ERR10 0.07266 C09-186 ERR20 0.07643 C09-186 P1 0.00000 C09-186 P5 0.40000 C09-186 P10 0.50000 C09-186 P15 0.40000 C09-186 P20 0.30000 C09-186 P30 0.23333 C09-186 P50 0.14000 C09-186 P100 0.14000 C09-186 P200 0.08500 C09-186 P500 0.05400 C09-186 P1000 0.04027 C09-187 num_ret 798.00000 C09-187 num_unjug_ret@1 0.00000 C09-187 num_unjug_ret@10 0.00000 C09-187 num_unjug_ret@100 25.00000 C09-187 num_unjug_ret@1000 698.00000 C09-187 num_rel 45.00000 C09-187 num_rel_ret 16.00000 C09-187 map 0.02694 C09-187 R-prec 0.06667 C09-187 bpref 0.05432 C09-187 recip_rank 0.08333 C09-187 ndcg 0.19001 C09-187 ndcg5 0.00000 C09-187 ndcg10 0.00000 C09-187 ndcg20 0.00619 C09-187 ERR 0.02531 C09-187 ERR10 0.00000 C09-187 ERR20 0.00521 C09-187 P1 0.00000 C09-187 P5 0.00000 C09-187 P10 0.00000 C09-187 P15 0.06667 C09-187 P20 0.05000 C09-187 P30 0.10000 C09-187 P50 0.06000 C09-187 P100 0.08000 C09-187 P200 0.05500 C09-187 P500 0.03000 C09-187 P1000 0.02005 C09-188 num_ret 848.00000 C09-188 num_unjug_ret@1 0.00000 C09-188 num_unjug_ret@10 2.00000 C09-188 num_unjug_ret@100 39.00000 C09-188 num_unjug_ret@1000 796.00000 C09-188 num_rel 15.00000 C09-188 num_rel_ret 4.00000 C09-188 map 0.03708 C09-188 R-prec 0.13333 C09-188 bpref 0.10222 C09-188 recip_rank 0.25000 C09-188 ndcg 0.03701 C09-188 ndcg5 0.01670 C09-188 ndcg10 0.02725 C09-188 ndcg20 0.02600 C09-188 ERR 0.02429 C09-188 ERR10 0.02295 C09-188 ERR20 0.02295 C09-188 P1 0.00000 C09-188 P5 0.20000 C09-188 P10 0.20000 C09-188 P15 0.13333 C09-188 P20 0.10000 C09-188 P30 0.06667 C09-188 P50 0.04000 C09-188 P100 0.02000 C09-188 P200 0.02000 C09-188 P500 0.00800 C09-188 P1000 0.00472 C09-189 num_ret 884.00000 C09-189 num_unjug_ret@1 0.00000 C09-189 num_unjug_ret@10 0.00000 C09-189 num_unjug_ret@100 61.00000 C09-189 num_unjug_ret@1000 831.00000 C09-189 num_rel 27.00000 C09-189 num_rel_ret 9.00000 C09-189 map 0.01982 C09-189 R-prec 0.00000 C09-189 bpref 0.01509 C09-189 recip_rank 0.03448 C09-189 ndcg 0.12779 C09-189 ndcg5 0.00000 C09-189 ndcg10 0.00000 C09-189 ndcg20 0.00000 C09-189 ERR 0.01610 C09-189 ERR10 0.00000 C09-189 ERR20 0.00000 C09-189 P1 0.00000 C09-189 P5 0.00000 C09-189 P10 0.00000 C09-189 P15 0.00000 C09-189 P20 0.00000 C09-189 P30 0.06667 C09-189 P50 0.06000 C09-189 P100 0.04000 C09-189 P200 0.04500 C09-189 P500 0.01800 C09-189 P1000 0.01018 C09-190 num_ret 824.00000 C09-190 num_unjug_ret@1 0.00000 C09-190 num_unjug_ret@10 1.00000 C09-190 num_unjug_ret@100 46.00000 C09-190 num_unjug_ret@1000 764.00000 C09-190 num_rel 20.00000 C09-190 num_rel_ret 1.00000 C09-190 map 0.02500 C09-190 R-prec 0.05000 C09-190 bpref 0.04750 C09-190 recip_rank 0.50000 C09-190 ndcg 0.01011 C09-190 ndcg5 0.01427 C09-190 ndcg10 0.01053 C09-190 ndcg20 0.01011 C09-190 ERR 0.03125 C09-190 ERR10 0.03125 C09-190 ERR20 0.03125 C09-190 P1 0.00000 C09-190 P5 0.20000 C09-190 P10 0.10000 C09-190 P15 0.06667 C09-190 P20 0.05000 C09-190 P30 0.03333 C09-190 P50 0.02000 C09-190 P100 0.01000 C09-190 P200 0.00500 C09-190 P500 0.00200 C09-190 P1000 0.00121 C09-191 num_ret 800.00000 C09-191 num_unjug_ret@1 0.00000 C09-191 num_unjug_ret@10 1.00000 C09-191 num_unjug_ret@100 56.00000 C09-191 num_unjug_ret@1000 748.00000 C09-191 num_rel 30.00000 C09-191 num_rel_ret 11.00000 C09-191 map 0.10215 C09-191 R-prec 0.23333 C09-191 bpref 0.22111 C09-191 recip_rank 0.50000 C09-191 ndcg 0.18552 C09-191 ndcg5 0.16033 C09-191 ndcg10 0.18669 C09-191 ndcg20 0.14280 C09-191 ERR 0.26028 C09-191 ERR10 0.26015 C09-191 ERR20 0.26015 C09-191 P1 0.00000 C09-191 P5 0.40000 C09-191 P10 0.40000 C09-191 P15 0.26667 C09-191 P20 0.20000 C09-191 P30 0.23333 C09-191 P50 0.18000 C09-191 P100 0.09000 C09-191 P200 0.05000 C09-191 P500 0.02200 C09-191 P1000 0.01375 C09-192 num_ret 993.00000 C09-192 num_unjug_ret@1 0.00000 C09-192 num_unjug_ret@10 1.00000 C09-192 num_unjug_ret@100 71.00000 C09-192 num_unjug_ret@1000 904.00000 C09-192 num_rel 105.00000 C09-192 num_rel_ret 32.00000 C09-192 map 0.04964 C09-192 R-prec 0.12381 C09-192 bpref 0.22594 C09-192 recip_rank 0.33333 C09-192 ndcg 0.23166 C09-192 ndcg5 0.02005 C09-192 ndcg10 0.08351 C09-192 ndcg20 0.12227 C09-192 ERR 0.12783 C09-192 ERR10 0.12445 C09-192 ERR20 0.12783 C09-192 P1 0.00000 C09-192 P5 0.40000 C09-192 P10 0.40000 C09-192 P15 0.33333 C09-192 P20 0.30000 C09-192 P30 0.26667 C09-192 P50 0.16000 C09-192 P100 0.12000 C09-192 P200 0.11000 C09-192 P500 0.06400 C09-192 P1000 0.03223 C09-193 num_ret 989.00000 C09-193 num_unjug_ret@1 0.00000 C09-193 num_unjug_ret@10 0.00000 C09-193 num_unjug_ret@100 58.00000 C09-193 num_unjug_ret@1000 920.00000 C09-193 num_rel 93.00000 C09-193 num_rel_ret 20.00000 C09-193 map 0.06644 C09-193 R-prec 0.15054 C09-193 bpref 0.17331 C09-193 recip_rank 1.00000 C09-193 ndcg 0.14569 C09-193 ndcg5 0.10724 C09-193 ndcg10 0.11360 C09-193 ndcg20 0.14678 C09-193 ERR 0.11047 C09-193 ERR10 0.09328 C09-193 ERR20 0.10458 C09-193 P1 1.00000 C09-193 P5 0.60000 C09-193 P10 0.40000 C09-193 P15 0.40000 C09-193 P20 0.40000 C09-193 P30 0.33333 C09-193 P50 0.22000 C09-193 P100 0.15000 C09-193 P200 0.08000 C09-193 P500 0.03600 C09-193 P1000 0.02022 C09-194 num_ret 690.00000 C09-194 num_unjug_ret@1 0.00000 C09-194 num_unjug_ret@10 0.00000 C09-194 num_unjug_ret@100 22.00000 C09-194 num_unjug_ret@1000 644.00000 C09-194 num_rel 47.00000 C09-194 num_rel_ret 1.00000 C09-194 map 0.00039 C09-194 R-prec 0.00000 C09-194 bpref 0.01856 C09-194 recip_rank 0.01852 C09-194 ndcg 0.00685 C09-194 ndcg5 0.00000 C09-194 ndcg10 0.00841 C09-194 ndcg20 0.00784 C09-194 ERR 0.00625 C09-194 ERR10 0.00625 C09-194 ERR20 0.00625 C09-194 P1 0.00000 C09-194 P5 0.00000 C09-194 P10 0.00000 C09-194 P15 0.00000 C09-194 P20 0.00000 C09-194 P30 0.00000 C09-194 P50 0.00000 C09-194 P100 0.01000 C09-194 P200 0.00500 C09-194 P500 0.00200 C09-194 P1000 0.00145 C09-195 num_ret 985.00000 C09-195 num_unjug_ret@1 0.00000 C09-195 num_unjug_ret@10 0.00000 C09-195 num_unjug_ret@100 43.00000 C09-195 num_unjug_ret@1000 906.00000 C09-195 num_rel 24.00000 C09-195 num_rel_ret 3.00000 C09-195 map 0.00228 C09-195 R-prec 0.00000 C09-195 bpref 0.00694 C09-195 recip_rank 0.03333 C09-195 ndcg 0.05810 C09-195 ndcg5 0.00000 C09-195 ndcg10 0.00000 C09-195 ndcg20 0.00000 C09-195 ERR 0.00268 C09-195 ERR10 0.00000 C09-195 ERR20 0.00000 C09-195 P1 0.00000 C09-195 P5 0.00000 C09-195 P10 0.00000 C09-195 P15 0.00000 C09-195 P20 0.00000 C09-195 P30 0.03333 C09-195 P50 0.02000 C09-195 P100 0.01000 C09-195 P200 0.01000 C09-195 P500 0.00600 C09-195 P1000 0.00305 C09-196 num_ret 921.00000 C09-196 num_unjug_ret@1 0.00000 C09-196 num_unjug_ret@10 0.00000 C09-196 num_unjug_ret@100 50.00000 C09-196 num_unjug_ret@1000 864.00000 C09-196 num_rel 122.00000 C09-196 num_rel_ret 37.00000 C09-196 map 0.18692 C09-196 R-prec 0.27049 C09-196 bpref 0.29120 C09-196 recip_rank 0.50000 C09-196 ndcg 0.11869 C09-196 ndcg5 0.04406 C09-196 ndcg10 0.04775 C09-196 ndcg20 0.09945 C09-196 ERR 0.13406 C09-196 ERR10 0.09905 C09-196 ERR20 0.13361 C09-196 P1 0.00000 C09-196 P5 0.80000 C09-196 P10 0.80000 C09-196 P15 0.80000 C09-196 P20 0.80000 C09-196 P30 0.63333 C09-196 P50 0.52000 C09-196 P100 0.31000 C09-196 P200 0.18500 C09-196 P500 0.07400 C09-196 P1000 0.04017 C09-197 num_ret 676.00000 C09-197 num_unjug_ret@1 0.00000 C09-197 num_unjug_ret@10 0.00000 C09-197 num_unjug_ret@100 20.00000 C09-197 num_unjug_ret@1000 628.00000 C09-197 num_rel 113.00000 C09-197 num_rel_ret 20.00000 C09-197 map 0.04290 C09-197 R-prec 0.14159 C09-197 bpref 0.15937 C09-197 recip_rank 1.00000 C09-197 ndcg 0.22425 C09-197 ndcg5 0.22817 C09-197 ndcg10 0.14806 C09-197 ndcg20 0.31726 C09-197 ERR 0.39572 C09-197 ERR10 0.39142 C09-197 ERR20 0.39572 C09-197 P1 1.00000 C09-197 P5 0.40000 C09-197 P10 0.20000 C09-197 P15 0.13333 C09-197 P20 0.10000 C09-197 P30 0.10000 C09-197 P50 0.22000 C09-197 P100 0.15000 C09-197 P200 0.08000 C09-197 P500 0.04000 C09-197 P1000 0.02959 C09-198 num_ret 751.00000 C09-198 num_unjug_ret@1 1.00000 C09-198 num_unjug_ret@10 1.00000 C09-198 num_unjug_ret@100 38.00000 C09-198 num_unjug_ret@1000 677.00000 C09-198 num_rel 58.00000 C09-198 num_rel_ret 32.00000 C09-198 map 0.16659 C09-198 R-prec 0.22414 C09-198 bpref 0.40339 C09-198 recip_rank 0.50000 C09-198 ndcg 0.21399 C09-198 ndcg5 0.03432 C09-198 ndcg10 0.13658 C09-198 ndcg20 0.14517 C09-198 ERR 0.16336 C09-198 ERR10 0.16211 C09-198 ERR20 0.16276 C09-198 P1 0.00000 C09-198 P5 0.60000 C09-198 P10 0.60000 C09-198 P15 0.53333 C09-198 P20 0.45000 C09-198 P30 0.30000 C09-198 P50 0.22000 C09-198 P100 0.17000 C09-198 P200 0.13500 C09-198 P500 0.05800 C09-198 P1000 0.04261 C09-199 num_ret 176.00000 C09-199 num_unjug_ret@1 0.00000 C09-199 num_unjug_ret@10 0.00000 C09-199 num_unjug_ret@100 42.00000 C09-199 num_unjug_ret@1000 97.00000 C09-199 num_rel 194.00000 C09-199 num_rel_ret 20.00000 C09-199 map 0.01207 C09-199 R-prec 0.00000 C09-199 bpref 0.08327 C09-199 recip_rank 0.33333 C09-199 ndcg 0.06440 C09-199 ndcg5 0.01131 C09-199 ndcg10 0.00734 C09-199 ndcg20 0.00530 C09-199 ERR 0.04008 C09-199 ERR10 0.02083 C09-199 ERR20 0.02083 C09-199 P1 0.00000 C09-199 P5 0.20000 C09-199 P10 0.10000 C09-199 P15 0.06667 C09-199 P20 0.05000 C09-199 P30 0.06667 C09-199 P50 0.04000 C09-199 P100 0.10000 C09-199 P200 0.11364 C09-199 P500 0.11364 C09-199 P1000 0.11364 C09-200 num_ret 412.00000 C09-200 num_unjug_ret@1 0.00000 C09-200 num_unjug_ret@10 0.00000 C09-200 num_unjug_ret@100 13.00000 C09-200 num_unjug_ret@1000 370.00000 C09-200 num_rel 26.00000 C09-200 num_rel_ret 5.00000 C09-200 map 0.00584 C09-200 R-prec 0.00000 C09-200 bpref 0.07249 C09-200 recip_rank 0.03571 C09-200 ndcg 0.10736 C09-200 ndcg5 0.00000 C09-200 ndcg10 0.00000 C09-200 ndcg20 0.01470 C09-200 ERR 0.04277 C09-200 ERR10 0.00000 C09-200 ERR20 0.00972 C09-200 P1 0.00000 C09-200 P5 0.00000 C09-200 P10 0.00000 C09-200 P15 0.00000 C09-200 P20 0.00000 C09-200 P30 0.03333 C09-200 P50 0.02000 C09-200 P100 0.03000 C09-200 P200 0.02000 C09-200 P500 0.00971 C09-200 P1000 0.01214 all queries 200.00000 all num_ret 157198.00000 all num_unjug_ret@1 6.00000 all num_unjug_ret@10 220.00000 all num_unjug_ret@100 8567.00000 all num_unjug_ret@1000 143524.00000 all num_rel 18771.00000 all num_rel_ret 3927.00000 all map 0.05083 all R-prec 0.10144 all bpref 0.13329 all recip_rank 0.40182 all ndcg 0.16329 all ndcg5 0.18421 all ndcg10 0.17547 all ndcg20 0.16220 all ERR 0.12425 all ERR10 0.11198 all ERR20 0.11870 all P1 0.28283 all P5 0.26162 all P10 0.22778 all P15 0.21751 all P20 0.20379 all P30 0.18502 all P50 0.15071 all P100 0.10820 all P200 0.07037 all P500 0.03755 all P1000 0.02715