C09-1 num_ret 1000.00000 C09-1 num_unjug_ret@1 1.00000 C09-1 num_unjug_ret@10 5.00000 C09-1 num_unjug_ret@20 12.00000 C09-1 num_unjug_ret@100 71.00000 C09-1 num_unjug_ret@1000 917.00000 C09-1 num_rel 112.00000 C09-1 num_rel_ret 37.00000 C09-1 map 0.08634 C09-1 R-prec 0.25000 C09-1 bpref 0.31425 C09-1 recip_rank 0.50000 C09-1 ndcg 0.25097 C09-1 ndcg5 0.38698 C09-1 ndcg10 0.27233 C09-1 ndcg20 0.20002 C09-1 ERR 0.14183 C09-1 ERR10 0.12942 C09-1 ERR20 0.13447 C09-1 P1 0.00000 C09-1 P5 0.60000 C09-1 P10 0.40000 C09-1 P15 0.40000 C09-1 P20 0.30000 C09-1 P30 0.23333 C09-1 P50 0.18000 C09-1 P100 0.25000 C09-1 P200 0.17500 C09-1 P500 0.07000 C09-1 P1000 0.03700 C09-2 num_ret 1000.00000 C09-2 num_unjug_ret@1 0.00000 C09-2 num_unjug_ret@10 1.00000 C09-2 num_unjug_ret@20 2.00000 C09-2 num_unjug_ret@100 44.00000 C09-2 num_unjug_ret@1000 879.00000 C09-2 num_rel 148.00000 C09-2 num_rel_ret 63.00000 C09-2 map 0.22436 C09-2 R-prec 0.28378 C09-2 bpref 0.38322 C09-2 recip_rank 1.00000 C09-2 ndcg 0.43571 C09-2 ndcg5 0.55944 C09-2 ndcg10 0.49978 C09-2 ndcg20 0.48915 C09-2 ERR 0.29739 C09-2 ERR10 0.27371 C09-2 ERR20 0.29194 C09-2 P1 1.00000 C09-2 P5 1.00000 C09-2 P10 0.90000 C09-2 P15 0.86667 C09-2 P20 0.85000 C09-2 P30 0.80000 C09-2 P50 0.62000 C09-2 P100 0.38000 C09-2 P200 0.21000 C09-2 P500 0.10800 C09-2 P1000 0.06300 C09-3 num_ret 1000.00000 C09-3 num_unjug_ret@1 0.00000 C09-3 num_unjug_ret@10 5.00000 C09-3 num_unjug_ret@20 10.00000 C09-3 num_unjug_ret@100 79.00000 C09-3 num_unjug_ret@1000 929.00000 C09-3 num_rel 151.00000 C09-3 num_rel_ret 39.00000 C09-3 map 0.05406 C09-3 R-prec 0.13245 C09-3 bpref 0.23306 C09-3 recip_rank 1.00000 C09-3 ndcg 0.34048 C09-3 ndcg5 0.63995 C09-3 ndcg10 0.47890 C09-3 ndcg20 0.36053 C09-3 ERR 0.28943 C09-3 ERR10 0.27309 C09-3 ERR20 0.28200 C09-3 P1 1.00000 C09-3 P5 0.60000 C09-3 P10 0.40000 C09-3 P15 0.40000 C09-3 P20 0.30000 C09-3 P30 0.23333 C09-3 P50 0.28000 C09-3 P100 0.16000 C09-3 P200 0.11500 C09-3 P500 0.06200 C09-3 P1000 0.03900 C09-4 num_ret 1000.00000 C09-4 num_unjug_ret@1 0.00000 C09-4 num_unjug_ret@10 1.00000 C09-4 num_unjug_ret@20 2.00000 C09-4 num_unjug_ret@100 49.00000 C09-4 num_unjug_ret@1000 895.00000 C09-4 num_rel 56.00000 C09-4 num_rel_ret 6.00000 C09-4 map 0.00642 C09-4 R-prec 0.07143 C09-4 bpref 0.03540 C09-4 recip_rank 0.03125 C09-4 ndcg 0.06643 C09-4 ndcg5 0.00000 C09-4 ndcg10 0.00000 C09-4 ndcg20 0.00000 C09-4 ERR 0.01552 C09-4 ERR10 0.00000 C09-4 ERR20 0.00000 C09-4 P1 0.00000 C09-4 P5 0.00000 C09-4 P10 0.00000 C09-4 P15 0.00000 C09-4 P20 0.00000 C09-4 P30 0.00000 C09-4 P50 0.06000 C09-4 P100 0.05000 C09-4 P200 0.03000 C09-4 P500 0.01200 C09-4 P1000 0.00600 C09-5 num_ret 1000.00000 C09-5 num_unjug_ret@1 0.00000 C09-5 num_unjug_ret@10 4.00000 C09-5 num_unjug_ret@20 11.00000 C09-5 num_unjug_ret@100 71.00000 C09-5 num_unjug_ret@1000 913.00000 C09-5 num_rel 57.00000 C09-5 num_rel_ret 6.00000 C09-5 map 0.03539 C09-5 R-prec 0.07018 C09-5 bpref 0.07910 C09-5 recip_rank 1.00000 C09-5 ndcg 0.18358 C09-5 ndcg5 0.23037 C09-5 ndcg10 0.18329 C09-5 ndcg20 0.28324 C09-5 ERR 0.09725 C09-5 ERR10 0.07715 C09-5 ERR20 0.09680 C09-5 P1 1.00000 C09-5 P5 0.40000 C09-5 P10 0.20000 C09-5 P15 0.20000 C09-5 P20 0.20000 C09-5 P30 0.13333 C09-5 P50 0.08000 C09-5 P100 0.04000 C09-5 P200 0.02500 C09-5 P500 0.01200 C09-5 P1000 0.00600 C09-6 num_ret 1000.00000 C09-6 num_unjug_ret@1 0.00000 C09-6 num_unjug_ret@10 1.00000 C09-6 num_unjug_ret@20 2.00000 C09-6 num_unjug_ret@100 41.00000 C09-6 num_unjug_ret@1000 864.00000 C09-6 num_rel 48.00000 C09-6 num_rel_ret 32.00000 C09-6 map 0.09119 C09-6 R-prec 0.25000 C09-6 bpref 0.16840 C09-6 recip_rank 0.06250 C09-6 ndcg 0.35870 C09-6 ndcg5 0.00000 C09-6 ndcg10 0.00000 C09-6 ndcg20 0.04709 C09-6 ERR 0.03442 C09-6 ERR10 0.00000 C09-6 ERR20 0.01312 C09-6 P1 0.00000 C09-6 P5 0.00000 C09-6 P10 0.00000 C09-6 P15 0.00000 C09-6 P20 0.20000 C09-6 P30 0.33333 C09-6 P50 0.24000 C09-6 P100 0.12000 C09-6 P200 0.10500 C09-6 P500 0.04800 C09-6 P1000 0.03200 C09-7 num_ret 1000.00000 C09-7 num_unjug_ret@1 0.00000 C09-7 num_unjug_ret@10 7.00000 C09-7 num_unjug_ret@20 16.00000 C09-7 num_unjug_ret@100 87.00000 C09-7 num_unjug_ret@1000 969.00000 C09-7 num_rel 84.00000 C09-7 num_rel_ret 10.00000 C09-7 map 0.00463 C09-7 R-prec 0.03571 C09-7 bpref 0.09311 C09-7 recip_rank 0.12500 C09-7 ndcg 0.07588 C09-7 ndcg5 0.00000 C09-7 ndcg10 0.06943 C09-7 ndcg20 0.05559 C09-7 ERR 0.03080 C09-7 ERR10 0.02344 C09-7 ERR20 0.02598 C09-7 P1 0.00000 C09-7 P5 0.00000 C09-7 P10 0.10000 C09-7 P15 0.06667 C09-7 P20 0.10000 C09-7 P30 0.06667 C09-7 P50 0.06000 C09-7 P100 0.03000 C09-7 P200 0.01500 C09-7 P500 0.00800 C09-7 P1000 0.01000 C09-8 num_ret 1000.00000 C09-8 num_unjug_ret@1 0.00000 C09-8 num_unjug_ret@10 2.00000 C09-8 num_unjug_ret@20 7.00000 C09-8 num_unjug_ret@100 76.00000 C09-8 num_unjug_ret@1000 939.00000 C09-8 num_rel 63.00000 C09-8 num_rel_ret 23.00000 C09-8 map 0.13941 C09-8 R-prec 0.19048 C09-8 bpref 0.31771 C09-8 recip_rank 1.00000 C09-8 ndcg 0.37967 C09-8 ndcg5 0.16174 C09-8 ndcg10 0.33751 C09-8 ndcg20 0.42340 C09-8 ERR 0.15819 C09-8 ERR10 0.13426 C09-8 ERR20 0.15720 C09-8 P1 1.00000 C09-8 P5 0.40000 C09-8 P10 0.60000 C09-8 P15 0.73333 C09-8 P20 0.55000 C09-8 P30 0.40000 C09-8 P50 0.24000 C09-8 P100 0.15000 C09-8 P200 0.09000 C09-8 P500 0.04200 C09-8 P1000 0.02300 C09-9 num_ret 1000.00000 C09-9 num_unjug_ret@1 0.00000 C09-9 num_unjug_ret@10 5.00000 C09-9 num_unjug_ret@20 15.00000 C09-9 num_unjug_ret@100 88.00000 C09-9 num_unjug_ret@1000 976.00000 C09-9 num_rel 134.00000 C09-9 num_rel_ret 16.00000 C09-9 map 0.03096 C09-9 R-prec 0.06716 C09-9 bpref 0.11567 C09-9 recip_rank 1.00000 C09-9 ndcg 0.11563 C09-9 ndcg5 0.33045 C09-9 ndcg10 0.23889 C09-9 ndcg20 0.15417 C09-9 ERR 0.14544 C09-9 ERR10 0.13937 C09-9 ERR20 0.13937 C09-9 P1 1.00000 C09-9 P5 0.60000 C09-9 P10 0.40000 C09-9 P15 0.26667 C09-9 P20 0.20000 C09-9 P30 0.16667 C09-9 P50 0.10000 C09-9 P100 0.08000 C09-9 P200 0.04500 C09-9 P500 0.03000 C09-9 P1000 0.01600 C09-10 num_ret 1000.00000 C09-10 num_unjug_ret@1 0.00000 C09-10 num_unjug_ret@10 8.00000 C09-10 num_unjug_ret@20 18.00000 C09-10 num_unjug_ret@100 88.00000 C09-10 num_unjug_ret@1000 960.00000 C09-10 num_rel 185.00000 C09-10 num_rel_ret 8.00000 C09-10 map 0.01080 C09-10 R-prec 0.03784 C09-10 bpref 0.04266 C09-10 recip_rank 1.00000 C09-10 ndcg 0.09124 C09-10 ndcg5 0.38785 C09-10 ndcg10 0.25169 C09-10 ndcg20 0.16243 C09-10 ERR 0.20502 C09-10 ERR10 0.20020 C09-10 ERR20 0.20020 C09-10 P1 1.00000 C09-10 P5 0.40000 C09-10 P10 0.20000 C09-10 P15 0.13333 C09-10 P20 0.10000 C09-10 P30 0.10000 C09-10 P50 0.08000 C09-10 P100 0.07000 C09-10 P200 0.04000 C09-10 P500 0.01600 C09-10 P1000 0.00800 C09-11 num_ret 1000.00000 C09-11 num_unjug_ret@1 0.00000 C09-11 num_unjug_ret@10 0.00000 C09-11 num_unjug_ret@20 1.00000 C09-11 num_unjug_ret@100 43.00000 C09-11 num_unjug_ret@1000 877.00000 C09-11 num_rel 134.00000 C09-11 num_rel_ret 47.00000 C09-11 map 0.14292 C09-11 R-prec 0.26119 C09-11 bpref 0.29667 C09-11 recip_rank 0.33333 C09-11 ndcg 0.45262 C09-11 ndcg5 0.30079 C09-11 ndcg10 0.48000 C09-11 ndcg20 0.49672 C09-11 ERR 0.16095 C09-11 ERR10 0.14482 C09-11 ERR20 0.15787 C09-11 P1 0.00000 C09-11 P5 0.40000 C09-11 P10 0.60000 C09-11 P15 0.60000 C09-11 P20 0.60000 C09-11 P30 0.56667 C09-11 P50 0.46000 C09-11 P100 0.29000 C09-11 P200 0.21000 C09-11 P500 0.09200 C09-11 P1000 0.04700 C09-12 num_ret 1000.00000 C09-12 num_unjug_ret@1 0.00000 C09-12 num_unjug_ret@10 3.00000 C09-12 num_unjug_ret@20 12.00000 C09-12 num_unjug_ret@100 89.00000 C09-12 num_unjug_ret@1000 949.00000 C09-12 num_rel 273.00000 C09-12 num_rel_ret 34.00000 C09-12 map 0.02774 C09-12 R-prec 0.05861 C09-12 bpref 0.11686 C09-12 recip_rank 1.00000 C09-12 ndcg 0.20062 C09-12 ndcg5 0.72273 C09-12 ndcg10 0.59263 C09-12 ndcg20 0.39526 C09-12 ERR 0.33251 C09-12 ERR10 0.32794 C09-12 ERR20 0.32993 C09-12 P1 1.00000 C09-12 P5 0.60000 C09-12 P10 0.60000 C09-12 P15 0.46667 C09-12 P20 0.35000 C09-12 P30 0.23333 C09-12 P50 0.16000 C09-12 P100 0.09000 C09-12 P200 0.07000 C09-12 P500 0.06600 C09-12 P1000 0.03400 C09-13 num_ret 1000.00000 C09-13 num_unjug_ret@1 0.00000 C09-13 num_unjug_ret@10 7.00000 C09-13 num_unjug_ret@20 15.00000 C09-13 num_unjug_ret@100 84.00000 C09-13 num_unjug_ret@1000 960.00000 C09-13 num_rel 11.00000 C09-13 num_rel_ret 1.00000 C09-13 map 0.01515 C09-13 R-prec 0.09091 C09-13 bpref 0.08264 C09-13 recip_rank 0.16667 C09-13 ndcg 0.08395 C09-13 ndcg5 0.00000 C09-13 ndcg10 0.08583 C09-13 ndcg20 0.08395 C09-13 ERR 0.03125 C09-13 ERR10 0.03125 C09-13 ERR20 0.03125 C09-13 P1 0.00000 C09-13 P5 0.00000 C09-13 P10 0.10000 C09-13 P15 0.06667 C09-13 P20 0.05000 C09-13 P30 0.03333 C09-13 P50 0.02000 C09-13 P100 0.01000 C09-13 P200 0.00500 C09-13 P500 0.00200 C09-13 P1000 0.00100 C09-14 num_ret 1000.00000 C09-14 num_unjug_ret@1 0.00000 C09-14 num_unjug_ret@10 0.00000 C09-14 num_unjug_ret@20 0.00000 C09-14 num_unjug_ret@100 51.00000 C09-14 num_unjug_ret@1000 882.00000 C09-14 num_rel 155.00000 C09-14 num_rel_ret 50.00000 C09-14 map 0.12319 C09-14 R-prec 0.19355 C09-14 bpref 0.27126 C09-14 recip_rank 0.50000 C09-14 ndcg 0.44544 C09-14 ndcg5 0.66084 C09-14 ndcg10 0.77991 C09-14 ndcg20 0.69051 C09-14 ERR 0.24284 C09-14 ERR10 0.23387 C09-14 ERR20 0.24188 C09-14 P1 0.00000 C09-14 P5 0.80000 C09-14 P10 0.90000 C09-14 P15 0.93333 C09-14 P20 0.70000 C09-14 P30 0.50000 C09-14 P50 0.34000 C09-14 P100 0.23000 C09-14 P200 0.18000 C09-14 P500 0.09000 C09-14 P1000 0.05000 C09-15 num_ret 1000.00000 C09-15 num_unjug_ret@1 0.00000 C09-15 num_unjug_ret@10 0.00000 C09-15 num_unjug_ret@20 0.00000 C09-15 num_unjug_ret@100 46.00000 C09-15 num_unjug_ret@1000 895.00000 C09-15 num_rel 253.00000 C09-15 num_rel_ret 94.00000 C09-15 map 0.19866 C09-15 R-prec 0.28854 C09-15 bpref 0.35105 C09-15 recip_rank 1.00000 C09-15 ndcg 0.35437 C09-15 ndcg5 0.68863 C09-15 ndcg10 0.74568 C09-15 ndcg20 0.59799 C09-15 ERR 0.31935 C09-15 ERR10 0.30987 C09-15 ERR20 0.31645 C09-15 P1 1.00000 C09-15 P5 0.80000 C09-15 P10 0.90000 C09-15 P15 0.86667 C09-15 P20 0.85000 C09-15 P30 0.73333 C09-15 P50 0.66000 C09-15 P100 0.50000 C09-15 P200 0.35500 C09-15 P500 0.15800 C09-15 P1000 0.09400 C09-16 num_ret 1000.00000 C09-16 num_unjug_ret@1 1.00000 C09-16 num_unjug_ret@10 9.00000 C09-16 num_unjug_ret@20 17.00000 C09-16 num_unjug_ret@100 85.00000 C09-16 num_unjug_ret@1000 876.00000 C09-16 num_rel 183.00000 C09-16 num_rel_ret 47.00000 C09-16 map 0.01473 C09-16 R-prec 0.06011 C09-16 bpref 0.20392 C09-16 recip_rank 0.10000 C09-16 ndcg 0.17508 C09-16 ndcg5 0.00000 C09-16 ndcg10 0.02121 C09-16 ndcg20 0.01369 C09-16 ERR 0.01592 C09-16 ERR10 0.00625 C09-16 ERR20 0.00625 C09-16 P1 0.00000 C09-16 P5 0.00000 C09-16 P10 0.10000 C09-16 P15 0.06667 C09-16 P20 0.05000 C09-16 P30 0.03333 C09-16 P50 0.04000 C09-16 P100 0.05000 C09-16 P200 0.06500 C09-16 P500 0.05400 C09-16 P1000 0.04700 C09-17 num_ret 1000.00000 C09-17 num_unjug_ret@1 0.00000 C09-17 num_unjug_ret@10 5.00000 C09-17 num_unjug_ret@20 10.00000 C09-17 num_unjug_ret@100 69.00000 C09-17 num_unjug_ret@1000 915.00000 C09-17 num_rel 171.00000 C09-17 num_rel_ret 49.00000 C09-17 map 0.06195 C09-17 R-prec 0.15205 C09-17 bpref 0.26282 C09-17 recip_rank 0.33333 C09-17 ndcg 0.24712 C09-17 ndcg5 0.10026 C09-17 ndcg10 0.06506 C09-17 ndcg20 0.11459 C09-17 ERR 0.07047 C09-17 ERR10 0.03255 C09-17 ERR20 0.05386 C09-17 P1 0.00000 C09-17 P5 0.40000 C09-17 P10 0.20000 C09-17 P15 0.26667 C09-17 P20 0.30000 C09-17 P30 0.40000 C09-17 P50 0.36000 C09-17 P100 0.22000 C09-17 P200 0.13000 C09-17 P500 0.07800 C09-17 P1000 0.04900 C09-18 num_ret 1000.00000 C09-18 num_unjug_ret@1 0.00000 C09-18 num_unjug_ret@10 3.00000 C09-18 num_unjug_ret@20 5.00000 C09-18 num_unjug_ret@100 69.00000 C09-18 num_unjug_ret@1000 927.00000 C09-18 num_rel 196.00000 C09-18 num_rel_ret 43.00000 C09-18 map 0.05979 C09-18 R-prec 0.12755 C09-18 bpref 0.20536 C09-18 recip_rank 0.33333 C09-18 ndcg 0.22419 C09-18 ndcg5 0.24633 C09-18 ndcg10 0.15985 C09-18 ndcg20 0.30353 C09-18 ERR 0.11541 C09-18 ERR10 0.07430 C09-18 ERR20 0.10936 C09-18 P1 0.00000 C09-18 P5 0.60000 C09-18 P10 0.30000 C09-18 P15 0.40000 C09-18 P20 0.50000 C09-18 P30 0.46667 C09-18 P50 0.36000 C09-18 P100 0.20000 C09-18 P200 0.13000 C09-18 P500 0.08000 C09-18 P1000 0.04300 C09-19 num_ret 1000.00000 C09-19 num_unjug_ret@1 0.00000 C09-19 num_unjug_ret@10 6.00000 C09-19 num_unjug_ret@20 13.00000 C09-19 num_unjug_ret@100 68.00000 C09-19 num_unjug_ret@1000 952.00000 C09-19 num_rel 2.00000 C09-19 num_rel_ret 0.00000 C09-19 map 0.00000 C09-19 R-prec 0.00000 C09-19 bpref 0.00000 C09-19 recip_rank 0.00000 C09-19 ndcg 0.00000 C09-19 ndcg5 0.00000 C09-19 ndcg10 0.00000 C09-19 ndcg20 0.00000 C09-19 ERR 0.00000 C09-19 ERR10 0.00000 C09-19 ERR20 0.00000 C09-19 P1 0.00000 C09-19 P5 0.00000 C09-19 P10 0.00000 C09-19 P15 0.00000 C09-19 P20 0.00000 C09-19 P30 0.00000 C09-19 P50 0.00000 C09-19 P100 0.00000 C09-19 P200 0.00000 C09-19 P500 0.00000 C09-19 P1000 0.00000 C09-20 num_ret 1000.00000 C09-20 num_unjug_ret@1 0.00000 C09-20 num_unjug_ret@10 2.00000 C09-20 num_unjug_ret@20 9.00000 C09-20 num_unjug_ret@100 70.00000 C09-20 num_unjug_ret@1000 933.00000 C09-20 num_rel 0.00000 C09-20 num_rel_ret 0.00000 C09-20 map 0.00000 C09-20 R-prec 0.00000 C09-20 bpref 0.00000 C09-20 recip_rank 0.00000 C09-20 ndcg 0.00000 C09-20 ndcg5 0.00000 C09-20 ndcg10 0.00000 C09-20 ndcg20 0.00000 C09-20 ERR 0.00000 C09-20 ERR10 0.00000 C09-20 ERR20 0.00000 C09-20 P1 0.00000 C09-20 P5 0.00000 C09-20 P10 0.00000 C09-20 P15 0.00000 C09-20 P20 0.00000 C09-20 P30 0.00000 C09-20 P50 0.00000 C09-20 P100 0.00000 C09-20 P200 0.00000 C09-20 P500 0.00000 C09-20 P1000 0.00000 C09-21 num_ret 1000.00000 C09-21 num_unjug_ret@1 1.00000 C09-21 num_unjug_ret@10 6.00000 C09-21 num_unjug_ret@20 9.00000 C09-21 num_unjug_ret@100 70.00000 C09-21 num_unjug_ret@1000 926.00000 C09-21 num_rel 226.00000 C09-21 num_rel_ret 50.00000 C09-21 map 0.03538 C09-21 R-prec 0.13274 C09-21 bpref 0.20113 C09-21 recip_rank 0.25000 C09-21 ndcg 0.19963 C09-21 ndcg5 0.17989 C09-21 ndcg10 0.13795 C09-21 ndcg20 0.08903 C09-21 ERR 0.07698 C09-21 ERR10 0.05554 C09-21 ERR20 0.05554 C09-21 P1 0.00000 C09-21 P5 0.40000 C09-21 P10 0.30000 C09-21 P15 0.20000 C09-21 P20 0.15000 C09-21 P30 0.23333 C09-21 P50 0.24000 C09-21 P100 0.18000 C09-21 P200 0.14500 C09-21 P500 0.07800 C09-21 P1000 0.05000 C09-22 num_ret 1000.00000 C09-22 num_unjug_ret@1 0.00000 C09-22 num_unjug_ret@10 0.00000 C09-22 num_unjug_ret@20 1.00000 C09-22 num_unjug_ret@100 58.00000 C09-22 num_unjug_ret@1000 870.00000 C09-22 num_rel 163.00000 C09-22 num_rel_ret 81.00000 C09-22 map 0.21360 C09-22 R-prec 0.26994 C09-22 bpref 0.45508 C09-22 recip_rank 1.00000 C09-22 ndcg 0.56840 C09-22 ndcg5 1.00000 C09-22 ndcg10 1.00000 C09-22 ndcg20 0.87963 C09-22 ERR 0.38476 C09-22 ERR10 0.37752 C09-22 ERR20 0.38393 C09-22 P1 1.00000 C09-22 P5 1.00000 C09-22 P10 1.00000 C09-22 P15 0.93333 C09-22 P20 0.90000 C09-22 P30 0.70000 C09-22 P50 0.54000 C09-22 P100 0.35000 C09-22 P200 0.23500 C09-22 P500 0.14200 C09-22 P1000 0.08100 C09-23 num_ret 1000.00000 C09-23 num_unjug_ret@1 1.00000 C09-23 num_unjug_ret@10 6.00000 C09-23 num_unjug_ret@20 13.00000 C09-23 num_unjug_ret@100 78.00000 C09-23 num_unjug_ret@1000 966.00000 C09-23 num_rel 174.00000 C09-23 num_rel_ret 22.00000 C09-23 map 0.01839 C09-23 R-prec 0.10345 C09-23 bpref 0.12082 C09-23 recip_rank 0.50000 C09-23 ndcg 0.16194 C09-23 ndcg5 0.21399 C09-23 ndcg10 0.13886 C09-23 ndcg20 0.10663 C09-23 ERR 0.10860 C09-23 ERR10 0.09375 C09-23 ERR20 0.09375 C09-23 P1 0.00000 C09-23 P5 0.20000 C09-23 P10 0.10000 C09-23 P15 0.06667 C09-23 P20 0.05000 C09-23 P30 0.13333 C09-23 P50 0.14000 C09-23 P100 0.14000 C09-23 P200 0.09000 C09-23 P500 0.04000 C09-23 P1000 0.02200 C09-24 num_ret 1000.00000 C09-24 num_unjug_ret@1 0.00000 C09-24 num_unjug_ret@10 1.00000 C09-24 num_unjug_ret@20 5.00000 C09-24 num_unjug_ret@100 67.00000 C09-24 num_unjug_ret@1000 898.00000 C09-24 num_rel 154.00000 C09-24 num_rel_ret 42.00000 C09-24 map 0.05802 C09-24 R-prec 0.14286 C09-24 bpref 0.23271 C09-24 recip_rank 1.00000 C09-24 ndcg 0.25050 C09-24 ndcg5 0.24426 C09-24 ndcg10 0.25501 C09-24 ndcg20 0.22532 C09-24 ERR 0.14396 C09-24 ERR10 0.12289 C09-24 ERR20 0.13491 C09-24 P1 1.00000 C09-24 P5 0.40000 C09-24 P10 0.40000 C09-24 P15 0.46667 C09-24 P20 0.35000 C09-24 P30 0.30000 C09-24 P50 0.24000 C09-24 P100 0.20000 C09-24 P200 0.12500 C09-24 P500 0.06400 C09-24 P1000 0.04200 C09-25 num_ret 1000.00000 C09-25 num_unjug_ret@1 0.00000 C09-25 num_unjug_ret@10 0.00000 C09-25 num_unjug_ret@20 1.00000 C09-25 num_unjug_ret@100 27.00000 C09-25 num_unjug_ret@1000 823.00000 C09-25 num_rel 164.00000 C09-25 num_rel_ret 94.00000 C09-25 map 0.23666 C09-25 R-prec 0.35366 C09-25 bpref 0.45022 C09-25 recip_rank 1.00000 C09-25 ndcg 0.38044 C09-25 ndcg5 0.33333 C09-25 ndcg10 0.23945 C09-25 ndcg20 0.23632 C09-25 ERR 0.16849 C09-25 ERR10 0.13830 C09-25 ERR20 0.15450 C09-25 P1 1.00000 C09-25 P5 1.00000 C09-25 P10 0.60000 C09-25 P15 0.60000 C09-25 P20 0.65000 C09-25 P30 0.63333 C09-25 P50 0.50000 C09-25 P100 0.46000 C09-25 P200 0.33000 C09-25 P500 0.15000 C09-25 P1000 0.09400 C09-26 num_ret 1000.00000 C09-26 num_unjug_ret@1 0.00000 C09-26 num_unjug_ret@10 1.00000 C09-26 num_unjug_ret@20 4.00000 C09-26 num_unjug_ret@100 65.00000 C09-26 num_unjug_ret@1000 897.00000 C09-26 num_rel 173.00000 C09-26 num_rel_ret 58.00000 C09-26 map 0.10970 C09-26 R-prec 0.16185 C09-26 bpref 0.29513 C09-26 recip_rank 0.50000 C09-26 ndcg 0.37811 C09-26 ndcg5 0.46032 C09-26 ndcg10 0.54111 C09-26 ndcg20 0.46665 C09-26 ERR 0.20803 C09-26 ERR10 0.19580 C09-26 ERR20 0.20373 C09-26 P1 0.00000 C09-26 P5 0.80000 C09-26 P10 0.80000 C09-26 P15 0.80000 C09-26 P20 0.60000 C09-26 P30 0.53333 C09-26 P50 0.44000 C09-26 P100 0.26000 C09-26 P200 0.14000 C09-26 P500 0.07000 C09-26 P1000 0.05800 C09-27 num_ret 1000.00000 C09-27 num_unjug_ret@1 0.00000 C09-27 num_unjug_ret@10 0.00000 C09-27 num_unjug_ret@20 0.00000 C09-27 num_unjug_ret@100 58.00000 C09-27 num_unjug_ret@1000 904.00000 C09-27 num_rel 205.00000 C09-27 num_rel_ret 68.00000 C09-27 map 0.09614 C09-27 R-prec 0.18537 C09-27 bpref 0.29509 C09-27 recip_rank 0.25000 C09-27 ndcg 0.35029 C09-27 ndcg5 0.27727 C09-27 ndcg10 0.42109 C09-27 ndcg20 0.48298 C09-27 ERR 0.14268 C09-27 ERR10 0.12426 C09-27 ERR20 0.14085 C09-27 P1 0.00000 C09-27 P5 0.40000 C09-27 P10 0.60000 C09-27 P15 0.60000 C09-27 P20 0.70000 C09-27 P30 0.50000 C09-27 P50 0.40000 C09-27 P100 0.29000 C09-27 P200 0.19000 C09-27 P500 0.10000 C09-27 P1000 0.06800 C09-28 num_ret 1000.00000 C09-28 num_unjug_ret@1 0.00000 C09-28 num_unjug_ret@10 5.00000 C09-28 num_unjug_ret@20 15.00000 C09-28 num_unjug_ret@100 70.00000 C09-28 num_unjug_ret@1000 874.00000 C09-28 num_rel 275.00000 C09-28 num_rel_ret 106.00000 C09-28 map 0.12094 C09-28 R-prec 0.26909 C09-28 bpref 0.37944 C09-28 recip_rank 1.00000 C09-28 ndcg 0.38874 C09-28 ndcg5 0.55944 C09-28 ndcg10 0.36304 C09-28 ndcg20 0.23429 C09-28 ERR 0.26597 C09-28 ERR10 0.24829 C09-28 ERR20 0.24829 C09-28 P1 1.00000 C09-28 P5 1.00000 C09-28 P10 0.50000 C09-28 P15 0.33333 C09-28 P20 0.25000 C09-28 P30 0.23333 C09-28 P50 0.26000 C09-28 P100 0.30000 C09-28 P200 0.30500 C09-28 P500 0.19800 C09-28 P1000 0.10600 C09-29 num_ret 1000.00000 C09-29 num_unjug_ret@1 1.00000 C09-29 num_unjug_ret@10 3.00000 C09-29 num_unjug_ret@20 11.00000 C09-29 num_unjug_ret@100 82.00000 C09-29 num_unjug_ret@1000 957.00000 C09-29 num_rel 29.00000 C09-29 num_rel_ret 1.00000 C09-29 map 0.00034 C09-29 R-prec 0.00000 C09-29 bpref 0.01189 C09-29 recip_rank 0.00980 C09-29 ndcg 0.01062 C09-29 ndcg5 0.00000 C09-29 ndcg10 0.00000 C09-29 ndcg20 0.00000 C09-29 ERR 0.00061 C09-29 ERR10 0.00000 C09-29 ERR20 0.00000 C09-29 P1 0.00000 C09-29 P5 0.00000 C09-29 P10 0.00000 C09-29 P15 0.00000 C09-29 P20 0.00000 C09-29 P30 0.00000 C09-29 P50 0.00000 C09-29 P100 0.00000 C09-29 P200 0.00500 C09-29 P500 0.00200 C09-29 P1000 0.00100 C09-30 num_ret 1000.00000 C09-30 num_unjug_ret@1 0.00000 C09-30 num_unjug_ret@10 1.00000 C09-30 num_unjug_ret@20 6.00000 C09-30 num_unjug_ret@100 60.00000 C09-30 num_unjug_ret@1000 874.00000 C09-30 num_rel 303.00000 C09-30 num_rel_ret 91.00000 C09-30 map 0.08309 C09-30 R-prec 0.19142 C09-30 bpref 0.28179 C09-30 recip_rank 1.00000 C09-30 ndcg 0.32645 C09-30 ndcg5 0.32637 C09-30 ndcg10 0.34484 C09-30 ndcg20 0.34765 C09-30 ERR 0.18384 C09-30 ERR10 0.15823 C09-30 ERR20 0.17713 C09-30 P1 1.00000 C09-30 P5 0.60000 C09-30 P10 0.50000 C09-30 P15 0.53333 C09-30 P20 0.45000 C09-30 P30 0.43333 C09-30 P50 0.40000 C09-30 P100 0.29000 C09-30 P200 0.24500 C09-30 P500 0.14800 C09-30 P1000 0.09100 C09-31 num_ret 1000.00000 C09-31 num_unjug_ret@1 0.00000 C09-31 num_unjug_ret@10 0.00000 C09-31 num_unjug_ret@20 1.00000 C09-31 num_unjug_ret@100 46.00000 C09-31 num_unjug_ret@1000 882.00000 C09-31 num_rel 229.00000 C09-31 num_rel_ret 87.00000 C09-31 map 0.20002 C09-31 R-prec 0.27074 C09-31 bpref 0.36809 C09-31 recip_rank 1.00000 C09-31 ndcg 0.40974 C09-31 ndcg5 0.67296 C09-31 ndcg10 0.55373 C09-31 ndcg20 0.53123 C09-31 ERR 0.30130 C09-31 ERR10 0.28155 C09-31 ERR20 0.29687 C09-31 P1 1.00000 C09-31 P5 0.80000 C09-31 P10 0.90000 C09-31 P15 0.93333 C09-31 P20 0.90000 C09-31 P30 0.83333 C09-31 P50 0.58000 C09-31 P100 0.48000 C09-31 P200 0.31000 C09-31 P500 0.15600 C09-31 P1000 0.08700 C09-32 num_ret 1000.00000 C09-32 num_unjug_ret@1 0.00000 C09-32 num_unjug_ret@10 7.00000 C09-32 num_unjug_ret@20 13.00000 C09-32 num_unjug_ret@100 84.00000 C09-32 num_unjug_ret@1000 957.00000 C09-32 num_rel 271.00000 C09-32 num_rel_ret 28.00000 C09-32 map 0.01837 C09-32 R-prec 0.06642 C09-32 bpref 0.10064 C09-32 recip_rank 1.00000 C09-32 ndcg 0.16399 C09-32 ndcg5 0.52896 C09-32 ndcg10 0.34326 C09-32 ndcg20 0.26916 C09-32 ERR 0.25229 C09-32 ERR10 0.23384 C09-32 ERR20 0.24385 C09-32 P1 1.00000 C09-32 P5 0.60000 C09-32 P10 0.30000 C09-32 P15 0.33333 C09-32 P20 0.25000 C09-32 P30 0.20000 C09-32 P50 0.18000 C09-32 P100 0.10000 C09-32 P200 0.08000 C09-32 P500 0.04000 C09-32 P1000 0.02800 C09-33 num_ret 1000.00000 C09-33 num_unjug_ret@1 0.00000 C09-33 num_unjug_ret@10 4.00000 C09-33 num_unjug_ret@20 9.00000 C09-33 num_unjug_ret@100 77.00000 C09-33 num_unjug_ret@1000 957.00000 C09-33 num_rel 245.00000 C09-33 num_rel_ret 30.00000 C09-33 map 0.04934 C09-33 R-prec 0.09388 C09-33 bpref 0.11707 C09-33 recip_rank 1.00000 C09-33 ndcg 0.18719 C09-33 ndcg5 0.61308 C09-33 ndcg10 0.41906 C09-33 ndcg20 0.35872 C09-33 ERR 0.28926 C09-33 ERR10 0.26586 C09-33 ERR20 0.28247 C09-33 P1 1.00000 C09-33 P5 0.80000 C09-33 P10 0.50000 C09-33 P15 0.60000 C09-33 P20 0.50000 C09-33 P30 0.43333 C09-33 P50 0.32000 C09-33 P100 0.20000 C09-33 P200 0.11000 C09-33 P500 0.05800 C09-33 P1000 0.03000 C09-34 num_ret 1000.00000 C09-34 num_unjug_ret@1 0.00000 C09-34 num_unjug_ret@10 9.00000 C09-34 num_unjug_ret@20 19.00000 C09-34 num_unjug_ret@100 94.00000 C09-34 num_unjug_ret@1000 982.00000 C09-34 num_rel 111.00000 C09-34 num_rel_ret 6.00000 C09-34 map 0.00090 C09-34 R-prec 0.00901 C09-34 bpref 0.05113 C09-34 recip_rank 0.03571 C09-34 ndcg 0.03425 C09-34 ndcg5 0.00000 C09-34 ndcg10 0.00000 C09-34 ndcg20 0.00000 C09-34 ERR 0.00488 C09-34 ERR10 0.00000 C09-34 ERR20 0.00000 C09-34 P1 0.00000 C09-34 P5 0.00000 C09-34 P10 0.00000 C09-34 P15 0.00000 C09-34 P20 0.00000 C09-34 P30 0.03333 C09-34 P50 0.02000 C09-34 P100 0.01000 C09-34 P200 0.01500 C09-34 P500 0.00800 C09-34 P1000 0.00600 C09-35 num_ret 1000.00000 C09-35 num_unjug_ret@1 0.00000 C09-35 num_unjug_ret@10 1.00000 C09-35 num_unjug_ret@20 2.00000 C09-35 num_unjug_ret@100 46.00000 C09-35 num_unjug_ret@1000 871.00000 C09-35 num_rel 125.00000 C09-35 num_rel_ret 56.00000 C09-35 map 0.20520 C09-35 R-prec 0.32800 C09-35 bpref 0.38643 C09-35 recip_rank 0.33333 C09-35 ndcg 0.44115 C09-35 ndcg5 0.30079 C09-35 ndcg10 0.54626 C09-35 ndcg20 0.56954 C09-35 ERR 0.16494 C09-35 ERR10 0.15095 C09-35 ERR20 0.16336 C09-35 P1 0.00000 C09-35 P5 0.40000 C09-35 P10 0.70000 C09-35 P15 0.80000 C09-35 P20 0.75000 C09-35 P30 0.60000 C09-35 P50 0.52000 C09-35 P100 0.33000 C09-35 P200 0.25000 C09-35 P500 0.11000 C09-35 P1000 0.05600 C09-36 num_ret 1000.00000 C09-36 num_unjug_ret@1 0.00000 C09-36 num_unjug_ret@10 0.00000 C09-36 num_unjug_ret@20 6.00000 C09-36 num_unjug_ret@100 70.00000 C09-36 num_unjug_ret@1000 943.00000 C09-36 num_rel 126.00000 C09-36 num_rel_ret 33.00000 C09-36 map 0.14580 C09-36 R-prec 0.20635 C09-36 bpref 0.25183 C09-36 recip_rank 0.50000 C09-36 ndcg 0.41377 C09-36 ndcg5 0.66084 C09-36 ndcg10 0.73362 C09-36 ndcg20 0.59909 C09-36 ERR 0.24077 C09-36 ERR10 0.23067 C09-36 ERR20 0.23787 C09-36 P1 0.00000 C09-36 P5 0.80000 C09-36 P10 0.90000 C09-36 P15 0.86667 C09-36 P20 0.65000 C09-36 P30 0.56667 C09-36 P50 0.46000 C09-36 P100 0.25000 C09-36 P200 0.13500 C09-36 P500 0.05800 C09-36 P1000 0.03300 C09-37 num_ret 1000.00000 C09-37 num_unjug_ret@1 1.00000 C09-37 num_unjug_ret@10 6.00000 C09-37 num_unjug_ret@20 12.00000 C09-37 num_unjug_ret@100 89.00000 C09-37 num_unjug_ret@1000 961.00000 C09-37 num_rel 4.00000 C09-37 num_rel_ret 2.00000 C09-37 map 0.04260 C09-37 R-prec 0.00000 C09-37 bpref 0.18750 C09-37 recip_rank 0.16667 C09-37 ndcg 0.20244 C09-37 ndcg5 0.00000 C09-37 ndcg10 0.18350 C09-37 ndcg20 0.18350 C09-37 ERR 0.03134 C09-37 ERR10 0.03125 C09-37 ERR20 0.03125 C09-37 P1 0.00000 C09-37 P5 0.00000 C09-37 P10 0.10000 C09-37 P15 0.06667 C09-37 P20 0.05000 C09-37 P30 0.03333 C09-37 P50 0.02000 C09-37 P100 0.01000 C09-37 P200 0.00500 C09-37 P500 0.00200 C09-37 P1000 0.00200 C09-38 num_ret 1000.00000 C09-38 num_unjug_ret@1 0.00000 C09-38 num_unjug_ret@10 6.00000 C09-38 num_unjug_ret@20 14.00000 C09-38 num_unjug_ret@100 74.00000 C09-38 num_unjug_ret@1000 933.00000 C09-38 num_rel 259.00000 C09-38 num_rel_ret 45.00000 C09-38 map 0.02801 C09-38 R-prec 0.10811 C09-38 bpref 0.16207 C09-38 recip_rank 0.33333 C09-38 ndcg 0.16839 C09-38 ndcg5 0.16958 C09-38 ndcg10 0.15932 C09-38 ndcg20 0.12787 C09-38 ERR 0.09669 C09-38 ERR10 0.07691 C09-38 ERR20 0.08376 C09-38 P1 0.00000 C09-38 P5 0.20000 C09-38 P10 0.30000 C09-38 P15 0.33333 C09-38 P20 0.25000 C09-38 P30 0.26667 C09-38 P50 0.22000 C09-38 P100 0.18000 C09-38 P200 0.11000 C09-38 P500 0.07200 C09-38 P1000 0.04500 C09-39 num_ret 1000.00000 C09-39 num_unjug_ret@1 0.00000 C09-39 num_unjug_ret@10 4.00000 C09-39 num_unjug_ret@20 12.00000 C09-39 num_unjug_ret@100 71.00000 C09-39 num_unjug_ret@1000 882.00000 C09-39 num_rel 135.00000 C09-39 num_rel_ret 25.00000 C09-39 map 0.00894 C09-39 R-prec 0.05185 C09-39 bpref 0.12982 C09-39 recip_rank 0.03704 C09-39 ndcg 0.11301 C09-39 ndcg5 0.00000 C09-39 ndcg10 0.00000 C09-39 ndcg20 0.00000 C09-39 ERR 0.01509 C09-39 ERR10 0.00000 C09-39 ERR20 0.00000 C09-39 P1 0.00000 C09-39 P5 0.00000 C09-39 P10 0.00000 C09-39 P15 0.00000 C09-39 P20 0.00000 C09-39 P30 0.06667 C09-39 P50 0.04000 C09-39 P100 0.06000 C09-39 P200 0.06000 C09-39 P500 0.03800 C09-39 P1000 0.02500 C09-40 num_ret 1000.00000 C09-40 num_unjug_ret@1 0.00000 C09-40 num_unjug_ret@10 1.00000 C09-40 num_unjug_ret@20 1.00000 C09-40 num_unjug_ret@100 68.00000 C09-40 num_unjug_ret@1000 952.00000 C09-40 num_rel 94.00000 C09-40 num_rel_ret 29.00000 C09-40 map 0.09441 C09-40 R-prec 0.19149 C09-40 bpref 0.24774 C09-40 recip_rank 0.16667 C09-40 ndcg 0.32551 C09-40 ndcg5 0.00000 C09-40 ndcg10 0.24989 C09-40 ndcg20 0.37517 C09-40 ERR 0.09190 C09-40 ERR10 0.06514 C09-40 ERR20 0.08989 C09-40 P1 0.00000 C09-40 P5 0.00000 C09-40 P10 0.50000 C09-40 P15 0.53333 C09-40 P20 0.60000 C09-40 P30 0.46667 C09-40 P50 0.36000 C09-40 P100 0.18000 C09-40 P200 0.09000 C09-40 P500 0.03600 C09-40 P1000 0.02900 C09-41 num_ret 1000.00000 C09-41 num_unjug_ret@1 0.00000 C09-41 num_unjug_ret@10 2.00000 C09-41 num_unjug_ret@20 8.00000 C09-41 num_unjug_ret@100 45.00000 C09-41 num_unjug_ret@1000 877.00000 C09-41 num_rel 137.00000 C09-41 num_rel_ret 52.00000 C09-41 map 0.13104 C09-41 R-prec 0.26277 C09-41 bpref 0.30891 C09-41 recip_rank 1.00000 C09-41 ndcg 0.44386 C09-41 ndcg5 0.62876 C09-41 ndcg10 0.56984 C09-41 ndcg20 0.37871 C09-41 ERR 0.30786 C09-41 ERR10 0.29817 C09-41 ERR20 0.29935 C09-41 P1 1.00000 C09-41 P5 0.80000 C09-41 P10 0.70000 C09-41 P15 0.46667 C09-41 P20 0.40000 C09-41 P30 0.33333 C09-41 P50 0.28000 C09-41 P100 0.31000 C09-41 P200 0.19000 C09-41 P500 0.09600 C09-41 P1000 0.05200 C09-42 num_ret 1000.00000 C09-42 num_unjug_ret@1 1.00000 C09-42 num_unjug_ret@10 3.00000 C09-42 num_unjug_ret@20 10.00000 C09-42 num_unjug_ret@100 86.00000 C09-42 num_unjug_ret@1000 949.00000 C09-42 num_rel 34.00000 C09-42 num_rel_ret 14.00000 C09-42 map 0.12594 C09-42 R-prec 0.23529 C09-42 bpref 0.31055 C09-42 recip_rank 0.25000 C09-42 ndcg 0.24048 C09-42 ndcg5 0.09242 C09-42 ndcg10 0.17398 C09-42 ndcg20 0.22097 C09-42 ERR 0.06683 C09-42 ERR10 0.05152 C09-42 ERR20 0.06596 C09-42 P1 0.00000 C09-42 P5 0.40000 C09-42 P10 0.60000 C09-42 P15 0.53333 C09-42 P20 0.40000 C09-42 P30 0.26667 C09-42 P50 0.16000 C09-42 P100 0.08000 C09-42 P200 0.05000 C09-42 P500 0.02400 C09-42 P1000 0.01400 C09-43 num_ret 1000.00000 C09-43 num_unjug_ret@1 0.00000 C09-43 num_unjug_ret@10 0.00000 C09-43 num_unjug_ret@20 0.00000 C09-43 num_unjug_ret@100 55.00000 C09-43 num_unjug_ret@1000 914.00000 C09-43 num_rel 47.00000 C09-43 num_rel_ret 27.00000 C09-43 map 0.50078 C09-43 R-prec 0.53191 C09-43 bpref 0.53735 C09-43 recip_rank 1.00000 C09-43 ndcg 0.64527 C09-43 ndcg5 0.51818 C09-43 ndcg10 0.64105 C09-43 ndcg20 0.67004 C09-43 ERR 0.23077 C09-43 ERR10 0.21762 C09-43 ERR20 0.22958 C09-43 P1 1.00000 C09-43 P5 1.00000 C09-43 P10 1.00000 C09-43 P15 1.00000 C09-43 P20 0.95000 C09-43 P30 0.70000 C09-43 P50 0.50000 C09-43 P100 0.26000 C09-43 P200 0.13500 C09-43 P500 0.05400 C09-43 P1000 0.02700 C09-44 num_ret 1000.00000 C09-44 num_unjug_ret@1 0.00000 C09-44 num_unjug_ret@10 2.00000 C09-44 num_unjug_ret@20 10.00000 C09-44 num_unjug_ret@100 78.00000 C09-44 num_unjug_ret@1000 948.00000 C09-44 num_rel 99.00000 C09-44 num_rel_ret 9.00000 C09-44 map 0.02105 C09-44 R-prec 0.05051 C09-44 bpref 0.07734 C09-44 recip_rank 1.00000 C09-44 ndcg 0.09327 C09-44 ndcg5 0.15679 C09-44 ndcg10 0.12295 C09-44 ndcg20 0.07935 C09-44 ERR 0.08766 C09-44 ERR10 0.07971 C09-44 ERR20 0.07971 C09-44 P1 1.00000 C09-44 P5 0.40000 C09-44 P10 0.30000 C09-44 P15 0.20000 C09-44 P20 0.15000 C09-44 P30 0.13333 C09-44 P50 0.10000 C09-44 P100 0.05000 C09-44 P200 0.03500 C09-44 P500 0.01600 C09-44 P1000 0.00900 C09-45 num_ret 1000.00000 C09-45 num_unjug_ret@1 0.00000 C09-45 num_unjug_ret@10 5.00000 C09-45 num_unjug_ret@20 12.00000 C09-45 num_unjug_ret@100 78.00000 C09-45 num_unjug_ret@1000 910.00000 C09-45 num_rel 212.00000 C09-45 num_rel_ret 46.00000 C09-45 map 0.01861 C09-45 R-prec 0.07075 C09-45 bpref 0.18639 C09-45 recip_rank 0.50000 C09-45 ndcg 0.19228 C09-45 ndcg5 0.21399 C09-45 ndcg10 0.20248 C09-45 ndcg20 0.13068 C09-45 ERR 0.11779 C09-45 ERR10 0.10898 C09-45 ERR20 0.10898 C09-45 P1 0.00000 C09-45 P5 0.20000 C09-45 P10 0.20000 C09-45 P15 0.13333 C09-45 P20 0.10000 C09-45 P30 0.06667 C09-45 P50 0.06000 C09-45 P100 0.08000 C09-45 P200 0.07500 C09-45 P500 0.06600 C09-45 P1000 0.04600 C09-46 num_ret 1000.00000 C09-46 num_unjug_ret@1 0.00000 C09-46 num_unjug_ret@10 0.00000 C09-46 num_unjug_ret@20 2.00000 C09-46 num_unjug_ret@100 25.00000 C09-46 num_unjug_ret@1000 906.00000 C09-46 num_rel 121.00000 C09-46 num_rel_ret 54.00000 C09-46 map 0.27913 C09-46 R-prec 0.42149 C09-46 bpref 0.40277 C09-46 recip_rank 1.00000 C09-46 ndcg 0.53048 C09-46 ndcg5 0.61643 C09-46 ndcg10 0.75109 C09-46 ndcg20 0.64387 C09-46 ERR 0.30882 C09-46 ERR10 0.29745 C09-46 ERR20 0.30592 C09-46 P1 1.00000 C09-46 P5 0.60000 C09-46 P10 0.80000 C09-46 P15 0.80000 C09-46 P20 0.65000 C09-46 P30 0.66667 C09-46 P50 0.56000 C09-46 P100 0.50000 C09-46 P200 0.25500 C09-46 P500 0.10800 C09-46 P1000 0.05400 C09-47 num_ret 1000.00000 C09-47 num_unjug_ret@1 0.00000 C09-47 num_unjug_ret@10 2.00000 C09-47 num_unjug_ret@20 3.00000 C09-47 num_unjug_ret@100 46.00000 C09-47 num_unjug_ret@1000 912.00000 C09-47 num_rel 156.00000 C09-47 num_rel_ret 35.00000 C09-47 map 0.08684 C09-47 R-prec 0.20513 C09-47 bpref 0.19560 C09-47 recip_rank 1.00000 C09-47 ndcg 0.41005 C09-47 ndcg5 0.85393 C09-47 ndcg10 0.55414 C09-47 ndcg20 0.45668 C09-47 ERR 0.34381 C09-47 ERR10 0.32505 C09-47 ERR20 0.33489 C09-47 P1 1.00000 C09-47 P5 0.80000 C09-47 P10 0.40000 C09-47 P15 0.33333 C09-47 P20 0.35000 C09-47 P30 0.40000 C09-47 P50 0.36000 C09-47 P100 0.24000 C09-47 P200 0.16500 C09-47 P500 0.07000 C09-47 P1000 0.03500 C09-48 num_ret 1000.00000 C09-48 num_unjug_ret@1 0.00000 C09-48 num_unjug_ret@10 2.00000 C09-48 num_unjug_ret@20 8.00000 C09-48 num_unjug_ret@100 58.00000 C09-48 num_unjug_ret@1000 930.00000 C09-48 num_rel 54.00000 C09-48 num_rel_ret 8.00000 C09-48 map 0.07929 C09-48 R-prec 0.12963 C09-48 bpref 0.12311 C09-48 recip_rank 1.00000 C09-48 ndcg 0.16305 C09-48 ndcg5 0.31559 C09-48 ndcg10 0.29631 C09-48 ndcg20 0.22598 C09-48 ERR 0.15303 C09-48 ERR10 0.14552 C09-48 ERR20 0.15190 C09-48 P1 1.00000 C09-48 P5 0.60000 C09-48 P10 0.50000 C09-48 P15 0.33333 C09-48 P20 0.30000 C09-48 P30 0.20000 C09-48 P50 0.14000 C09-48 P100 0.07000 C09-48 P200 0.03500 C09-48 P500 0.01600 C09-48 P1000 0.00800 C09-49 num_ret 1000.00000 C09-49 num_unjug_ret@1 0.00000 C09-49 num_unjug_ret@10 0.00000 C09-49 num_unjug_ret@20 2.00000 C09-49 num_unjug_ret@100 50.00000 C09-49 num_unjug_ret@1000 910.00000 C09-49 num_rel 47.00000 C09-49 num_rel_ret 27.00000 C09-49 map 0.43540 C09-49 R-prec 0.42553 C09-49 bpref 0.49842 C09-49 recip_rank 1.00000 C09-49 ndcg 0.58608 C09-49 ndcg5 0.70210 C09-49 ndcg10 0.67759 C09-49 ndcg20 0.66570 C09-49 ERR 0.33138 C09-49 ERR10 0.32075 C09-49 ERR20 0.32840 C09-49 P1 1.00000 C09-49 P5 1.00000 C09-49 P10 1.00000 C09-49 P15 0.93333 C09-49 P20 0.80000 C09-49 P30 0.66667 C09-49 P50 0.40000 C09-49 P100 0.26000 C09-49 P200 0.13000 C09-49 P500 0.05200 C09-49 P1000 0.02700 C09-50 num_ret 1000.00000 C09-50 num_unjug_ret@1 0.00000 C09-50 num_unjug_ret@10 2.00000 C09-50 num_unjug_ret@20 11.00000 C09-50 num_unjug_ret@100 76.00000 C09-50 num_unjug_ret@1000 939.00000 C09-50 num_rel 70.00000 C09-50 num_rel_ret 9.00000 C09-50 map 0.01381 C09-50 R-prec 0.05714 C09-50 bpref 0.09694 C09-50 recip_rank 0.25000 C09-50 ndcg 0.08112 C09-50 ndcg5 0.04869 C09-50 ndcg10 0.05773 C09-50 ndcg20 0.03726 C09-50 ERR 0.03564 C09-50 ERR10 0.02539 C09-50 ERR20 0.02539 C09-50 P1 0.00000 C09-50 P5 0.20000 C09-50 P10 0.20000 C09-50 P15 0.13333 C09-50 P20 0.10000 C09-50 P30 0.10000 C09-50 P50 0.06000 C09-50 P100 0.05000 C09-50 P200 0.03500 C09-50 P500 0.01800 C09-50 P1000 0.00900 C09-51 num_ret 1000.00000 C09-51 num_unjug_ret@1 0.00000 C09-51 num_unjug_ret@10 0.00000 C09-51 num_unjug_ret@20 4.00000 C09-51 num_unjug_ret@100 43.00000 C09-51 num_unjug_ret@1000 895.00000 C09-51 num_rel 147.00000 C09-51 num_rel_ret 46.00000 C09-51 map 0.20309 C09-51 R-prec 0.27891 C09-51 bpref 0.29775 C09-51 recip_rank 1.00000 C09-51 ndcg 0.27162 C09-51 ndcg5 0.24240 C09-51 ndcg10 0.27747 C09-51 ndcg20 0.24768 C09-51 ERR 0.22936 C09-51 ERR10 0.21362 C09-51 ERR20 0.22047 C09-51 P1 1.00000 C09-51 P5 1.00000 C09-51 P10 0.90000 C09-51 P15 0.66667 C09-51 P20 0.70000 C09-51 P30 0.70000 C09-51 P50 0.60000 C09-51 P100 0.40000 C09-51 P200 0.20500 C09-51 P500 0.09200 C09-51 P1000 0.04600 C09-52 num_ret 1000.00000 C09-52 num_unjug_ret@1 0.00000 C09-52 num_unjug_ret@10 0.00000 C09-52 num_unjug_ret@20 2.00000 C09-52 num_unjug_ret@100 42.00000 C09-52 num_unjug_ret@1000 832.00000 C09-52 num_rel 47.00000 C09-52 num_rel_ret 31.00000 C09-52 map 0.08862 C09-52 R-prec 0.14894 C09-52 bpref 0.16614 C09-52 recip_rank 0.09091 C09-52 ndcg 0.40843 C09-52 ndcg5 0.00000 C09-52 ndcg10 0.00000 C09-52 ndcg20 0.02246 C09-52 ERR 0.05132 C09-52 ERR10 0.00000 C09-52 ERR20 0.02128 C09-52 P1 0.00000 C09-52 P5 0.00000 C09-52 P10 0.00000 C09-52 P15 0.13333 C09-52 P20 0.10000 C09-52 P30 0.20000 C09-52 P50 0.14000 C09-52 P100 0.16000 C09-52 P200 0.10500 C09-52 P500 0.05800 C09-52 P1000 0.03100 C09-53 num_ret 1000.00000 C09-53 num_unjug_ret@1 0.00000 C09-53 num_unjug_ret@10 0.00000 C09-53 num_unjug_ret@20 1.00000 C09-53 num_unjug_ret@100 33.00000 C09-53 num_unjug_ret@1000 871.00000 C09-53 num_rel 110.00000 C09-53 num_rel_ret 12.00000 C09-53 map 0.00246 C09-53 R-prec 0.01818 C09-53 bpref 0.02025 C09-53 recip_rank 0.01075 C09-53 ndcg 0.07145 C09-53 ndcg5 0.00000 C09-53 ndcg10 0.00000 C09-53 ndcg20 0.00000 C09-53 ERR 0.00628 C09-53 ERR10 0.00000 C09-53 ERR20 0.00000 C09-53 P1 0.00000 C09-53 P5 0.00000 C09-53 P10 0.00000 C09-53 P15 0.00000 C09-53 P20 0.00000 C09-53 P30 0.00000 C09-53 P50 0.00000 C09-53 P100 0.02000 C09-53 P200 0.02500 C09-53 P500 0.02000 C09-53 P1000 0.01200 C09-54 num_ret 1000.00000 C09-54 num_unjug_ret@1 0.00000 C09-54 num_unjug_ret@10 9.00000 C09-54 num_unjug_ret@20 17.00000 C09-54 num_unjug_ret@100 56.00000 C09-54 num_unjug_ret@1000 836.00000 C09-54 num_rel 183.00000 C09-54 num_rel_ret 82.00000 C09-54 map 0.07709 C09-54 R-prec 0.18033 C09-54 bpref 0.34883 C09-54 recip_rank 0.09091 C09-54 ndcg 0.36533 C09-54 ndcg5 0.00000 C09-54 ndcg10 0.00000 C09-54 ndcg20 0.01321 C09-54 ERR 0.02309 C09-54 ERR10 0.00000 C09-54 ERR20 0.00568 C09-54 P1 0.00000 C09-54 P5 0.00000 C09-54 P10 0.00000 C09-54 P15 0.06667 C09-54 P20 0.05000 C09-54 P30 0.06667 C09-54 P50 0.10000 C09-54 P100 0.24000 C09-54 P200 0.16500 C09-54 P500 0.14800 C09-54 P1000 0.08200 C09-55 num_ret 1000.00000 C09-55 num_unjug_ret@1 0.00000 C09-55 num_unjug_ret@10 2.00000 C09-55 num_unjug_ret@20 2.00000 C09-55 num_unjug_ret@100 30.00000 C09-55 num_unjug_ret@1000 857.00000 C09-55 num_rel 97.00000 C09-55 num_rel_ret 54.00000 C09-55 map 0.35662 C09-55 R-prec 0.44330 C09-55 bpref 0.46987 C09-55 recip_rank 1.00000 C09-55 ndcg 0.56476 C09-55 ndcg5 0.61643 C09-55 ndcg10 0.46945 C09-55 ndcg20 0.46972 C09-55 ERR 0.28825 C09-55 ERR10 0.26237 C09-55 ERR20 0.28148 C09-55 P1 1.00000 C09-55 P5 0.60000 C09-55 P10 0.60000 C09-55 P15 0.73333 C09-55 P20 0.80000 C09-55 P30 0.86667 C09-55 P50 0.74000 C09-55 P100 0.43000 C09-55 P200 0.22500 C09-55 P500 0.10200 C09-55 P1000 0.05400 C09-56 num_ret 1000.00000 C09-56 num_unjug_ret@1 0.00000 C09-56 num_unjug_ret@10 0.00000 C09-56 num_unjug_ret@20 0.00000 C09-56 num_unjug_ret@100 43.00000 C09-56 num_unjug_ret@1000 888.00000 C09-56 num_rel 47.00000 C09-56 num_rel_ret 14.00000 C09-56 map 0.05175 C09-56 R-prec 0.12766 C09-56 bpref 0.11182 C09-56 recip_rank 0.12500 C09-56 ndcg 0.27422 C09-56 ndcg5 0.00000 C09-56 ndcg10 0.19931 C09-56 ndcg20 0.23838 C09-56 ERR 0.07362 C09-56 ERR10 0.05274 C09-56 ERR20 0.07131 C09-56 P1 0.00000 C09-56 P5 0.00000 C09-56 P10 0.30000 C09-56 P15 0.33333 C09-56 P20 0.30000 C09-56 P30 0.20000 C09-56 P50 0.12000 C09-56 P100 0.07000 C09-56 P200 0.06500 C09-56 P500 0.02800 C09-56 P1000 0.01400 C09-57 num_ret 1000.00000 C09-57 num_unjug_ret@1 0.00000 C09-57 num_unjug_ret@10 1.00000 C09-57 num_unjug_ret@20 2.00000 C09-57 num_unjug_ret@100 66.00000 C09-57 num_unjug_ret@1000 925.00000 C09-57 num_rel 314.00000 C09-57 num_rel_ret 64.00000 C09-57 map 0.09109 C09-57 R-prec 0.15605 C09-57 bpref 0.20181 C09-57 recip_rank 1.00000 C09-57 ndcg 0.17458 C09-57 ndcg5 0.14286 C09-57 ndcg10 0.12246 C09-57 ndcg20 0.14825 C09-57 ERR 0.17622 C09-57 ERR10 0.14887 C09-57 ERR20 0.16950 C09-57 P1 1.00000 C09-57 P5 1.00000 C09-57 P10 0.80000 C09-57 P15 0.86667 C09-57 P20 0.85000 C09-57 P30 0.60000 C09-57 P50 0.54000 C09-57 P100 0.33000 C09-57 P200 0.20000 C09-57 P500 0.11000 C09-57 P1000 0.06400 C09-58 num_ret 1000.00000 C09-58 num_unjug_ret@1 0.00000 C09-58 num_unjug_ret@10 0.00000 C09-58 num_unjug_ret@20 1.00000 C09-58 num_unjug_ret@100 56.00000 C09-58 num_unjug_ret@1000 858.00000 C09-58 num_rel 95.00000 C09-58 num_rel_ret 46.00000 C09-58 map 0.23822 C09-58 R-prec 0.25263 C09-58 bpref 0.31845 C09-58 recip_rank 1.00000 C09-58 ndcg 0.52255 C09-58 ndcg5 0.57553 C09-58 ndcg10 0.67631 C09-58 ndcg20 0.67086 C09-58 ERR 0.38546 C09-58 ERR10 0.37752 C09-58 ERR20 0.38466 C09-58 P1 1.00000 C09-58 P5 1.00000 C09-58 P10 1.00000 C09-58 P15 1.00000 C09-58 P20 0.85000 C09-58 P30 0.63333 C09-58 P50 0.40000 C09-58 P100 0.24000 C09-58 P200 0.14000 C09-58 P500 0.07800 C09-58 P1000 0.04600 C09-59 num_ret 1000.00000 C09-59 num_unjug_ret@1 0.00000 C09-59 num_unjug_ret@10 4.00000 C09-59 num_unjug_ret@20 6.00000 C09-59 num_unjug_ret@100 72.00000 C09-59 num_unjug_ret@1000 927.00000 C09-59 num_rel 61.00000 C09-59 num_rel_ret 7.00000 C09-59 map 0.00963 C09-59 R-prec 0.03279 C09-59 bpref 0.04730 C09-59 recip_rank 0.33333 C09-59 ndcg 0.11258 C09-59 ndcg5 0.16958 C09-59 ndcg10 0.11005 C09-59 ndcg20 0.09888 C09-59 ERR 0.14983 C09-59 ERR10 0.14583 C09-59 ERR20 0.14854 C09-59 P1 0.00000 C09-59 P5 0.20000 C09-59 P10 0.10000 C09-59 P15 0.13333 C09-59 P20 0.10000 C09-59 P30 0.06667 C09-59 P50 0.04000 C09-59 P100 0.02000 C09-59 P200 0.01500 C09-59 P500 0.01400 C09-59 P1000 0.00700 C09-60 num_ret 1000.00000 C09-60 num_unjug_ret@1 0.00000 C09-60 num_unjug_ret@10 1.00000 C09-60 num_unjug_ret@20 1.00000 C09-60 num_unjug_ret@100 36.00000 C09-60 num_unjug_ret@1000 857.00000 C09-60 num_rel 184.00000 C09-60 num_rel_ret 74.00000 C09-60 map 0.17363 C09-60 R-prec 0.26630 C09-60 bpref 0.34833 C09-60 recip_rank 0.33333 C09-60 ndcg 0.44828 C09-60 ndcg5 0.14895 C09-60 ndcg10 0.21219 C09-60 ndcg20 0.57539 C09-60 ERR 0.11616 C09-60 ERR10 0.07617 C09-60 ERR20 0.11375 C09-60 P1 0.00000 C09-60 P5 0.60000 C09-60 P10 0.60000 C09-60 P15 0.73333 C09-60 P20 0.80000 C09-60 P30 0.80000 C09-60 P50 0.60000 C09-60 P100 0.39000 C09-60 P200 0.25000 C09-60 P500 0.12600 C09-60 P1000 0.07400 C09-61 num_ret 1000.00000 C09-61 num_unjug_ret@1 0.00000 C09-61 num_unjug_ret@10 0.00000 C09-61 num_unjug_ret@20 4.00000 C09-61 num_unjug_ret@100 56.00000 C09-61 num_unjug_ret@1000 879.00000 C09-61 num_rel 123.00000 C09-61 num_rel_ret 35.00000 C09-61 map 0.01742 C09-61 R-prec 0.04878 C09-61 bpref 0.13636 C09-61 recip_rank 0.05556 C09-61 ndcg 0.21282 C09-61 ndcg5 0.00000 C09-61 ndcg10 0.00000 C09-61 ndcg20 0.04542 C09-61 ERR 0.01802 C09-61 ERR10 0.00000 C09-61 ERR20 0.01042 C09-61 P1 0.00000 C09-61 P5 0.00000 C09-61 P10 0.00000 C09-61 P15 0.00000 C09-61 P20 0.05000 C09-61 P30 0.03333 C09-61 P50 0.04000 C09-61 P100 0.04000 C09-61 P200 0.07000 C09-61 P500 0.05400 C09-61 P1000 0.03500 C09-62 num_ret 1000.00000 C09-62 num_unjug_ret@1 0.00000 C09-62 num_unjug_ret@10 0.00000 C09-62 num_unjug_ret@20 0.00000 C09-62 num_unjug_ret@100 34.00000 C09-62 num_unjug_ret@1000 890.00000 C09-62 num_rel 106.00000 C09-62 num_rel_ret 62.00000 C09-62 map 0.47104 C09-62 R-prec 0.50000 C09-62 bpref 0.55064 C09-62 recip_rank 1.00000 C09-62 ndcg 0.53291 C09-62 ndcg5 0.47599 C09-62 ndcg10 0.47370 C09-62 ndcg20 0.55821 C09-62 ERR 0.23517 C09-62 ERR10 0.21493 C09-62 ERR20 0.22877 C09-62 P1 1.00000 C09-62 P5 1.00000 C09-62 P10 0.90000 C09-62 P15 0.93333 C09-62 P20 0.95000 C09-62 P30 0.93333 C09-62 P50 0.88000 C09-62 P100 0.53000 C09-62 P200 0.28000 C09-62 P500 0.11800 C09-62 P1000 0.06200 C09-63 num_ret 1000.00000 C09-63 num_unjug_ret@1 0.00000 C09-63 num_unjug_ret@10 0.00000 C09-63 num_unjug_ret@20 2.00000 C09-63 num_unjug_ret@100 40.00000 C09-63 num_unjug_ret@1000 872.00000 C09-63 num_rel 107.00000 C09-63 num_rel_ret 43.00000 C09-63 map 0.06113 C09-63 R-prec 0.15888 C09-63 bpref 0.22561 C09-63 recip_rank 0.07143 C09-63 ndcg 0.28944 C09-63 ndcg5 0.00000 C09-63 ndcg10 0.00000 C09-63 ndcg20 0.11065 C09-63 ERR 0.04769 C09-63 ERR10 0.00000 C09-63 ERR20 0.03356 C09-63 P1 0.00000 C09-63 P5 0.00000 C09-63 P10 0.00000 C09-63 P15 0.06667 C09-63 P20 0.25000 C09-63 P30 0.36667 C09-63 P50 0.22000 C09-63 P100 0.17000 C09-63 P200 0.12000 C09-63 P500 0.06600 C09-63 P1000 0.04300 C09-64 num_ret 1000.00000 C09-64 num_unjug_ret@1 0.00000 C09-64 num_unjug_ret@10 0.00000 C09-64 num_unjug_ret@20 0.00000 C09-64 num_unjug_ret@100 36.00000 C09-64 num_unjug_ret@1000 838.00000 C09-64 num_rel 142.00000 C09-64 num_rel_ret 48.00000 C09-64 map 0.09549 C09-64 R-prec 0.20423 C09-64 bpref 0.22699 C09-64 recip_rank 0.33333 C09-64 ndcg 0.24233 C09-64 ndcg5 0.11660 C09-64 ndcg10 0.26636 C09-64 ndcg20 0.22356 C09-64 ERR 0.13127 C09-64 ERR10 0.12130 C09-64 ERR20 0.12661 C09-64 P1 0.00000 C09-64 P5 0.40000 C09-64 P10 0.70000 C09-64 P15 0.66667 C09-64 P20 0.50000 C09-64 P30 0.40000 C09-64 P50 0.32000 C09-64 P100 0.22000 C09-64 P200 0.17000 C09-64 P500 0.08400 C09-64 P1000 0.04800 C09-65 num_ret 1000.00000 C09-65 num_unjug_ret@1 0.00000 C09-65 num_unjug_ret@10 0.00000 C09-65 num_unjug_ret@20 0.00000 C09-65 num_unjug_ret@100 31.00000 C09-65 num_unjug_ret@1000 844.00000 C09-65 num_rel 128.00000 C09-65 num_rel_ret 66.00000 C09-65 map 0.27177 C09-65 R-prec 0.29688 C09-65 bpref 0.38965 C09-65 recip_rank 0.50000 C09-65 ndcg 0.42624 C09-65 ndcg5 0.17712 C09-65 ndcg10 0.21421 C09-65 ndcg20 0.29705 C09-65 ERR 0.14697 C09-65 ERR10 0.11965 C09-65 ERR20 0.14048 C09-65 P1 0.00000 C09-65 P5 0.80000 C09-65 P10 0.90000 C09-65 P15 0.93333 C09-65 P20 0.95000 C09-65 P30 0.93333 C09-65 P50 0.64000 C09-65 P100 0.35000 C09-65 P200 0.21500 C09-65 P500 0.10800 C09-65 P1000 0.06600 C09-66 num_ret 1000.00000 C09-66 num_unjug_ret@1 0.00000 C09-66 num_unjug_ret@10 3.00000 C09-66 num_unjug_ret@20 10.00000 C09-66 num_unjug_ret@100 80.00000 C09-66 num_unjug_ret@1000 943.00000 C09-66 num_rel 26.00000 C09-66 num_rel_ret 5.00000 C09-66 map 0.00124 C09-66 R-prec 0.00000 C09-66 bpref 0.00888 C09-66 recip_rank 0.00392 C09-66 ndcg 0.02686 C09-66 ndcg5 0.00000 C09-66 ndcg10 0.00000 C09-66 ndcg20 0.00000 C09-66 ERR 0.00076 C09-66 ERR10 0.00000 C09-66 ERR20 0.00000 C09-66 P1 0.00000 C09-66 P5 0.00000 C09-66 P10 0.00000 C09-66 P15 0.00000 C09-66 P20 0.00000 C09-66 P30 0.00000 C09-66 P50 0.00000 C09-66 P100 0.00000 C09-66 P200 0.00000 C09-66 P500 0.00600 C09-66 P1000 0.00500 C09-67 num_ret 1000.00000 C09-67 num_unjug_ret@1 0.00000 C09-67 num_unjug_ret@10 0.00000 C09-67 num_unjug_ret@20 0.00000 C09-67 num_unjug_ret@100 33.00000 C09-67 num_unjug_ret@1000 869.00000 C09-67 num_rel 127.00000 C09-67 num_rel_ret 46.00000 C09-67 map 0.14209 C09-67 R-prec 0.22835 C09-67 bpref 0.27094 C09-67 recip_rank 0.33333 C09-67 ndcg 0.32177 C09-67 ndcg5 0.34947 C09-67 ndcg10 0.53157 C09-67 ndcg20 0.41071 C09-67 ERR 0.16133 C09-67 ERR10 0.15358 C09-67 ERR20 0.15831 C09-67 P1 0.00000 C09-67 P5 0.60000 C09-67 P10 0.80000 C09-67 P15 0.60000 C09-67 P20 0.70000 C09-67 P30 0.60000 C09-67 P50 0.40000 C09-67 P100 0.27000 C09-67 P200 0.16000 C09-67 P500 0.08800 C09-67 P1000 0.04600 C09-68 num_ret 1000.00000 C09-68 num_unjug_ret@1 0.00000 C09-68 num_unjug_ret@10 0.00000 C09-68 num_unjug_ret@20 1.00000 C09-68 num_unjug_ret@100 48.00000 C09-68 num_unjug_ret@1000 862.00000 C09-68 num_rel 45.00000 C09-68 num_rel_ret 22.00000 C09-68 map 0.20557 C09-68 R-prec 0.22222 C09-68 bpref 0.22321 C09-68 recip_rank 1.00000 C09-68 ndcg 0.37494 C09-68 ndcg5 0.40892 C09-68 ndcg10 0.40689 C09-68 ndcg20 0.36251 C09-68 ERR 0.15271 C09-68 ERR10 0.14382 C09-68 ERR20 0.14951 C09-68 P1 1.00000 C09-68 P5 1.00000 C09-68 P10 0.70000 C09-68 P15 0.53333 C09-68 P20 0.45000 C09-68 P30 0.30000 C09-68 P50 0.20000 C09-68 P100 0.12000 C09-68 P200 0.08000 C09-68 P500 0.04000 C09-68 P1000 0.02200 C09-69 num_ret 1000.00000 C09-69 num_unjug_ret@1 0.00000 C09-69 num_unjug_ret@10 0.00000 C09-69 num_unjug_ret@20 0.00000 C09-69 num_unjug_ret@100 57.00000 C09-69 num_unjug_ret@1000 922.00000 C09-69 num_rel 36.00000 C09-69 num_rel_ret 11.00000 C09-69 map 0.20109 C09-69 R-prec 0.22222 C09-69 bpref 0.21451 C09-69 recip_rank 1.00000 C09-69 ndcg 0.30073 C09-69 ndcg5 0.26301 C09-69 ndcg10 0.27979 C09-69 ndcg20 0.28115 C09-69 ERR 0.15182 C09-69 ERR10 0.14382 C09-69 ERR20 0.15084 C09-69 P1 1.00000 C09-69 P5 1.00000 C09-69 P10 0.70000 C09-69 P15 0.46667 C09-69 P20 0.40000 C09-69 P30 0.26667 C09-69 P50 0.16000 C09-69 P100 0.09000 C09-69 P200 0.04500 C09-69 P500 0.02000 C09-69 P1000 0.01100 C09-70 num_ret 1000.00000 C09-70 num_unjug_ret@1 0.00000 C09-70 num_unjug_ret@10 1.00000 C09-70 num_unjug_ret@20 6.00000 C09-70 num_unjug_ret@100 48.00000 C09-70 num_unjug_ret@1000 885.00000 C09-70 num_rel 11.00000 C09-70 num_rel_ret 0.00000 C09-70 map 0.00000 C09-70 R-prec 0.00000 C09-70 bpref 0.00000 C09-70 recip_rank 0.00000 C09-70 ndcg 0.00000 C09-70 ndcg5 0.00000 C09-70 ndcg10 0.00000 C09-70 ndcg20 0.00000 C09-70 ERR 0.00000 C09-70 ERR10 0.00000 C09-70 ERR20 0.00000 C09-70 P1 0.00000 C09-70 P5 0.00000 C09-70 P10 0.00000 C09-70 P15 0.00000 C09-70 P20 0.00000 C09-70 P30 0.00000 C09-70 P50 0.00000 C09-70 P100 0.00000 C09-70 P200 0.00000 C09-70 P500 0.00000 C09-70 P1000 0.00000 C09-71 num_ret 1000.00000 C09-71 num_unjug_ret@1 0.00000 C09-71 num_unjug_ret@10 3.00000 C09-71 num_unjug_ret@20 11.00000 C09-71 num_unjug_ret@100 88.00000 C09-71 num_unjug_ret@1000 946.00000 C09-71 num_rel 91.00000 C09-71 num_rel_ret 21.00000 C09-71 map 0.00918 C09-71 R-prec 0.02198 C09-71 bpref 0.18331 C09-71 recip_rank 0.05882 C09-71 ndcg 0.11028 C09-71 ndcg5 0.00000 C09-71 ndcg10 0.00000 C09-71 ndcg20 0.00849 C09-71 ERR 0.00902 C09-71 ERR10 0.00000 C09-71 ERR20 0.00368 C09-71 P1 0.00000 C09-71 P5 0.00000 C09-71 P10 0.00000 C09-71 P15 0.00000 C09-71 P20 0.05000 C09-71 P30 0.03333 C09-71 P50 0.04000 C09-71 P100 0.02000 C09-71 P200 0.02000 C09-71 P500 0.03600 C09-71 P1000 0.02100 C09-72 num_ret 1000.00000 C09-72 num_unjug_ret@1 0.00000 C09-72 num_unjug_ret@10 0.00000 C09-72 num_unjug_ret@20 1.00000 C09-72 num_unjug_ret@100 64.00000 C09-72 num_unjug_ret@1000 856.00000 C09-72 num_rel 78.00000 C09-72 num_rel_ret 25.00000 C09-72 map 0.21668 C09-72 R-prec 0.24359 C09-72 bpref 0.27778 C09-72 recip_rank 1.00000 C09-72 ndcg 0.42663 C09-72 ndcg5 0.55991 C09-72 ndcg10 0.71441 C09-72 ndcg20 0.77607 C09-72 ERR 0.23495 C09-72 ERR10 0.22417 C09-72 ERR20 0.23468 C09-72 P1 1.00000 C09-72 P5 0.80000 C09-72 P10 0.90000 C09-72 P15 0.86667 C09-72 P20 0.90000 C09-72 P30 0.63333 C09-72 P50 0.38000 C09-72 P100 0.20000 C09-72 P200 0.10500 C09-72 P500 0.04800 C09-72 P1000 0.02500 C09-73 num_ret 1000.00000 C09-73 num_unjug_ret@1 0.00000 C09-73 num_unjug_ret@10 0.00000 C09-73 num_unjug_ret@20 2.00000 C09-73 num_unjug_ret@100 58.00000 C09-73 num_unjug_ret@1000 926.00000 C09-73 num_rel 276.00000 C09-73 num_rel_ret 59.00000 C09-73 map 0.13971 C09-73 R-prec 0.18116 C09-73 bpref 0.21007 C09-73 recip_rank 1.00000 C09-73 ndcg 0.38320 C09-73 ndcg5 1.00000 C09-73 ndcg10 1.00000 C09-73 ndcg20 0.72964 C09-73 ERR 0.38297 C09-73 ERR10 0.37752 C09-73 ERR20 0.38081 C09-73 P1 1.00000 C09-73 P5 1.00000 C09-73 P10 1.00000 C09-73 P15 0.93333 C09-73 P20 0.85000 C09-73 P30 0.86667 C09-73 P50 0.70000 C09-73 P100 0.39000 C09-73 P200 0.23500 C09-73 P500 0.11200 C09-73 P1000 0.05900 C09-74 num_ret 1000.00000 C09-74 num_unjug_ret@1 1.00000 C09-74 num_unjug_ret@10 4.00000 C09-74 num_unjug_ret@20 7.00000 C09-74 num_unjug_ret@100 44.00000 C09-74 num_unjug_ret@1000 861.00000 C09-74 num_rel 42.00000 C09-74 num_rel_ret 9.00000 C09-74 map 0.02735 C09-74 R-prec 0.07143 C09-74 bpref 0.06633 C09-74 recip_rank 0.50000 C09-74 ndcg 0.14767 C09-74 ndcg5 0.07133 C09-74 ndcg10 0.06837 C09-74 ndcg20 0.09542 C09-74 ERR 0.05414 C09-74 ERR10 0.03776 C09-74 ERR20 0.05149 C09-74 P1 0.00000 C09-74 P5 0.20000 C09-74 P10 0.20000 C09-74 P15 0.20000 C09-74 P20 0.15000 C09-74 P30 0.10000 C09-74 P50 0.06000 C09-74 P100 0.03000 C09-74 P200 0.03000 C09-74 P500 0.01600 C09-74 P1000 0.00900 C09-75 num_ret 1000.00000 C09-75 num_unjug_ret@1 0.00000 C09-75 num_unjug_ret@10 0.00000 C09-75 num_unjug_ret@20 0.00000 C09-75 num_unjug_ret@100 46.00000 C09-75 num_unjug_ret@1000 855.00000 C09-75 num_rel 174.00000 C09-75 num_rel_ret 97.00000 C09-75 map 0.22986 C09-75 R-prec 0.32184 C09-75 bpref 0.51169 C09-75 recip_rank 0.50000 C09-75 ndcg 0.47621 C09-75 ndcg5 0.06511 C09-75 ndcg10 0.26705 C09-75 ndcg20 0.45224 C09-75 ERR 0.14922 C09-75 ERR10 0.12798 C09-75 ERR20 0.14820 C09-75 P1 0.00000 C09-75 P5 0.40000 C09-75 P10 0.70000 C09-75 P15 0.80000 C09-75 P20 0.85000 C09-75 P30 0.63333 C09-75 P50 0.52000 C09-75 P100 0.46000 C09-75 P200 0.29500 C09-75 P500 0.16400 C09-75 P1000 0.09700 C09-76 num_ret 1000.00000 C09-76 num_unjug_ret@1 0.00000 C09-76 num_unjug_ret@10 0.00000 C09-76 num_unjug_ret@20 4.00000 C09-76 num_unjug_ret@100 50.00000 C09-76 num_unjug_ret@1000 902.00000 C09-76 num_rel 178.00000 C09-76 num_rel_ret 50.00000 C09-76 map 0.11222 C09-76 R-prec 0.20787 C09-76 bpref 0.25237 C09-76 recip_rank 1.00000 C09-76 ndcg 0.26387 C09-76 ndcg5 0.14535 C09-76 ndcg10 0.26324 C09-76 ndcg20 0.25064 C09-76 ERR 0.26505 C09-76 ERR10 0.25145 C09-76 ERR20 0.25884 C09-76 P1 1.00000 C09-76 P5 0.20000 C09-76 P10 0.60000 C09-76 P15 0.60000 C09-76 P20 0.50000 C09-76 P30 0.56667 C09-76 P50 0.44000 C09-76 P100 0.31000 C09-76 P200 0.19500 C09-76 P500 0.10000 C09-76 P1000 0.05000 C09-77 num_ret 1000.00000 C09-77 num_unjug_ret@1 0.00000 C09-77 num_unjug_ret@10 0.00000 C09-77 num_unjug_ret@20 0.00000 C09-77 num_unjug_ret@100 40.00000 C09-77 num_unjug_ret@1000 868.00000 C09-77 num_rel 68.00000 C09-77 num_rel_ret 21.00000 C09-77 map 0.04417 C09-77 R-prec 0.10294 C09-77 bpref 0.08478 C09-77 recip_rank 0.50000 C09-77 ndcg 0.26125 C09-77 ndcg5 0.33135 C09-77 ndcg10 0.21503 C09-77 ndcg20 0.14968 C09-77 ERR 0.21917 C09-77 ERR10 0.21411 C09-77 ERR20 0.21554 C09-77 P1 0.00000 C09-77 P5 0.60000 C09-77 P10 0.30000 C09-77 P15 0.26667 C09-77 P20 0.20000 C09-77 P30 0.13333 C09-77 P50 0.08000 C09-77 P100 0.09000 C09-77 P200 0.05000 C09-77 P500 0.03000 C09-77 P1000 0.02100 C09-78 num_ret 1000.00000 C09-78 num_unjug_ret@1 0.00000 C09-78 num_unjug_ret@10 0.00000 C09-78 num_unjug_ret@20 1.00000 C09-78 num_unjug_ret@100 57.00000 C09-78 num_unjug_ret@1000 883.00000 C09-78 num_rel 67.00000 C09-78 num_rel_ret 14.00000 C09-78 map 0.00930 C09-78 R-prec 0.02985 C09-78 bpref 0.06349 C09-78 recip_rank 0.04545 C09-78 ndcg 0.11650 C09-78 ndcg5 0.00000 C09-78 ndcg10 0.00000 C09-78 ndcg20 0.00000 C09-78 ERR 0.00943 C09-78 ERR10 0.00000 C09-78 ERR20 0.00000 C09-78 P1 0.00000 C09-78 P5 0.00000 C09-78 P10 0.00000 C09-78 P15 0.00000 C09-78 P20 0.00000 C09-78 P30 0.03333 C09-78 P50 0.02000 C09-78 P100 0.04000 C09-78 P200 0.05000 C09-78 P500 0.02400 C09-78 P1000 0.01400 C09-79 num_ret 1000.00000 C09-79 num_unjug_ret@1 0.00000 C09-79 num_unjug_ret@10 5.00000 C09-79 num_unjug_ret@20 13.00000 C09-79 num_unjug_ret@100 58.00000 C09-79 num_unjug_ret@1000 889.00000 C09-79 num_rel 89.00000 C09-79 num_rel_ret 56.00000 C09-79 map 0.07189 C09-79 R-prec 0.16854 C09-79 bpref 0.39591 C09-79 recip_rank 0.02000 C09-79 ndcg 0.35751 C09-79 ndcg5 0.00000 C09-79 ndcg10 0.00000 C09-79 ndcg20 0.00000 C09-79 ERR 0.01605 C09-79 ERR10 0.00000 C09-79 ERR20 0.00000 C09-79 P1 0.00000 C09-79 P5 0.00000 C09-79 P10 0.00000 C09-79 P15 0.00000 C09-79 P20 0.00000 C09-79 P30 0.00000 C09-79 P50 0.02000 C09-79 P100 0.21000 C09-79 P200 0.14000 C09-79 P500 0.07000 C09-79 P1000 0.05600 C09-80 num_ret 1000.00000 C09-80 num_unjug_ret@1 0.00000 C09-80 num_unjug_ret@10 1.00000 C09-80 num_unjug_ret@20 9.00000 C09-80 num_unjug_ret@100 43.00000 C09-80 num_unjug_ret@1000 898.00000 C09-80 num_rel 280.00000 C09-80 num_rel_ret 81.00000 C09-80 map 0.12879 C09-80 R-prec 0.25714 C09-80 bpref 0.27988 C09-80 recip_rank 1.00000 C09-80 ndcg 0.33753 C09-80 ndcg5 1.00000 C09-80 ndcg10 0.93638 C09-80 ndcg20 0.67744 C09-80 ERR 0.16985 C09-80 ERR10 0.15536 C09-80 ERR20 0.16032 C09-80 P1 1.00000 C09-80 P5 1.00000 C09-80 P10 0.90000 C09-80 P15 0.66667 C09-80 P20 0.55000 C09-80 P30 0.36667 C09-80 P50 0.40000 C09-80 P100 0.46000 C09-80 P200 0.29000 C09-80 P500 0.15800 C09-80 P1000 0.08100 C09-81 num_ret 1000.00000 C09-81 num_unjug_ret@1 0.00000 C09-81 num_unjug_ret@10 3.00000 C09-81 num_unjug_ret@20 12.00000 C09-81 num_unjug_ret@100 64.00000 C09-81 num_unjug_ret@1000 870.00000 C09-81 num_rel 49.00000 C09-81 num_rel_ret 15.00000 C09-81 map 0.01628 C09-81 R-prec 0.02041 C09-81 bpref 0.04915 C09-81 recip_rank 0.25000 C09-81 ndcg 0.16700 C09-81 ndcg5 0.04869 C09-81 ndcg10 0.03160 C09-81 ndcg20 0.02500 C09-81 ERR 0.02044 C09-81 ERR10 0.01563 C09-81 ERR20 0.01563 C09-81 P1 0.00000 C09-81 P5 0.20000 C09-81 P10 0.10000 C09-81 P15 0.06667 C09-81 P20 0.05000 C09-81 P30 0.03333 C09-81 P50 0.02000 C09-81 P100 0.02000 C09-81 P200 0.03000 C09-81 P500 0.02800 C09-81 P1000 0.01500 C09-82 num_ret 1000.00000 C09-82 num_unjug_ret@1 0.00000 C09-82 num_unjug_ret@10 1.00000 C09-82 num_unjug_ret@20 1.00000 C09-82 num_unjug_ret@100 49.00000 C09-82 num_unjug_ret@1000 859.00000 C09-82 num_rel 93.00000 C09-82 num_rel_ret 38.00000 C09-82 map 0.13665 C09-82 R-prec 0.24731 C09-82 bpref 0.25390 C09-82 recip_rank 1.00000 C09-82 ndcg 0.26212 C09-82 ndcg5 0.06507 C09-82 ndcg10 0.06396 C09-82 ndcg20 0.15650 C09-82 ERR 0.11498 C09-82 ERR10 0.06836 C09-82 ERR20 0.10327 C09-82 P1 1.00000 C09-82 P5 0.20000 C09-82 P10 0.20000 C09-82 P15 0.46667 C09-82 P20 0.60000 C09-82 P30 0.60000 C09-82 P50 0.40000 C09-82 P100 0.23000 C09-82 P200 0.12500 C09-82 P500 0.06200 C09-82 P1000 0.03800 C09-83 num_ret 1000.00000 C09-83 num_unjug_ret@1 1.00000 C09-83 num_unjug_ret@10 10.00000 C09-83 num_unjug_ret@20 16.00000 C09-83 num_unjug_ret@100 93.00000 C09-83 num_unjug_ret@1000 896.00000 C09-83 num_rel 64.00000 C09-83 num_rel_ret 0.00000 C09-83 map 0.00000 C09-83 R-prec 0.00000 C09-83 bpref 0.00000 C09-83 recip_rank 0.00000 C09-83 ndcg 0.00000 C09-83 ndcg5 0.00000 C09-83 ndcg10 0.00000 C09-83 ndcg20 0.00000 C09-83 ERR 0.00000 C09-83 ERR10 0.00000 C09-83 ERR20 0.00000 C09-83 P1 0.00000 C09-83 P5 0.00000 C09-83 P10 0.00000 C09-83 P15 0.00000 C09-83 P20 0.00000 C09-83 P30 0.00000 C09-83 P50 0.00000 C09-83 P100 0.00000 C09-83 P200 0.00000 C09-83 P500 0.00000 C09-83 P1000 0.00000 C09-84 num_ret 1000.00000 C09-84 num_unjug_ret@1 0.00000 C09-84 num_unjug_ret@10 0.00000 C09-84 num_unjug_ret@20 0.00000 C09-84 num_unjug_ret@100 27.00000 C09-84 num_unjug_ret@1000 894.00000 C09-84 num_rel 226.00000 C09-84 num_rel_ret 89.00000 C09-84 map 0.29456 C09-84 R-prec 0.31858 C09-84 bpref 0.35001 C09-84 recip_rank 1.00000 C09-84 ndcg 0.51452 C09-84 ndcg5 1.00000 C09-84 ndcg10 1.00000 C09-84 ndcg20 1.00000 C09-84 ERR 0.38629 C09-84 ERR10 0.37752 C09-84 ERR20 0.38566 C09-84 P1 1.00000 C09-84 P5 1.00000 C09-84 P10 1.00000 C09-84 P15 1.00000 C09-84 P20 1.00000 C09-84 P30 0.96667 C09-84 P50 0.92000 C09-84 P100 0.64000 C09-84 P200 0.36000 C09-84 P500 0.16800 C09-84 P1000 0.08900 C09-85 num_ret 1000.00000 C09-85 num_unjug_ret@1 0.00000 C09-85 num_unjug_ret@10 3.00000 C09-85 num_unjug_ret@20 9.00000 C09-85 num_unjug_ret@100 60.00000 C09-85 num_unjug_ret@1000 934.00000 C09-85 num_rel 149.00000 C09-85 num_rel_ret 16.00000 C09-85 map 0.02256 C09-85 R-prec 0.06040 C09-85 bpref 0.08333 C09-85 recip_rank 1.00000 C09-85 ndcg 0.07551 C09-85 ndcg5 0.10612 C09-85 ndcg10 0.08092 C09-85 ndcg20 0.07782 C09-85 ERR 0.10445 C09-85 ERR10 0.09180 C09-85 ERR20 0.09981 C09-85 P1 1.00000 C09-85 P5 0.40000 C09-85 P10 0.20000 C09-85 P15 0.26667 C09-85 P20 0.20000 C09-85 P30 0.13333 C09-85 P50 0.14000 C09-85 P100 0.08000 C09-85 P200 0.05500 C09-85 P500 0.02600 C09-85 P1000 0.01600 C09-86 num_ret 1000.00000 C09-86 num_unjug_ret@1 0.00000 C09-86 num_unjug_ret@10 0.00000 C09-86 num_unjug_ret@20 5.00000 C09-86 num_unjug_ret@100 38.00000 C09-86 num_unjug_ret@1000 836.00000 C09-86 num_rel 88.00000 C09-86 num_rel_ret 55.00000 C09-86 map 0.27716 C09-86 R-prec 0.25000 C09-86 bpref 0.39295 C09-86 recip_rank 1.00000 C09-86 ndcg 0.60312 C09-86 ndcg5 0.68860 C09-86 ndcg10 0.77312 C09-86 ndcg20 0.64151 C09-86 ERR 0.38374 C09-86 ERR10 0.37752 C09-86 ERR20 0.38213 C09-86 P1 1.00000 C09-86 P5 1.00000 C09-86 P10 1.00000 C09-86 P15 0.73333 C09-86 P20 0.60000 C09-86 P30 0.53333 C09-86 P50 0.36000 C09-86 P100 0.29000 C09-86 P200 0.21000 C09-86 P500 0.11000 C09-86 P1000 0.05500 C09-87 num_ret 1000.00000 C09-87 num_unjug_ret@1 0.00000 C09-87 num_unjug_ret@10 0.00000 C09-87 num_unjug_ret@20 5.00000 C09-87 num_unjug_ret@100 59.00000 C09-87 num_unjug_ret@1000 916.00000 C09-87 num_rel 58.00000 C09-87 num_rel_ret 35.00000 C09-87 map 0.19784 C09-87 R-prec 0.24138 C09-87 bpref 0.40933 C09-87 recip_rank 1.00000 C09-87 ndcg 0.46482 C09-87 ndcg5 0.35527 C09-87 ndcg10 0.36922 C09-87 ndcg20 0.33354 C09-87 ERR 0.15413 C09-87 ERR10 0.13749 C09-87 ERR20 0.14360 C09-87 P1 1.00000 C09-87 P5 0.80000 C09-87 P10 0.60000 C09-87 P15 0.53333 C09-87 P20 0.40000 C09-87 P30 0.36667 C09-87 P50 0.26000 C09-87 P100 0.20000 C09-87 P200 0.11500 C09-87 P500 0.06400 C09-87 P1000 0.03500 C09-88 num_ret 1000.00000 C09-88 num_unjug_ret@1 0.00000 C09-88 num_unjug_ret@10 3.00000 C09-88 num_unjug_ret@20 6.00000 C09-88 num_unjug_ret@100 48.00000 C09-88 num_unjug_ret@1000 909.00000 C09-88 num_rel 115.00000 C09-88 num_rel_ret 35.00000 C09-88 map 0.11815 C09-88 R-prec 0.26957 C09-88 bpref 0.26367 C09-88 recip_rank 1.00000 C09-88 ndcg 0.29009 C09-88 ndcg5 0.25912 C09-88 ndcg10 0.21637 C09-88 ndcg20 0.22936 C09-88 ERR 0.14518 C09-88 ERR10 0.11934 C09-88 ERR20 0.13443 C09-88 P1 1.00000 C09-88 P5 0.40000 C09-88 P10 0.40000 C09-88 P15 0.33333 C09-88 P20 0.45000 C09-88 P30 0.43333 C09-88 P50 0.40000 C09-88 P100 0.28000 C09-88 P200 0.15500 C09-88 P500 0.06800 C09-88 P1000 0.03500 C09-89 num_ret 1000.00000 C09-89 num_unjug_ret@1 0.00000 C09-89 num_unjug_ret@10 0.00000 C09-89 num_unjug_ret@20 0.00000 C09-89 num_unjug_ret@100 36.00000 C09-89 num_unjug_ret@1000 837.00000 C09-89 num_rel 167.00000 C09-89 num_rel_ret 91.00000 C09-89 map 0.25661 C09-89 R-prec 0.32934 C09-89 bpref 0.45724 C09-89 recip_rank 0.50000 C09-89 ndcg 0.64663 C09-89 ndcg5 0.66084 C09-89 ndcg10 0.77991 C09-89 ndcg20 0.79122 C09-89 ERR 0.36528 C09-89 ERR10 0.36482 C09-89 ERR20 0.36528 C09-89 P1 0.00000 C09-89 P5 0.80000 C09-89 P10 0.90000 C09-89 P15 0.93333 C09-89 P20 0.95000 C09-89 P30 0.66667 C09-89 P50 0.60000 C09-89 P100 0.42000 C09-89 P200 0.30000 C09-89 P500 0.16200 C09-89 P1000 0.09100 C09-90 num_ret 1000.00000 C09-90 num_unjug_ret@1 0.00000 C09-90 num_unjug_ret@10 0.00000 C09-90 num_unjug_ret@20 0.00000 C09-90 num_unjug_ret@100 46.00000 C09-90 num_unjug_ret@1000 914.00000 C09-90 num_rel 47.00000 C09-90 num_rel_ret 23.00000 C09-90 map 0.31118 C09-90 R-prec 0.27660 C09-90 bpref 0.34767 C09-90 recip_rank 1.00000 C09-90 ndcg 0.45364 C09-90 ndcg5 0.39721 C09-90 ndcg10 0.51802 C09-90 ndcg20 0.48242 C09-90 ERR 0.35186 C09-90 ERR10 0.34425 C09-90 ERR20 0.35128 C09-90 P1 1.00000 C09-90 P5 1.00000 C09-90 P10 1.00000 C09-90 P15 0.80000 C09-90 P20 0.60000 C09-90 P30 0.40000 C09-90 P50 0.26000 C09-90 P100 0.22000 C09-90 P200 0.11000 C09-90 P500 0.04600 C09-90 P1000 0.02300 C09-91 num_ret 1000.00000 C09-91 num_unjug_ret@1 0.00000 C09-91 num_unjug_ret@10 2.00000 C09-91 num_unjug_ret@20 2.00000 C09-91 num_unjug_ret@100 59.00000 C09-91 num_unjug_ret@1000 925.00000 C09-91 num_rel 158.00000 C09-91 num_rel_ret 38.00000 C09-91 map 0.08520 C09-91 R-prec 0.16456 C09-91 bpref 0.22092 C09-91 recip_rank 0.25000 C09-91 ndcg 0.21791 C09-91 ndcg5 0.09242 C09-91 ndcg10 0.11056 C09-91 ndcg20 0.11656 C09-91 ERR 0.07337 C09-91 ERR10 0.04386 C09-91 ERR20 0.05419 C09-91 P1 0.00000 C09-91 P5 0.40000 C09-91 P10 0.40000 C09-91 P15 0.33333 C09-91 P20 0.40000 C09-91 P30 0.53333 C09-91 P50 0.44000 C09-91 P100 0.26000 C09-91 P200 0.16000 C09-91 P500 0.07400 C09-91 P1000 0.03800 C09-92 num_ret 1000.00000 C09-92 num_unjug_ret@1 0.00000 C09-92 num_unjug_ret@10 5.00000 C09-92 num_unjug_ret@20 10.00000 C09-92 num_unjug_ret@100 51.00000 C09-92 num_unjug_ret@1000 868.00000 C09-92 num_rel 15.00000 C09-92 num_rel_ret 3.00000 C09-92 map 0.06627 C09-92 R-prec 0.20000 C09-92 bpref 0.17333 C09-92 recip_rank 0.33333 C09-92 ndcg 0.31375 C09-92 ndcg5 0.18584 C09-92 ndcg10 0.35652 C09-92 ndcg20 0.31375 C09-92 ERR 0.09974 C09-92 ERR10 0.09974 C09-92 ERR20 0.09974 C09-92 P1 0.00000 C09-92 P5 0.20000 C09-92 P10 0.30000 C09-92 P15 0.20000 C09-92 P20 0.15000 C09-92 P30 0.10000 C09-92 P50 0.06000 C09-92 P100 0.03000 C09-92 P200 0.01500 C09-92 P500 0.00600 C09-92 P1000 0.00300 C09-93 num_ret 1000.00000 C09-93 num_unjug_ret@1 0.00000 C09-93 num_unjug_ret@10 0.00000 C09-93 num_unjug_ret@20 2.00000 C09-93 num_unjug_ret@100 50.00000 C09-93 num_unjug_ret@1000 865.00000 C09-93 num_rel 35.00000 C09-93 num_rel_ret 15.00000 C09-93 map 0.05350 C09-93 R-prec 0.17143 C09-93 bpref 0.10531 C09-93 recip_rank 0.07143 C09-93 ndcg 0.16204 C09-93 ndcg5 0.00000 C09-93 ndcg10 0.00000 C09-93 ndcg20 0.08081 C09-93 ERR 0.03311 C09-93 ERR10 0.00000 C09-93 ERR20 0.02598 C09-93 P1 0.00000 C09-93 P5 0.00000 C09-93 P10 0.00000 C09-93 P15 0.13333 C09-93 P20 0.15000 C09-93 P30 0.16667 C09-93 P50 0.14000 C09-93 P100 0.11000 C09-93 P200 0.06500 C09-93 P500 0.03000 C09-93 P1000 0.01500 C09-94 num_ret 1000.00000 C09-94 num_unjug_ret@1 1.00000 C09-94 num_unjug_ret@10 9.00000 C09-94 num_unjug_ret@20 12.00000 C09-94 num_unjug_ret@100 56.00000 C09-94 num_unjug_ret@1000 910.00000 C09-94 num_rel 15.00000 C09-94 num_rel_ret 5.00000 C09-94 map 0.00857 C09-94 R-prec 0.00000 C09-94 bpref 0.00000 C09-94 recip_rank 0.02222 C09-94 ndcg 0.12961 C09-94 ndcg5 0.00000 C09-94 ndcg10 0.00000 C09-94 ndcg20 0.00000 C09-94 ERR 0.00770 C09-94 ERR10 0.00000 C09-94 ERR20 0.00000 C09-94 P1 0.00000 C09-94 P5 0.00000 C09-94 P10 0.00000 C09-94 P15 0.00000 C09-94 P20 0.00000 C09-94 P30 0.00000 C09-94 P50 0.02000 C09-94 P100 0.03000 C09-94 P200 0.02000 C09-94 P500 0.00800 C09-94 P1000 0.00500 C09-96 num_ret 1000.00000 C09-96 num_unjug_ret@1 0.00000 C09-96 num_unjug_ret@10 0.00000 C09-96 num_unjug_ret@20 0.00000 C09-96 num_unjug_ret@100 56.00000 C09-96 num_unjug_ret@1000 882.00000 C09-96 num_rel 93.00000 C09-96 num_rel_ret 34.00000 C09-96 map 0.02441 C09-96 R-prec 0.07527 C09-96 bpref 0.14117 C09-96 recip_rank 0.04762 C09-96 ndcg 0.23351 C09-96 ndcg5 0.00000 C09-96 ndcg10 0.00000 C09-96 ndcg20 0.00000 C09-96 ERR 0.02946 C09-96 ERR10 0.00000 C09-96 ERR20 0.00000 C09-96 P1 0.00000 C09-96 P5 0.00000 C09-96 P10 0.00000 C09-96 P15 0.00000 C09-96 P20 0.00000 C09-96 P30 0.16667 C09-96 P50 0.12000 C09-96 P100 0.07000 C09-96 P200 0.06000 C09-96 P500 0.05000 C09-96 P1000 0.03400 C09-97 num_ret 1000.00000 C09-97 num_unjug_ret@1 0.00000 C09-97 num_unjug_ret@10 0.00000 C09-97 num_unjug_ret@20 3.00000 C09-97 num_unjug_ret@100 64.00000 C09-97 num_unjug_ret@1000 841.00000 C09-97 num_rel 192.00000 C09-97 num_rel_ret 58.00000 C09-97 map 0.08819 C09-97 R-prec 0.15625 C09-97 bpref 0.24533 C09-97 recip_rank 0.25000 C09-97 ndcg 0.36253 C09-97 ndcg5 0.14607 C09-97 ndcg10 0.27525 C09-97 ndcg20 0.43363 C09-97 ERR 0.11941 C09-97 ERR10 0.08790 C09-97 ERR20 0.11581 C09-97 P1 0.00000 C09-97 P5 0.20000 C09-97 P10 0.50000 C09-97 P15 0.66667 C09-97 P20 0.60000 C09-97 P30 0.56667 C09-97 P50 0.46000 C09-97 P100 0.26000 C09-97 P200 0.15000 C09-97 P500 0.08400 C09-97 P1000 0.05800 C09-98 num_ret 1000.00000 C09-98 num_unjug_ret@1 0.00000 C09-98 num_unjug_ret@10 6.00000 C09-98 num_unjug_ret@20 14.00000 C09-98 num_unjug_ret@100 59.00000 C09-98 num_unjug_ret@1000 883.00000 C09-98 num_rel 127.00000 C09-98 num_rel_ret 49.00000 C09-98 map 0.09592 C09-98 R-prec 0.23622 C09-98 bpref 0.31725 C09-98 recip_rank 1.00000 C09-98 ndcg 0.31485 C09-98 ndcg5 0.22755 C09-98 ndcg10 0.16579 C09-98 ndcg20 0.18797 C09-98 ERR 0.16100 C09-98 ERR10 0.13300 C09-98 ERR20 0.15055 C09-98 P1 1.00000 C09-98 P5 0.60000 C09-98 P10 0.30000 C09-98 P15 0.33333 C09-98 P20 0.25000 C09-98 P30 0.26667 C09-98 P50 0.26000 C09-98 P100 0.23000 C09-98 P200 0.17000 C09-98 P500 0.08600 C09-98 P1000 0.04900 C09-99 num_ret 1000.00000 C09-99 num_unjug_ret@1 0.00000 C09-99 num_unjug_ret@10 3.00000 C09-99 num_unjug_ret@20 10.00000 C09-99 num_unjug_ret@100 70.00000 C09-99 num_unjug_ret@1000 922.00000 C09-99 num_rel 63.00000 C09-99 num_rel_ret 37.00000 C09-99 map 0.11175 C09-99 R-prec 0.09524 C09-99 bpref 0.48702 C09-99 recip_rank 0.50000 C09-99 ndcg 0.40580 C09-99 ndcg5 0.12512 C09-99 ndcg10 0.13844 C09-99 ndcg20 0.19591 C09-99 ERR 0.12286 C09-99 ERR10 0.08948 C09-99 ERR20 0.11612 C09-99 P1 0.00000 C09-99 P5 0.40000 C09-99 P10 0.30000 C09-99 P15 0.26667 C09-99 P20 0.25000 C09-99 P30 0.20000 C09-99 P50 0.12000 C09-99 P100 0.24000 C09-99 P200 0.14000 C09-99 P500 0.06800 C09-99 P1000 0.03700 C09-101 num_ret 1000.00000 C09-101 num_unjug_ret@1 0.00000 C09-101 num_unjug_ret@10 0.00000 C09-101 num_unjug_ret@20 4.00000 C09-101 num_unjug_ret@100 55.00000 C09-101 num_unjug_ret@1000 913.00000 C09-101 num_rel 84.00000 C09-101 num_rel_ret 10.00000 C09-101 map 0.02689 C09-101 R-prec 0.05952 C09-101 bpref 0.07837 C09-101 recip_rank 1.00000 C09-101 ndcg 0.11018 C09-101 ndcg5 0.16958 C09-101 ndcg10 0.11005 C09-101 ndcg20 0.08708 C09-101 ERR 0.09025 C09-101 ERR10 0.08203 C09-101 ERR20 0.08203 C09-101 P1 1.00000 C09-101 P5 0.40000 C09-101 P10 0.20000 C09-101 P15 0.13333 C09-101 P20 0.10000 C09-101 P30 0.06667 C09-101 P50 0.08000 C09-101 P100 0.06000 C09-101 P200 0.04500 C09-101 P500 0.02000 C09-101 P1000 0.01000 C09-102 num_ret 1000.00000 C09-102 num_unjug_ret@1 0.00000 C09-102 num_unjug_ret@10 1.00000 C09-102 num_unjug_ret@20 3.00000 C09-102 num_unjug_ret@100 54.00000 C09-102 num_unjug_ret@1000 872.00000 C09-102 num_rel 22.00000 C09-102 num_rel_ret 1.00000 C09-102 map 0.00909 C09-102 R-prec 0.04545 C09-102 bpref 0.03719 C09-102 recip_rank 0.20000 C09-102 ndcg 0.03293 C09-102 ndcg5 0.05365 C09-102 ndcg10 0.04393 C09-102 ndcg20 0.03423 C09-102 ERR 0.01250 C09-102 ERR10 0.01250 C09-102 ERR20 0.01250 C09-102 P1 0.00000 C09-102 P5 0.20000 C09-102 P10 0.10000 C09-102 P15 0.06667 C09-102 P20 0.05000 C09-102 P30 0.03333 C09-102 P50 0.02000 C09-102 P100 0.01000 C09-102 P200 0.00500 C09-102 P500 0.00200 C09-102 P1000 0.00100 C09-103 num_ret 1000.00000 C09-103 num_unjug_ret@1 0.00000 C09-103 num_unjug_ret@10 0.00000 C09-103 num_unjug_ret@20 0.00000 C09-103 num_unjug_ret@100 58.00000 C09-103 num_unjug_ret@1000 940.00000 C09-103 num_rel 58.00000 C09-103 num_rel_ret 26.00000 C09-103 map 0.31693 C09-103 R-prec 0.43103 C09-103 bpref 0.41023 C09-103 recip_rank 0.50000 C09-103 ndcg 0.58042 C09-103 ndcg5 0.49126 C09-103 ndcg10 0.66986 C09-103 ndcg20 0.73252 C09-103 ERR 0.21621 C09-103 ERR10 0.20370 C09-103 ERR20 0.21552 C09-103 P1 0.00000 C09-103 P5 0.60000 C09-103 P10 0.80000 C09-103 P15 0.86667 C09-103 P20 0.85000 C09-103 P30 0.70000 C09-103 P50 0.48000 C09-103 P100 0.26000 C09-103 P200 0.13000 C09-103 P500 0.05200 C09-103 P1000 0.02600 C09-104 num_ret 1000.00000 C09-104 num_unjug_ret@1 0.00000 C09-104 num_unjug_ret@10 1.00000 C09-104 num_unjug_ret@20 1.00000 C09-104 num_unjug_ret@100 54.00000 C09-104 num_unjug_ret@1000 886.00000 C09-104 num_rel 21.00000 C09-104 num_rel_ret 4.00000 C09-104 map 0.14323 C09-104 R-prec 0.14286 C09-104 bpref 0.14286 C09-104 recip_rank 1.00000 C09-104 ndcg 0.34255 C09-104 ndcg5 0.72273 C09-104 ndcg10 0.46900 C09-104 ndcg20 0.34071 C09-104 ERR 0.30500 C09-104 ERR10 0.30493 C09-104 ERR20 0.30493 C09-104 P1 1.00000 C09-104 P5 0.60000 C09-104 P10 0.30000 C09-104 P15 0.20000 C09-104 P20 0.15000 C09-104 P30 0.10000 C09-104 P50 0.06000 C09-104 P100 0.03000 C09-104 P200 0.01500 C09-104 P500 0.00600 C09-104 P1000 0.00400 C09-105 num_ret 1000.00000 C09-105 num_unjug_ret@1 0.00000 C09-105 num_unjug_ret@10 4.00000 C09-105 num_unjug_ret@20 11.00000 C09-105 num_unjug_ret@100 64.00000 C09-105 num_unjug_ret@1000 881.00000 C09-105 num_rel 109.00000 C09-105 num_rel_ret 26.00000 C09-105 map 0.03287 C09-105 R-prec 0.08257 C09-105 bpref 0.13686 C09-105 recip_rank 1.00000 C09-105 ndcg 0.20040 C09-105 ndcg5 0.32958 C09-105 ndcg10 0.24924 C09-105 ndcg20 0.18041 C09-105 ERR 0.10122 C09-105 ERR10 0.09180 C09-105 ERR20 0.09180 C09-105 P1 1.00000 C09-105 P5 0.40000 C09-105 P10 0.20000 C09-105 P15 0.13333 C09-105 P20 0.10000 C09-105 P30 0.13333 C09-105 P50 0.12000 C09-105 P100 0.09000 C09-105 P200 0.06500 C09-105 P500 0.03400 C09-105 P1000 0.02600 C09-106 num_ret 1000.00000 C09-106 num_unjug_ret@1 0.00000 C09-106 num_unjug_ret@10 0.00000 C09-106 num_unjug_ret@20 3.00000 C09-106 num_unjug_ret@100 66.00000 C09-106 num_unjug_ret@1000 943.00000 C09-106 num_rel 10.00000 C09-106 num_rel_ret 0.00000 C09-106 map 0.00000 C09-106 R-prec 0.00000 C09-106 bpref 0.00000 C09-106 recip_rank 0.00000 C09-106 ndcg 0.00000 C09-106 ndcg5 0.00000 C09-106 ndcg10 0.00000 C09-106 ndcg20 0.00000 C09-106 ERR 0.00000 C09-106 ERR10 0.00000 C09-106 ERR20 0.00000 C09-106 P1 0.00000 C09-106 P5 0.00000 C09-106 P10 0.00000 C09-106 P15 0.00000 C09-106 P20 0.00000 C09-106 P30 0.00000 C09-106 P50 0.00000 C09-106 P100 0.00000 C09-106 P200 0.00000 C09-106 P500 0.00000 C09-106 P1000 0.00000 C09-107 num_ret 1000.00000 C09-107 num_unjug_ret@1 0.00000 C09-107 num_unjug_ret@10 7.00000 C09-107 num_unjug_ret@20 12.00000 C09-107 num_unjug_ret@100 67.00000 C09-107 num_unjug_ret@1000 848.00000 C09-107 num_rel 52.00000 C09-107 num_rel_ret 36.00000 C09-107 map 0.05325 C09-107 R-prec 0.05769 C09-107 bpref 0.07766 C09-107 recip_rank 0.06667 C09-107 ndcg 0.28569 C09-107 ndcg5 0.00000 C09-107 ndcg10 0.00000 C09-107 ndcg20 0.08164 C09-107 ERR 0.02686 C09-107 ERR10 0.00000 C09-107 ERR20 0.02319 C09-107 P1 0.00000 C09-107 P5 0.00000 C09-107 P10 0.00000 C09-107 P15 0.06667 C09-107 P20 0.15000 C09-107 P30 0.10000 C09-107 P50 0.06000 C09-107 P100 0.04000 C09-107 P200 0.08000 C09-107 P500 0.07200 C09-107 P1000 0.03600 C09-108 num_ret 1000.00000 C09-108 num_unjug_ret@1 0.00000 C09-108 num_unjug_ret@10 0.00000 C09-108 num_unjug_ret@20 3.00000 C09-108 num_unjug_ret@100 52.00000 C09-108 num_unjug_ret@1000 882.00000 C09-108 num_rel 73.00000 C09-108 num_rel_ret 49.00000 C09-108 map 0.47281 C09-108 R-prec 0.49315 C09-108 bpref 0.63858 C09-108 recip_rank 1.00000 C09-108 ndcg 0.58431 C09-108 ndcg5 0.51818 C09-108 ndcg10 0.64492 C09-108 ndcg20 0.57626 C09-108 ERR 0.22748 C09-108 ERR10 0.21865 C09-108 ERR20 0.22408 C09-108 P1 1.00000 C09-108 P5 1.00000 C09-108 P10 1.00000 C09-108 P15 0.86667 C09-108 P20 0.85000 C09-108 P30 0.70000 C09-108 P50 0.62000 C09-108 P100 0.43000 C09-108 P200 0.23500 C09-108 P500 0.09800 C09-108 P1000 0.04900 C09-109 num_ret 1000.00000 C09-109 num_unjug_ret@1 0.00000 C09-109 num_unjug_ret@10 0.00000 C09-109 num_unjug_ret@20 2.00000 C09-109 num_unjug_ret@100 41.00000 C09-109 num_unjug_ret@1000 873.00000 C09-109 num_rel 11.00000 C09-109 num_rel_ret 3.00000 C09-109 map 0.00728 C09-109 R-prec 0.00000 C09-109 bpref 0.00000 C09-109 recip_rank 0.05263 C09-109 ndcg 0.10349 C09-109 ndcg5 0.00000 C09-109 ndcg10 0.00000 C09-109 ndcg20 0.04798 C09-109 ERR 0.00397 C09-109 ERR10 0.00000 C09-109 ERR20 0.00329 C09-109 P1 0.00000 C09-109 P5 0.00000 C09-109 P10 0.00000 C09-109 P15 0.00000 C09-109 P20 0.05000 C09-109 P30 0.03333 C09-109 P50 0.02000 C09-109 P100 0.01000 C09-109 P200 0.01000 C09-109 P500 0.00600 C09-109 P1000 0.00300 C09-110 num_ret 1000.00000 C09-110 num_unjug_ret@1 1.00000 C09-110 num_unjug_ret@10 8.00000 C09-110 num_unjug_ret@20 18.00000 C09-110 num_unjug_ret@100 94.00000 C09-110 num_unjug_ret@1000 904.00000 C09-110 num_rel 63.00000 C09-110 num_rel_ret 21.00000 C09-110 map 0.00475 C09-110 R-prec 0.00000 C09-110 bpref 0.09373 C09-110 recip_rank 0.00379 C09-110 ndcg 0.14459 C09-110 ndcg5 0.00000 C09-110 ndcg10 0.00000 C09-110 ndcg20 0.00000 C09-110 ERR 0.00167 C09-110 ERR10 0.00000 C09-110 ERR20 0.00000 C09-110 P1 0.00000 C09-110 P5 0.00000 C09-110 P10 0.00000 C09-110 P15 0.00000 C09-110 P20 0.00000 C09-110 P30 0.00000 C09-110 P50 0.00000 C09-110 P100 0.00000 C09-110 P200 0.00000 C09-110 P500 0.00200 C09-110 P1000 0.02100 C09-111 num_ret 1000.00000 C09-111 num_unjug_ret@1 0.00000 C09-111 num_unjug_ret@10 0.00000 C09-111 num_unjug_ret@20 0.00000 C09-111 num_unjug_ret@100 30.00000 C09-111 num_unjug_ret@1000 893.00000 C09-111 num_rel 141.00000 C09-111 num_rel_ret 71.00000 C09-111 map 0.36356 C09-111 R-prec 0.44681 C09-111 bpref 0.47684 C09-111 recip_rank 1.00000 C09-111 ndcg 0.41477 C09-111 ndcg5 0.14286 C09-111 ndcg10 0.16103 C09-111 ndcg20 0.22768 C09-111 ERR 0.19473 C09-111 ERR10 0.16585 C09-111 ERR20 0.19214 C09-111 P1 1.00000 C09-111 P5 1.00000 C09-111 P10 1.00000 C09-111 P15 1.00000 C09-111 P20 0.95000 C09-111 P30 0.76667 C09-111 P50 0.68000 C09-111 P100 0.62000 C09-111 P200 0.32000 C09-111 P500 0.13400 C09-111 P1000 0.07100 C09-112 num_ret 1000.00000 C09-112 num_unjug_ret@1 0.00000 C09-112 num_unjug_ret@10 0.00000 C09-112 num_unjug_ret@20 2.00000 C09-112 num_unjug_ret@100 41.00000 C09-112 num_unjug_ret@1000 897.00000 C09-112 num_rel 1.00000 C09-112 num_rel_ret 0.00000 C09-112 map 0.00000 C09-112 R-prec 0.00000 C09-112 bpref 0.00000 C09-112 recip_rank 0.00000 C09-112 ndcg 0.00000 C09-112 ndcg5 0.00000 C09-112 ndcg10 0.00000 C09-112 ndcg20 0.00000 C09-112 ERR 0.00000 C09-112 ERR10 0.00000 C09-112 ERR20 0.00000 C09-112 P1 0.00000 C09-112 P5 0.00000 C09-112 P10 0.00000 C09-112 P15 0.00000 C09-112 P20 0.00000 C09-112 P30 0.00000 C09-112 P50 0.00000 C09-112 P100 0.00000 C09-112 P200 0.00000 C09-112 P500 0.00000 C09-112 P1000 0.00000 C09-113 num_ret 1000.00000 C09-113 num_unjug_ret@1 0.00000 C09-113 num_unjug_ret@10 5.00000 C09-113 num_unjug_ret@20 9.00000 C09-113 num_unjug_ret@100 68.00000 C09-113 num_unjug_ret@1000 920.00000 C09-113 num_rel 8.00000 C09-113 num_rel_ret 0.00000 C09-113 map 0.00000 C09-113 R-prec 0.00000 C09-113 bpref 0.00000 C09-113 recip_rank 0.00000 C09-113 ndcg 0.00000 C09-113 ndcg5 0.00000 C09-113 ndcg10 0.00000 C09-113 ndcg20 0.00000 C09-113 ERR 0.00000 C09-113 ERR10 0.00000 C09-113 ERR20 0.00000 C09-113 P1 0.00000 C09-113 P5 0.00000 C09-113 P10 0.00000 C09-113 P15 0.00000 C09-113 P20 0.00000 C09-113 P30 0.00000 C09-113 P50 0.00000 C09-113 P100 0.00000 C09-113 P200 0.00000 C09-113 P500 0.00000 C09-113 P1000 0.00000 C09-114 num_ret 1000.00000 C09-114 num_unjug_ret@1 0.00000 C09-114 num_unjug_ret@10 2.00000 C09-114 num_unjug_ret@20 6.00000 C09-114 num_unjug_ret@100 59.00000 C09-114 num_unjug_ret@1000 902.00000 C09-114 num_rel 26.00000 C09-114 num_rel_ret 6.00000 C09-114 map 0.00958 C09-114 R-prec 0.03846 C09-114 bpref 0.03107 C09-114 recip_rank 0.10000 C09-114 ndcg 0.09494 C09-114 ndcg5 0.00000 C09-114 ndcg10 0.02769 C09-114 ndcg20 0.02234 C09-114 ERR 0.01100 C09-114 ERR10 0.00625 C09-114 ERR20 0.00625 C09-114 P1 0.00000 C09-114 P5 0.00000 C09-114 P10 0.10000 C09-114 P15 0.06667 C09-114 P20 0.05000 C09-114 P30 0.03333 C09-114 P50 0.04000 C09-114 P100 0.03000 C09-114 P200 0.01500 C09-114 P500 0.01200 C09-114 P1000 0.00600 C09-115 num_ret 1000.00000 C09-115 num_unjug_ret@1 0.00000 C09-115 num_unjug_ret@10 1.00000 C09-115 num_unjug_ret@20 1.00000 C09-115 num_unjug_ret@100 53.00000 C09-115 num_unjug_ret@1000 839.00000 C09-115 num_rel 4.00000 C09-115 num_rel_ret 0.00000 C09-115 map 0.00000 C09-115 R-prec 0.00000 C09-115 bpref 0.00000 C09-115 recip_rank 0.00000 C09-115 ndcg 0.00000 C09-115 ndcg5 0.00000 C09-115 ndcg10 0.00000 C09-115 ndcg20 0.00000 C09-115 ERR 0.00000 C09-115 ERR10 0.00000 C09-115 ERR20 0.00000 C09-115 P1 0.00000 C09-115 P5 0.00000 C09-115 P10 0.00000 C09-115 P15 0.00000 C09-115 P20 0.00000 C09-115 P30 0.00000 C09-115 P50 0.00000 C09-115 P100 0.00000 C09-115 P200 0.00000 C09-115 P500 0.00000 C09-115 P1000 0.00000 C09-116 num_ret 1000.00000 C09-116 num_unjug_ret@1 0.00000 C09-116 num_unjug_ret@10 1.00000 C09-116 num_unjug_ret@20 8.00000 C09-116 num_unjug_ret@100 68.00000 C09-116 num_unjug_ret@1000 915.00000 C09-116 num_rel 181.00000 C09-116 num_rel_ret 58.00000 C09-116 map 0.09642 C09-116 R-prec 0.16575 C09-116 bpref 0.29553 C09-116 recip_rank 1.00000 C09-116 ndcg 0.23424 C09-116 ndcg5 0.21284 C09-116 ndcg10 0.26964 C09-116 ndcg20 0.19888 C09-116 ERR 0.25836 C09-116 ERR10 0.24852 C09-116 ERR20 0.25312 C09-116 P1 1.00000 C09-116 P5 0.60000 C09-116 P10 0.80000 C09-116 P15 0.60000 C09-116 P20 0.55000 C09-116 P30 0.43333 C09-116 P50 0.38000 C09-116 P100 0.24000 C09-116 P200 0.15500 C09-116 P500 0.08600 C09-116 P1000 0.05800 C09-117 num_ret 1000.00000 C09-117 num_unjug_ret@1 0.00000 C09-117 num_unjug_ret@10 0.00000 C09-117 num_unjug_ret@20 0.00000 C09-117 num_unjug_ret@100 35.00000 C09-117 num_unjug_ret@1000 829.00000 C09-117 num_rel 234.00000 C09-117 num_rel_ret 97.00000 C09-117 map 0.19565 C09-117 R-prec 0.29915 C09-117 bpref 0.36093 C09-117 recip_rank 1.00000 C09-117 ndcg 0.26915 C09-117 ndcg5 0.14286 C09-117 ndcg10 0.14286 C09-117 ndcg20 0.17400 C09-117 ERR 0.18617 C09-117 ERR10 0.15886 C09-117 ERR20 0.18184 C09-117 P1 1.00000 C09-117 P5 1.00000 C09-117 P10 1.00000 C09-117 P15 0.73333 C09-117 P20 0.75000 C09-117 P30 0.60000 C09-117 P50 0.58000 C09-117 P100 0.46000 C09-117 P200 0.33500 C09-117 P500 0.17200 C09-117 P1000 0.09700 C09-118 num_ret 1000.00000 C09-118 num_unjug_ret@1 0.00000 C09-118 num_unjug_ret@10 3.00000 C09-118 num_unjug_ret@20 5.00000 C09-118 num_unjug_ret@100 55.00000 C09-118 num_unjug_ret@1000 877.00000 C09-118 num_rel 48.00000 C09-118 num_rel_ret 11.00000 C09-118 map 0.08200 C09-118 R-prec 0.22917 C09-118 bpref 0.18620 C09-118 recip_rank 1.00000 C09-118 ndcg 0.33103 C09-118 ndcg5 0.33916 C09-118 ndcg10 0.31959 C09-118 ndcg20 0.30256 C09-118 ERR 0.23850 C09-118 ERR10 0.21637 C09-118 ERR20 0.23287 C09-118 P1 1.00000 C09-118 P5 0.20000 C09-118 P10 0.30000 C09-118 P15 0.33333 C09-118 P20 0.30000 C09-118 P30 0.23333 C09-118 P50 0.22000 C09-118 P100 0.11000 C09-118 P200 0.05500 C09-118 P500 0.02200 C09-118 P1000 0.01100 C09-119 num_ret 1000.00000 C09-119 num_unjug_ret@1 0.00000 C09-119 num_unjug_ret@10 1.00000 C09-119 num_unjug_ret@20 4.00000 C09-119 num_unjug_ret@100 58.00000 C09-119 num_unjug_ret@1000 926.00000 C09-119 num_rel 71.00000 C09-119 num_rel_ret 25.00000 C09-119 map 0.07374 C09-119 R-prec 0.19718 C09-119 bpref 0.24896 C09-119 recip_rank 0.16667 C09-119 ndcg 0.18985 C09-119 ndcg5 0.00000 C09-119 ndcg10 0.07373 C09-119 ndcg20 0.09521 C09-119 ERR 0.05086 C09-119 ERR10 0.02565 C09-119 ERR20 0.03899 C09-119 P1 0.00000 C09-119 P5 0.00000 C09-119 P10 0.30000 C09-119 P15 0.33333 C09-119 P20 0.25000 C09-119 P30 0.26667 C09-119 P50 0.28000 C09-119 P100 0.15000 C09-119 P200 0.10500 C09-119 P500 0.04800 C09-119 P1000 0.02500 C09-120 num_ret 1000.00000 C09-120 num_unjug_ret@1 1.00000 C09-120 num_unjug_ret@10 4.00000 C09-120 num_unjug_ret@20 10.00000 C09-120 num_unjug_ret@100 74.00000 C09-120 num_unjug_ret@1000 888.00000 C09-120 num_rel 25.00000 C09-120 num_rel_ret 0.00000 C09-120 map 0.00000 C09-120 R-prec 0.00000 C09-120 bpref 0.00000 C09-120 recip_rank 0.00000 C09-120 ndcg 0.00000 C09-120 ndcg5 0.00000 C09-120 ndcg10 0.00000 C09-120 ndcg20 0.00000 C09-120 ERR 0.00000 C09-120 ERR10 0.00000 C09-120 ERR20 0.00000 C09-120 P1 0.00000 C09-120 P5 0.00000 C09-120 P10 0.00000 C09-120 P15 0.00000 C09-120 P20 0.00000 C09-120 P30 0.00000 C09-120 P50 0.00000 C09-120 P100 0.00000 C09-120 P200 0.00000 C09-120 P500 0.00000 C09-120 P1000 0.00000 C09-121 num_ret 1000.00000 C09-121 num_unjug_ret@1 0.00000 C09-121 num_unjug_ret@10 2.00000 C09-121 num_unjug_ret@20 8.00000 C09-121 num_unjug_ret@100 61.00000 C09-121 num_unjug_ret@1000 888.00000 C09-121 num_rel 78.00000 C09-121 num_rel_ret 17.00000 C09-121 map 0.07494 C09-121 R-prec 0.15385 C09-121 bpref 0.15763 C09-121 recip_rank 1.00000 C09-121 ndcg 0.15469 C09-121 ndcg5 0.21332 C09-121 ndcg10 0.18409 C09-121 ndcg20 0.14413 C09-121 ERR 0.11898 C09-121 ERR10 0.10520 C09-121 ERR20 0.11235 C09-121 P1 1.00000 C09-121 P5 0.60000 C09-121 P10 0.50000 C09-121 P15 0.46667 C09-121 P20 0.35000 C09-121 P30 0.26667 C09-121 P50 0.22000 C09-121 P100 0.12000 C09-121 P200 0.07000 C09-121 P500 0.03000 C09-121 P1000 0.01700 C09-122 num_ret 1000.00000 C09-122 num_unjug_ret@1 0.00000 C09-122 num_unjug_ret@10 0.00000 C09-122 num_unjug_ret@20 0.00000 C09-122 num_unjug_ret@100 38.00000 C09-122 num_unjug_ret@1000 888.00000 C09-122 num_rel 5.00000 C09-122 num_rel_ret 2.00000 C09-122 map 0.01916 C09-122 R-prec 0.00000 C09-122 bpref 0.00000 C09-122 recip_rank 0.07143 C09-122 ndcg 0.08342 C09-122 ndcg5 0.00000 C09-122 ndcg10 0.00000 C09-122 ndcg20 0.05172 C09-122 ERR 0.00518 C09-122 ERR10 0.00000 C09-122 ERR20 0.00446 C09-122 P1 0.00000 C09-122 P5 0.00000 C09-122 P10 0.00000 C09-122 P15 0.06667 C09-122 P20 0.05000 C09-122 P30 0.03333 C09-122 P50 0.02000 C09-122 P100 0.02000 C09-122 P200 0.01000 C09-122 P500 0.00400 C09-122 P1000 0.00200 C09-123 num_ret 1000.00000 C09-123 num_unjug_ret@1 0.00000 C09-123 num_unjug_ret@10 0.00000 C09-123 num_unjug_ret@20 0.00000 C09-123 num_unjug_ret@100 35.00000 C09-123 num_unjug_ret@1000 874.00000 C09-123 num_rel 98.00000 C09-123 num_rel_ret 31.00000 C09-123 map 0.11264 C09-123 R-prec 0.27551 C09-123 bpref 0.23896 C09-123 recip_rank 0.50000 C09-123 ndcg 0.26492 C09-123 ndcg5 0.21740 C09-123 ndcg10 0.14108 C09-123 ndcg20 0.23497 C09-123 ERR 0.11735 C09-123 ERR10 0.07520 C09-123 ERR20 0.10554 C09-123 P1 0.00000 C09-123 P5 0.40000 C09-123 P10 0.20000 C09-123 P15 0.33333 C09-123 P20 0.30000 C09-123 P30 0.43333 C09-123 P50 0.36000 C09-123 P100 0.27000 C09-123 P200 0.15500 C09-123 P500 0.06200 C09-123 P1000 0.03100 C09-124 num_ret 1000.00000 C09-124 num_unjug_ret@1 0.00000 C09-124 num_unjug_ret@10 0.00000 C09-124 num_unjug_ret@20 3.00000 C09-124 num_unjug_ret@100 46.00000 C09-124 num_unjug_ret@1000 913.00000 C09-124 num_rel 63.00000 C09-124 num_rel_ret 12.00000 C09-124 map 0.09723 C09-124 R-prec 0.17460 C09-124 bpref 0.14890 C09-124 recip_rank 1.00000 C09-124 ndcg 0.23318 C09-124 ndcg5 0.37234 C09-124 ndcg10 0.24162 C09-124 ndcg20 0.22960 C09-124 ERR 0.35643 C09-124 ERR10 0.33007 C09-124 ERR20 0.35240 C09-124 P1 1.00000 C09-124 P5 0.80000 C09-124 P10 0.40000 C09-124 P15 0.40000 C09-124 P20 0.30000 C09-124 P30 0.23333 C09-124 P50 0.20000 C09-124 P100 0.11000 C09-124 P200 0.06000 C09-124 P500 0.02400 C09-124 P1000 0.01200 C09-125 num_ret 1000.00000 C09-125 num_unjug_ret@1 1.00000 C09-125 num_unjug_ret@10 2.00000 C09-125 num_unjug_ret@20 4.00000 C09-125 num_unjug_ret@100 72.00000 C09-125 num_unjug_ret@1000 914.00000 C09-125 num_rel 47.00000 C09-125 num_rel_ret 12.00000 C09-125 map 0.01243 C09-125 R-prec 0.04255 C09-125 bpref 0.06519 C09-125 recip_rank 0.25000 C09-125 ndcg 0.09106 C09-125 ndcg5 0.02351 C09-125 ndcg10 0.02163 C09-125 ndcg20 0.01922 C09-125 ERR 0.02044 C09-125 ERR10 0.01563 C09-125 ERR20 0.01563 C09-125 P1 0.00000 C09-125 P5 0.20000 C09-125 P10 0.10000 C09-125 P15 0.06667 C09-125 P20 0.05000 C09-125 P30 0.06667 C09-125 P50 0.04000 C09-125 P100 0.03000 C09-125 P200 0.03000 C09-125 P500 0.01600 C09-125 P1000 0.01200 C09-126 num_ret 1000.00000 C09-126 num_unjug_ret@1 0.00000 C09-126 num_unjug_ret@10 1.00000 C09-126 num_unjug_ret@20 4.00000 C09-126 num_unjug_ret@100 48.00000 C09-126 num_unjug_ret@1000 840.00000 C09-126 num_rel 5.00000 C09-126 num_rel_ret 0.00000 C09-126 map 0.00000 C09-126 R-prec 0.00000 C09-126 bpref 0.00000 C09-126 recip_rank 0.00000 C09-126 ndcg 0.00000 C09-126 ndcg5 0.00000 C09-126 ndcg10 0.00000 C09-126 ndcg20 0.00000 C09-126 ERR 0.00000 C09-126 ERR10 0.00000 C09-126 ERR20 0.00000 C09-126 P1 0.00000 C09-126 P5 0.00000 C09-126 P10 0.00000 C09-126 P15 0.00000 C09-126 P20 0.00000 C09-126 P30 0.00000 C09-126 P50 0.00000 C09-126 P100 0.00000 C09-126 P200 0.00000 C09-126 P500 0.00000 C09-126 P1000 0.00000 C09-127 num_ret 1000.00000 C09-127 num_unjug_ret@1 0.00000 C09-127 num_unjug_ret@10 0.00000 C09-127 num_unjug_ret@20 0.00000 C09-127 num_unjug_ret@100 27.00000 C09-127 num_unjug_ret@1000 852.00000 C09-127 num_rel 124.00000 C09-127 num_rel_ret 82.00000 C09-127 map 0.32431 C09-127 R-prec 0.37903 C09-127 bpref 0.51197 C09-127 recip_rank 1.00000 C09-127 ndcg 0.53217 C09-127 ndcg5 0.42080 C09-127 ndcg10 0.34082 C09-127 ndcg20 0.37972 C09-127 ERR 0.19283 C09-127 ERR10 0.16509 C09-127 ERR20 0.18590 C09-127 P1 1.00000 C09-127 P5 1.00000 C09-127 P10 0.80000 C09-127 P15 0.66667 C09-127 P20 0.65000 C09-127 P30 0.66667 C09-127 P50 0.56000 C09-127 P100 0.45000 C09-127 P200 0.29500 C09-127 P500 0.14600 C09-127 P1000 0.08200 C09-128 num_ret 1000.00000 C09-128 num_unjug_ret@1 0.00000 C09-128 num_unjug_ret@10 1.00000 C09-128 num_unjug_ret@20 1.00000 C09-128 num_unjug_ret@100 41.00000 C09-128 num_unjug_ret@1000 856.00000 C09-128 num_rel 60.00000 C09-128 num_rel_ret 14.00000 C09-128 map 0.06218 C09-128 R-prec 0.20000 C09-128 bpref 0.14167 C09-128 recip_rank 0.50000 C09-128 ndcg 0.25518 C09-128 ndcg5 0.34519 C09-128 ndcg10 0.30240 C09-128 ndcg20 0.19516 C09-128 ERR 0.16025 C09-128 ERR10 0.14485 C09-128 ERR20 0.14485 C09-128 P1 0.00000 C09-128 P5 0.40000 C09-128 P10 0.30000 C09-128 P15 0.20000 C09-128 P20 0.15000 C09-128 P30 0.20000 C09-128 P50 0.24000 C09-128 P100 0.13000 C09-128 P200 0.07000 C09-128 P500 0.02800 C09-128 P1000 0.01400 C09-129 num_ret 1000.00000 C09-129 num_unjug_ret@1 0.00000 C09-129 num_unjug_ret@10 1.00000 C09-129 num_unjug_ret@20 7.00000 C09-129 num_unjug_ret@100 59.00000 C09-129 num_unjug_ret@1000 875.00000 C09-129 num_rel 27.00000 C09-129 num_rel_ret 3.00000 C09-129 map 0.00104 C09-129 R-prec 0.00000 C09-129 bpref 0.00000 C09-129 recip_rank 0.01563 C09-129 ndcg 0.02061 C09-129 ndcg5 0.00000 C09-129 ndcg10 0.00000 C09-129 ndcg20 0.00000 C09-129 ERR 0.00177 C09-129 ERR10 0.00000 C09-129 ERR20 0.00000 C09-129 P1 0.00000 C09-129 P5 0.00000 C09-129 P10 0.00000 C09-129 P15 0.00000 C09-129 P20 0.00000 C09-129 P30 0.00000 C09-129 P50 0.00000 C09-129 P100 0.01000 C09-129 P200 0.00500 C09-129 P500 0.00600 C09-129 P1000 0.00300 C09-130 num_ret 1000.00000 C09-130 num_unjug_ret@1 0.00000 C09-130 num_unjug_ret@10 5.00000 C09-130 num_unjug_ret@20 11.00000 C09-130 num_unjug_ret@100 55.00000 C09-130 num_unjug_ret@1000 823.00000 C09-130 num_rel 282.00000 C09-130 num_rel_ret 125.00000 C09-130 map 0.11963 C09-130 R-prec 0.22695 C09-130 bpref 0.34063 C09-130 recip_rank 1.00000 C09-130 ndcg 0.25307 C09-130 ndcg5 0.07902 C09-130 ndcg10 0.12071 C09-130 ndcg20 0.16711 C09-130 ERR 0.16828 C09-130 ERR10 0.13986 C09-130 ERR20 0.16451 C09-130 P1 1.00000 C09-130 P5 0.40000 C09-130 P10 0.30000 C09-130 P15 0.33333 C09-130 P20 0.35000 C09-130 P30 0.30000 C09-130 P50 0.38000 C09-130 P100 0.38000 C09-130 P200 0.25000 C09-130 P500 0.18200 C09-130 P1000 0.12500 C09-131 num_ret 1000.00000 C09-131 num_unjug_ret@1 0.00000 C09-131 num_unjug_ret@10 4.00000 C09-131 num_unjug_ret@20 11.00000 C09-131 num_unjug_ret@100 75.00000 C09-131 num_unjug_ret@1000 902.00000 C09-131 num_rel 4.00000 C09-131 num_rel_ret 2.00000 C09-131 map 0.02110 C09-131 R-prec 0.00000 C09-131 bpref 0.00000 C09-131 recip_rank 0.07692 C09-131 ndcg 0.06638 C09-131 ndcg5 0.00000 C09-131 ndcg10 0.00000 C09-131 ndcg20 0.04510 C09-131 ERR 0.00503 C09-131 ERR10 0.00000 C09-131 ERR20 0.00481 C09-131 P1 0.00000 C09-131 P5 0.00000 C09-131 P10 0.00000 C09-131 P15 0.06667 C09-131 P20 0.05000 C09-131 P30 0.03333 C09-131 P50 0.02000 C09-131 P100 0.01000 C09-131 P200 0.00500 C09-131 P500 0.00400 C09-131 P1000 0.00200 C09-132 num_ret 1000.00000 C09-132 num_unjug_ret@1 0.00000 C09-132 num_unjug_ret@10 6.00000 C09-132 num_unjug_ret@20 14.00000 C09-132 num_unjug_ret@100 68.00000 C09-132 num_unjug_ret@1000 919.00000 C09-132 num_rel 50.00000 C09-132 num_rel_ret 5.00000 C09-132 map 0.00183 C09-132 R-prec 0.02000 C09-132 bpref 0.01800 C09-132 recip_rank 0.07143 C09-132 ndcg 0.04942 C09-132 ndcg5 0.00000 C09-132 ndcg10 0.00000 C09-132 ndcg20 0.03636 C09-132 ERR 0.01411 C09-132 ERR10 0.00000 C09-132 ERR20 0.01339 C09-132 P1 0.00000 C09-132 P5 0.00000 C09-132 P10 0.00000 C09-132 P15 0.06667 C09-132 P20 0.05000 C09-132 P30 0.03333 C09-132 P50 0.02000 C09-132 P100 0.01000 C09-132 P200 0.00500 C09-132 P500 0.00400 C09-132 P1000 0.00500 C09-133 num_ret 1000.00000 C09-133 num_unjug_ret@1 0.00000 C09-133 num_unjug_ret@10 2.00000 C09-133 num_unjug_ret@20 8.00000 C09-133 num_unjug_ret@100 56.00000 C09-133 num_unjug_ret@1000 850.00000 C09-133 num_rel 140.00000 C09-133 num_rel_ret 45.00000 C09-133 map 0.04218 C09-133 R-prec 0.08571 C09-133 bpref 0.16786 C09-133 recip_rank 0.33333 C09-133 ndcg 0.26014 C09-133 ndcg5 0.44685 C09-133 ndcg10 0.43463 C09-133 ndcg20 0.31601 C09-133 ERR 0.06950 C09-133 ERR10 0.06042 C09-133 ERR20 0.06343 C09-133 P1 0.00000 C09-133 P5 0.60000 C09-133 P10 0.50000 C09-133 P15 0.40000 C09-133 P20 0.30000 C09-133 P30 0.23333 C09-133 P50 0.18000 C09-133 P100 0.12000 C09-133 P200 0.06000 C09-133 P500 0.05000 C09-133 P1000 0.04500 C09-134 num_ret 1000.00000 C09-134 num_unjug_ret@1 0.00000 C09-134 num_unjug_ret@10 1.00000 C09-134 num_unjug_ret@20 4.00000 C09-134 num_unjug_ret@100 42.00000 C09-134 num_unjug_ret@1000 841.00000 C09-134 num_rel 23.00000 C09-134 num_rel_ret 10.00000 C09-134 map 0.01487 C09-134 R-prec 0.00000 C09-134 bpref 0.00000 C09-134 recip_rank 0.01266 C09-134 ndcg 0.18220 C09-134 ndcg5 0.00000 C09-134 ndcg10 0.00000 C09-134 ndcg20 0.00000 C09-134 ERR 0.00429 C09-134 ERR10 0.00000 C09-134 ERR20 0.00000 C09-134 P1 0.00000 C09-134 P5 0.00000 C09-134 P10 0.00000 C09-134 P15 0.00000 C09-134 P20 0.00000 C09-134 P30 0.00000 C09-134 P50 0.00000 C09-134 P100 0.04000 C09-134 P200 0.04000 C09-134 P500 0.01600 C09-134 P1000 0.01000 C09-135 num_ret 1000.00000 C09-135 num_unjug_ret@1 0.00000 C09-135 num_unjug_ret@10 6.00000 C09-135 num_unjug_ret@20 14.00000 C09-135 num_unjug_ret@100 80.00000 C09-135 num_unjug_ret@1000 871.00000 C09-135 num_rel 3.00000 C09-135 num_rel_ret 2.00000 C09-135 map 0.10823 C09-135 R-prec 0.00000 C09-135 bpref 0.00000 C09-135 recip_rank 0.14286 C09-135 ndcg 0.28733 C09-135 ndcg5 0.00000 C09-135 ndcg10 0.15643 C09-135 ndcg20 0.28733 C09-135 ERR 0.04064 C09-135 ERR10 0.02679 C09-135 ERR20 0.04064 C09-135 P1 0.00000 C09-135 P5 0.00000 C09-135 P10 0.10000 C09-135 P15 0.13333 C09-135 P20 0.10000 C09-135 P30 0.06667 C09-135 P50 0.04000 C09-135 P100 0.02000 C09-135 P200 0.01000 C09-135 P500 0.00400 C09-135 P1000 0.00200 C09-136 num_ret 1000.00000 C09-136 num_unjug_ret@1 0.00000 C09-136 num_unjug_ret@10 0.00000 C09-136 num_unjug_ret@20 9.00000 C09-136 num_unjug_ret@100 63.00000 C09-136 num_unjug_ret@1000 871.00000 C09-136 num_rel 33.00000 C09-136 num_rel_ret 13.00000 C09-136 map 0.01167 C09-136 R-prec 0.00000 C09-136 bpref 0.02571 C09-136 recip_rank 0.02439 C09-136 ndcg 0.17036 C09-136 ndcg5 0.00000 C09-136 ndcg10 0.00000 C09-136 ndcg20 0.00000 C09-136 ERR 0.01749 C09-136 ERR10 0.00000 C09-136 ERR20 0.00000 C09-136 P1 0.00000 C09-136 P5 0.00000 C09-136 P10 0.00000 C09-136 P15 0.00000 C09-136 P20 0.00000 C09-136 P30 0.00000 C09-136 P50 0.04000 C09-136 P100 0.03000 C09-136 P200 0.02500 C09-136 P500 0.02600 C09-136 P1000 0.01300 C09-137 num_ret 1000.00000 C09-137 num_unjug_ret@1 0.00000 C09-137 num_unjug_ret@10 0.00000 C09-137 num_unjug_ret@20 1.00000 C09-137 num_unjug_ret@100 34.00000 C09-137 num_unjug_ret@1000 872.00000 C09-137 num_rel 189.00000 C09-137 num_rel_ret 64.00000 C09-137 map 0.17735 C09-137 R-prec 0.26984 C09-137 bpref 0.30310 C09-137 recip_rank 1.00000 C09-137 ndcg 0.37865 C09-137 ndcg5 0.39108 C09-137 ndcg10 0.35602 C09-137 ndcg20 0.39498 C09-137 ERR 0.37789 C09-137 ERR10 0.36382 C09-137 ERR20 0.37730 C09-137 P1 1.00000 C09-137 P5 1.00000 C09-137 P10 0.90000 C09-137 P15 0.86667 C09-137 P20 0.80000 C09-137 P30 0.66667 C09-137 P50 0.54000 C09-137 P100 0.40000 C09-137 P200 0.25500 C09-137 P500 0.12000 C09-137 P1000 0.06400 C09-138 num_ret 1000.00000 C09-138 num_unjug_ret@1 0.00000 C09-138 num_unjug_ret@10 0.00000 C09-138 num_unjug_ret@20 4.00000 C09-138 num_unjug_ret@100 58.00000 C09-138 num_unjug_ret@1000 886.00000 C09-138 num_rel 15.00000 C09-138 num_rel_ret 11.00000 C09-138 map 0.42156 C09-138 R-prec 0.40000 C09-138 bpref 0.43556 C09-138 recip_rank 1.00000 C09-138 ndcg 0.69523 C09-138 ndcg5 0.83042 C09-138 ndcg10 0.67457 C09-138 ndcg20 0.52291 C09-138 ERR 0.13328 C09-138 ERR10 0.12689 C09-138 ERR20 0.12689 C09-138 P1 1.00000 C09-138 P5 0.80000 C09-138 P10 0.60000 C09-138 P15 0.40000 C09-138 P20 0.30000 C09-138 P30 0.33333 C09-138 P50 0.22000 C09-138 P100 0.11000 C09-138 P200 0.05500 C09-138 P500 0.02200 C09-138 P1000 0.01100 C09-139 num_ret 1000.00000 C09-139 num_unjug_ret@1 0.00000 C09-139 num_unjug_ret@10 3.00000 C09-139 num_unjug_ret@20 7.00000 C09-139 num_unjug_ret@100 52.00000 C09-139 num_unjug_ret@1000 840.00000 C09-139 num_rel 24.00000 C09-139 num_rel_ret 15.00000 C09-139 map 0.03683 C09-139 R-prec 0.00000 C09-139 bpref 0.02778 C09-139 recip_rank 0.02632 C09-139 ndcg 0.26007 C09-139 ndcg5 0.00000 C09-139 ndcg10 0.00000 C09-139 ndcg20 0.00000 C09-139 ERR 0.01392 C09-139 ERR10 0.00000 C09-139 ERR20 0.00000 C09-139 P1 0.00000 C09-139 P5 0.00000 C09-139 P10 0.00000 C09-139 P15 0.00000 C09-139 P20 0.00000 C09-139 P30 0.00000 C09-139 P50 0.06000 C09-139 P100 0.07000 C09-139 P200 0.05000 C09-139 P500 0.03000 C09-139 P1000 0.01500 C09-140 num_ret 1000.00000 C09-140 num_unjug_ret@1 0.00000 C09-140 num_unjug_ret@10 0.00000 C09-140 num_unjug_ret@20 5.00000 C09-140 num_unjug_ret@100 40.00000 C09-140 num_unjug_ret@1000 831.00000 C09-140 num_rel 4.00000 C09-140 num_rel_ret 1.00000 C09-140 map 0.00048 C09-140 R-prec 0.00000 C09-140 bpref 0.00000 C09-140 recip_rank 0.00193 C09-140 ndcg 0.02846 C09-140 ndcg5 0.00000 C09-140 ndcg10 0.00000 C09-140 ndcg20 0.00000 C09-140 ERR 0.00036 C09-140 ERR10 0.00000 C09-140 ERR20 0.00000 C09-140 P1 0.00000 C09-140 P5 0.00000 C09-140 P10 0.00000 C09-140 P15 0.00000 C09-140 P20 0.00000 C09-140 P30 0.00000 C09-140 P50 0.00000 C09-140 P100 0.00000 C09-140 P200 0.00000 C09-140 P500 0.00000 C09-140 P1000 0.00100 C09-141 num_ret 1000.00000 C09-141 num_unjug_ret@1 0.00000 C09-141 num_unjug_ret@10 0.00000 C09-141 num_unjug_ret@20 3.00000 C09-141 num_unjug_ret@100 51.00000 C09-141 num_unjug_ret@1000 869.00000 C09-141 num_rel 34.00000 C09-141 num_rel_ret 21.00000 C09-141 map 0.09301 C09-141 R-prec 0.17647 C09-141 bpref 0.18512 C09-141 recip_rank 0.11111 C09-141 ndcg 0.28424 C09-141 ndcg5 0.00000 C09-141 ndcg10 0.04329 C09-141 ndcg20 0.06537 C09-141 ERR 0.03308 C09-141 ERR10 0.01280 C09-141 ERR20 0.01995 C09-141 P1 0.00000 C09-141 P5 0.00000 C09-141 P10 0.20000 C09-141 P15 0.20000 C09-141 P20 0.20000 C09-141 P30 0.16667 C09-141 P50 0.20000 C09-141 P100 0.13000 C09-141 P200 0.08500 C09-141 P500 0.03600 C09-141 P1000 0.02100 C09-142 num_ret 1000.00000 C09-142 num_unjug_ret@1 0.00000 C09-142 num_unjug_ret@10 0.00000 C09-142 num_unjug_ret@20 1.00000 C09-142 num_unjug_ret@100 50.00000 C09-142 num_unjug_ret@1000 873.00000 C09-142 num_rel 45.00000 C09-142 num_rel_ret 31.00000 C09-142 map 0.57380 C09-142 R-prec 0.64444 C09-142 bpref 0.62568 C09-142 recip_rank 1.00000 C09-142 ndcg 0.74787 C09-142 ndcg5 1.00000 C09-142 ndcg10 1.00000 C09-142 ndcg20 0.90136 C09-142 ERR 0.17872 C09-142 ERR10 0.15886 C09-142 ERR20 0.17302 C09-142 P1 1.00000 C09-142 P5 1.00000 C09-142 P10 1.00000 C09-142 P15 1.00000 C09-142 P20 0.85000 C09-142 P30 0.66667 C09-142 P50 0.58000 C09-142 P100 0.29000 C09-142 P200 0.15500 C09-142 P500 0.06200 C09-142 P1000 0.03100 C09-143 num_ret 1000.00000 C09-143 num_unjug_ret@1 0.00000 C09-143 num_unjug_ret@10 0.00000 C09-143 num_unjug_ret@20 1.00000 C09-143 num_unjug_ret@100 43.00000 C09-143 num_unjug_ret@1000 909.00000 C09-143 num_rel 25.00000 C09-143 num_rel_ret 0.00000 C09-143 map 0.00000 C09-143 R-prec 0.00000 C09-143 bpref 0.00000 C09-143 recip_rank 0.00000 C09-143 ndcg 0.00000 C09-143 ndcg5 0.00000 C09-143 ndcg10 0.00000 C09-143 ndcg20 0.00000 C09-143 ERR 0.00000 C09-143 ERR10 0.00000 C09-143 ERR20 0.00000 C09-143 P1 0.00000 C09-143 P5 0.00000 C09-143 P10 0.00000 C09-143 P15 0.00000 C09-143 P20 0.00000 C09-143 P30 0.00000 C09-143 P50 0.00000 C09-143 P100 0.00000 C09-143 P200 0.00000 C09-143 P500 0.00000 C09-143 P1000 0.00000 C09-144 num_ret 1000.00000 C09-144 num_unjug_ret@1 0.00000 C09-144 num_unjug_ret@10 0.00000 C09-144 num_unjug_ret@20 4.00000 C09-144 num_unjug_ret@100 43.00000 C09-144 num_unjug_ret@1000 830.00000 C09-144 num_rel 97.00000 C09-144 num_rel_ret 21.00000 C09-144 map 0.02738 C09-144 R-prec 0.11340 C09-144 bpref 0.09640 C09-144 recip_rank 1.00000 C09-144 ndcg 0.16631 C09-144 ndcg5 0.11305 C09-144 ndcg10 0.07336 C09-144 ndcg20 0.08286 C09-144 ERR 0.08284 C09-144 ERR10 0.06250 C09-144 ERR20 0.07422 C09-144 P1 1.00000 C09-144 P5 0.20000 C09-144 P10 0.10000 C09-144 P15 0.13333 C09-144 P20 0.10000 C09-144 P30 0.06667 C09-144 P50 0.10000 C09-144 P100 0.11000 C09-144 P200 0.08000 C09-144 P500 0.03200 C09-144 P1000 0.02100 C09-145 num_ret 1000.00000 C09-145 num_unjug_ret@1 0.00000 C09-145 num_unjug_ret@10 2.00000 C09-145 num_unjug_ret@20 7.00000 C09-145 num_unjug_ret@100 44.00000 C09-145 num_unjug_ret@1000 858.00000 C09-145 num_rel 101.00000 C09-145 num_rel_ret 29.00000 C09-145 map 0.07041 C09-145 R-prec 0.16832 C09-145 bpref 0.17704 C09-145 recip_rank 1.00000 C09-145 ndcg 0.23359 C09-145 ndcg5 0.28263 C09-145 ndcg10 0.20954 C09-145 ndcg20 0.18916 C09-145 ERR 0.14581 C09-145 ERR10 0.12903 C09-145 ERR20 0.13495 C09-145 P1 1.00000 C09-145 P5 0.40000 C09-145 P10 0.30000 C09-145 P15 0.26667 C09-145 P20 0.25000 C09-145 P30 0.26667 C09-145 P50 0.28000 C09-145 P100 0.17000 C09-145 P200 0.10500 C09-145 P500 0.05000 C09-145 P1000 0.02900 C09-146 num_ret 1000.00000 C09-146 num_unjug_ret@1 0.00000 C09-146 num_unjug_ret@10 1.00000 C09-146 num_unjug_ret@20 3.00000 C09-146 num_unjug_ret@100 56.00000 C09-146 num_unjug_ret@1000 901.00000 C09-146 num_rel 16.00000 C09-146 num_rel_ret 10.00000 C09-146 map 0.30412 C09-146 R-prec 0.43750 C09-146 bpref 0.38281 C09-146 recip_rank 1.00000 C09-146 ndcg 0.51244 C09-146 ndcg5 0.28026 C09-146 ndcg10 0.51159 C09-146 ndcg20 0.44538 C09-146 ERR 0.11990 C09-146 ERR10 0.11460 C09-146 ERR20 0.11743 C09-146 P1 1.00000 C09-146 P5 0.40000 C09-146 P10 0.60000 C09-146 P15 0.46667 C09-146 P20 0.35000 C09-146 P30 0.26667 C09-146 P50 0.16000 C09-146 P100 0.10000 C09-146 P200 0.05000 C09-146 P500 0.02000 C09-146 P1000 0.01000 C09-147 num_ret 1000.00000 C09-147 num_unjug_ret@1 0.00000 C09-147 num_unjug_ret@10 1.00000 C09-147 num_unjug_ret@20 6.00000 C09-147 num_unjug_ret@100 34.00000 C09-147 num_unjug_ret@1000 854.00000 C09-147 num_rel 177.00000 C09-147 num_rel_ret 73.00000 C09-147 map 0.20832 C09-147 R-prec 0.33333 C09-147 bpref 0.37333 C09-147 recip_rank 1.00000 C09-147 ndcg 0.46346 C09-147 ndcg5 0.83042 C09-147 ndcg10 0.70475 C09-147 ndcg20 0.48046 C09-147 ERR 0.34811 C09-147 ERR10 0.33752 C09-147 ERR20 0.34027 C09-147 P1 1.00000 C09-147 P5 0.80000 C09-147 P10 0.70000 C09-147 P15 0.60000 C09-147 P20 0.45000 C09-147 P30 0.53333 C09-147 P50 0.54000 C09-147 P100 0.49000 C09-147 P200 0.30500 C09-147 P500 0.13600 C09-147 P1000 0.07300 C09-148 num_ret 1000.00000 C09-148 num_unjug_ret@1 0.00000 C09-148 num_unjug_ret@10 0.00000 C09-148 num_unjug_ret@20 0.00000 C09-148 num_unjug_ret@100 44.00000 C09-148 num_unjug_ret@1000 898.00000 C09-148 num_rel 80.00000 C09-148 num_rel_ret 20.00000 C09-148 map 0.15085 C09-148 R-prec 0.22500 C09-148 bpref 0.21031 C09-148 recip_rank 1.00000 C09-148 ndcg 0.24423 C09-148 ndcg5 0.33132 C09-148 ndcg10 0.33203 C09-148 ndcg20 0.31395 C09-148 ERR 0.17189 C09-148 ERR10 0.15885 C09-148 ERR20 0.16798 C09-148 P1 1.00000 C09-148 P5 0.60000 C09-148 P10 0.80000 C09-148 P15 0.73333 C09-148 P20 0.60000 C09-148 P30 0.43333 C09-148 P50 0.36000 C09-148 P100 0.18000 C09-148 P200 0.09500 C09-148 P500 0.03800 C09-148 P1000 0.02000 C09-149 num_ret 1000.00000 C09-149 num_unjug_ret@1 0.00000 C09-149 num_unjug_ret@10 0.00000 C09-149 num_unjug_ret@20 0.00000 C09-149 num_unjug_ret@100 21.00000 C09-149 num_unjug_ret@1000 840.00000 C09-149 num_rel 62.00000 C09-149 num_rel_ret 33.00000 C09-149 map 0.14713 C09-149 R-prec 0.33871 C09-149 bpref 0.24584 C09-149 recip_rank 0.11111 C09-149 ndcg 0.41128 C09-149 ndcg5 0.00000 C09-149 ndcg10 0.12988 C09-149 ndcg20 0.33918 C09-149 ERR 0.04533 C09-149 ERR10 0.01280 C09-149 ERR20 0.03642 C09-149 P1 0.00000 C09-149 P5 0.00000 C09-149 P10 0.20000 C09-149 P15 0.46667 C09-149 P20 0.45000 C09-149 P30 0.36667 C09-149 P50 0.38000 C09-149 P100 0.21000 C09-149 P200 0.13000 C09-149 P500 0.06400 C09-149 P1000 0.03300 C09-150 num_ret 1000.00000 C09-150 num_unjug_ret@1 0.00000 C09-150 num_unjug_ret@10 3.00000 C09-150 num_unjug_ret@20 5.00000 C09-150 num_unjug_ret@100 25.00000 C09-150 num_unjug_ret@1000 843.00000 C09-150 num_rel 4.00000 C09-150 num_rel_ret 1.00000 C09-150 map 0.00223 C09-150 R-prec 0.00000 C09-150 bpref 0.00000 C09-150 recip_rank 0.00893 C09-150 ndcg 0.05724 C09-150 ndcg5 0.00000 C09-150 ndcg10 0.00000 C09-150 ndcg20 0.00000 C09-150 ERR 0.00167 C09-150 ERR10 0.00000 C09-150 ERR20 0.00000 C09-150 P1 0.00000 C09-150 P5 0.00000 C09-150 P10 0.00000 C09-150 P15 0.00000 C09-150 P20 0.00000 C09-150 P30 0.00000 C09-150 P50 0.00000 C09-150 P100 0.00000 C09-150 P200 0.00500 C09-150 P500 0.00200 C09-150 P1000 0.00100 C09-151 num_ret 1000.00000 C09-151 num_unjug_ret@1 0.00000 C09-151 num_unjug_ret@10 0.00000 C09-151 num_unjug_ret@20 6.00000 C09-151 num_unjug_ret@100 59.00000 C09-151 num_unjug_ret@1000 942.00000 C09-151 num_rel 148.00000 C09-151 num_rel_ret 15.00000 C09-151 map 0.03252 C09-151 R-prec 0.09459 C09-151 bpref 0.09081 C09-151 recip_rank 1.00000 C09-151 ndcg 0.08300 C09-151 ndcg5 0.04266 C09-151 ndcg10 0.09712 C09-151 ndcg20 0.07425 C09-151 ERR 0.19055 C09-151 ERR10 0.18958 C09-151 ERR20 0.18978 C09-151 P1 1.00000 C09-151 P5 0.60000 C09-151 P10 0.40000 C09-151 P15 0.26667 C09-151 P20 0.25000 C09-151 P30 0.26667 C09-151 P50 0.18000 C09-151 P100 0.13000 C09-151 P200 0.07000 C09-151 P500 0.03000 C09-151 P1000 0.01500 C09-152 num_ret 1000.00000 C09-152 num_unjug_ret@1 0.00000 C09-152 num_unjug_ret@10 0.00000 C09-152 num_unjug_ret@20 1.00000 C09-152 num_unjug_ret@100 74.00000 C09-152 num_unjug_ret@1000 955.00000 C09-152 num_rel 8.00000 C09-152 num_rel_ret 0.00000 C09-152 map 0.00000 C09-152 R-prec 0.00000 C09-152 bpref 0.00000 C09-152 recip_rank 0.00000 C09-152 ndcg 0.00000 C09-152 ndcg5 0.00000 C09-152 ndcg10 0.00000 C09-152 ndcg20 0.00000 C09-152 ERR 0.00000 C09-152 ERR10 0.00000 C09-152 ERR20 0.00000 C09-152 P1 0.00000 C09-152 P5 0.00000 C09-152 P10 0.00000 C09-152 P15 0.00000 C09-152 P20 0.00000 C09-152 P30 0.00000 C09-152 P50 0.00000 C09-152 P100 0.00000 C09-152 P200 0.00000 C09-152 P500 0.00000 C09-152 P1000 0.00000 C09-153 num_ret 1000.00000 C09-153 num_unjug_ret@1 0.00000 C09-153 num_unjug_ret@10 0.00000 C09-153 num_unjug_ret@20 2.00000 C09-153 num_unjug_ret@100 38.00000 C09-153 num_unjug_ret@1000 871.00000 C09-153 num_rel 122.00000 C09-153 num_rel_ret 54.00000 C09-153 map 0.21318 C09-153 R-prec 0.31148 C09-153 bpref 0.36408 C09-153 recip_rank 1.00000 C09-153 ndcg 0.20159 C09-153 ndcg5 0.06667 C09-153 ndcg10 0.06062 C09-153 ndcg20 0.07079 C09-153 ERR 0.17107 C09-153 ERR10 0.14991 C09-153 ERR20 0.15962 C09-153 P1 1.00000 C09-153 P5 1.00000 C09-153 P10 0.80000 C09-153 P15 0.73333 C09-153 P20 0.60000 C09-153 P30 0.53333 C09-153 P50 0.46000 C09-153 P100 0.38000 C09-153 P200 0.22500 C09-153 P500 0.10600 C09-153 P1000 0.05400 C09-154 num_ret 1000.00000 C09-154 num_unjug_ret@1 0.00000 C09-154 num_unjug_ret@10 0.00000 C09-154 num_unjug_ret@20 0.00000 C09-154 num_unjug_ret@100 45.00000 C09-154 num_unjug_ret@1000 877.00000 C09-154 num_rel 58.00000 C09-154 num_rel_ret 19.00000 C09-154 map 0.04801 C09-154 R-prec 0.13793 C09-154 bpref 0.13377 C09-154 recip_rank 0.14286 C09-154 ndcg 0.24981 C09-154 ndcg5 0.00000 C09-154 ndcg10 0.14386 C09-154 ndcg20 0.16897 C09-154 ERR 0.14076 C09-154 ERR10 0.14046 C09-154 ERR20 0.14076 C09-154 P1 0.00000 C09-154 P5 0.00000 C09-154 P10 0.30000 C09-154 P15 0.33333 C09-154 P20 0.30000 C09-154 P30 0.20000 C09-154 P50 0.14000 C09-154 P100 0.12000 C09-154 P200 0.06000 C09-154 P500 0.03000 C09-154 P1000 0.01900 C09-155 num_ret 1000.00000 C09-155 num_unjug_ret@1 0.00000 C09-155 num_unjug_ret@10 7.00000 C09-155 num_unjug_ret@20 17.00000 C09-155 num_unjug_ret@100 92.00000 C09-155 num_unjug_ret@1000 934.00000 C09-155 num_rel 67.00000 C09-155 num_rel_ret 35.00000 C09-155 map 0.01639 C09-155 R-prec 0.02985 C09-155 bpref 0.35375 C09-155 recip_rank 0.02381 C09-155 ndcg 0.18846 C09-155 ndcg5 0.00000 C09-155 ndcg10 0.00000 C09-155 ndcg20 0.00000 C09-155 ERR 0.02370 C09-155 ERR10 0.00000 C09-155 ERR20 0.00000 C09-155 P1 0.00000 C09-155 P5 0.00000 C09-155 P10 0.00000 C09-155 P15 0.00000 C09-155 P20 0.00000 C09-155 P30 0.00000 C09-155 P50 0.04000 C09-155 P100 0.02000 C09-155 P200 0.01500 C09-155 P500 0.02800 C09-155 P1000 0.03500 C09-156 num_ret 1000.00000 C09-156 num_unjug_ret@1 0.00000 C09-156 num_unjug_ret@10 2.00000 C09-156 num_unjug_ret@20 11.00000 C09-156 num_unjug_ret@100 84.00000 C09-156 num_unjug_ret@1000 898.00000 C09-156 num_rel 108.00000 C09-156 num_rel_ret 56.00000 C09-156 map 0.04412 C09-156 R-prec 0.01852 C09-156 bpref 0.38700 C09-156 recip_rank 1.00000 C09-156 ndcg 0.14842 C09-156 ndcg5 0.02972 C09-156 ndcg10 0.02838 C09-156 ndcg20 0.02650 C09-156 ERR 0.06910 C09-156 ERR10 0.06250 C09-156 ERR20 0.06250 C09-156 P1 1.00000 C09-156 P5 0.20000 C09-156 P10 0.10000 C09-156 P15 0.06667 C09-156 P20 0.05000 C09-156 P30 0.03333 C09-156 P50 0.04000 C09-156 P100 0.02000 C09-156 P200 0.10500 C09-156 P500 0.06400 C09-156 P1000 0.05600 C09-157 num_ret 1000.00000 C09-157 num_unjug_ret@1 1.00000 C09-157 num_unjug_ret@10 10.00000 C09-157 num_unjug_ret@20 17.00000 C09-157 num_unjug_ret@100 68.00000 C09-157 num_unjug_ret@1000 849.00000 C09-157 num_rel 58.00000 C09-157 num_rel_ret 48.00000 C09-157 map 0.21953 C09-157 R-prec 0.46552 C09-157 bpref 0.71908 C09-157 recip_rank 0.05882 C09-157 ndcg 0.35887 C09-157 ndcg5 0.00000 C09-157 ndcg10 0.00000 C09-157 ndcg20 0.01079 C09-157 ERR 0.04694 C09-157 ERR10 0.00000 C09-157 ERR20 0.00951 C09-157 P1 0.00000 C09-157 P5 0.00000 C09-157 P10 0.00000 C09-157 P15 0.00000 C09-157 P20 0.15000 C09-157 P30 0.26667 C09-157 P50 0.54000 C09-157 P100 0.27000 C09-157 P200 0.15000 C09-157 P500 0.09000 C09-157 P1000 0.04800 C09-158 num_ret 1000.00000 C09-158 num_unjug_ret@1 0.00000 C09-158 num_unjug_ret@10 0.00000 C09-158 num_unjug_ret@20 3.00000 C09-158 num_unjug_ret@100 46.00000 C09-158 num_unjug_ret@1000 901.00000 C09-158 num_rel 131.00000 C09-158 num_rel_ret 75.00000 C09-158 map 0.38725 C09-158 R-prec 0.44275 C09-158 bpref 0.56093 C09-158 recip_rank 1.00000 C09-158 ndcg 0.43092 C09-158 ndcg5 0.06667 C09-158 ndcg10 0.06667 C09-158 ndcg20 0.11598 C09-158 ERR 0.19025 C09-158 ERR10 0.15886 C09-158 ERR20 0.18920 C09-158 P1 1.00000 C09-158 P5 1.00000 C09-158 P10 1.00000 C09-158 P15 1.00000 C09-158 P20 0.85000 C09-158 P30 0.86667 C09-158 P50 0.72000 C09-158 P100 0.53000 C09-158 P200 0.31500 C09-158 P500 0.15000 C09-158 P1000 0.07500 C09-159 num_ret 1000.00000 C09-159 num_unjug_ret@1 0.00000 C09-159 num_unjug_ret@10 1.00000 C09-159 num_unjug_ret@20 5.00000 C09-159 num_unjug_ret@100 69.00000 C09-159 num_unjug_ret@1000 931.00000 C09-159 num_rel 31.00000 C09-159 num_rel_ret 16.00000 C09-159 map 0.32863 C09-159 R-prec 0.32258 C09-159 bpref 0.39230 C09-159 recip_rank 1.00000 C09-159 ndcg 0.60819 C09-159 ndcg5 1.00000 C09-159 ndcg10 0.81458 C09-159 ndcg20 0.59757 C09-159 ERR 0.96808 C09-159 ERR10 0.96808 C09-159 ERR20 0.96808 C09-159 P1 1.00000 C09-159 P5 1.00000 C09-159 P10 0.80000 C09-159 P15 0.66667 C09-159 P20 0.50000 C09-159 P30 0.33333 C09-159 P50 0.22000 C09-159 P100 0.13000 C09-159 P200 0.07000 C09-159 P500 0.03000 C09-159 P1000 0.01600 C09-160 num_ret 1000.00000 C09-160 num_unjug_ret@1 0.00000 C09-160 num_unjug_ret@10 0.00000 C09-160 num_unjug_ret@20 2.00000 C09-160 num_unjug_ret@100 46.00000 C09-160 num_unjug_ret@1000 900.00000 C09-160 num_rel 6.00000 C09-160 num_rel_ret 2.00000 C09-160 map 0.00442 C09-160 R-prec 0.00000 C09-160 bpref 0.00000 C09-160 recip_rank 0.02439 C09-160 ndcg 0.01656 C09-160 ndcg5 0.00000 C09-160 ndcg10 0.00000 C09-160 ndcg20 0.00000 C09-160 ERR 0.00159 C09-160 ERR10 0.00000 C09-160 ERR20 0.00000 C09-160 P1 0.00000 C09-160 P5 0.00000 C09-160 P10 0.00000 C09-160 P15 0.00000 C09-160 P20 0.00000 C09-160 P30 0.00000 C09-160 P50 0.02000 C09-160 P100 0.01000 C09-160 P200 0.00500 C09-160 P500 0.00200 C09-160 P1000 0.00200 C09-161 num_ret 1000.00000 C09-161 num_unjug_ret@1 0.00000 C09-161 num_unjug_ret@10 1.00000 C09-161 num_unjug_ret@20 6.00000 C09-161 num_unjug_ret@100 77.00000 C09-161 num_unjug_ret@1000 939.00000 C09-161 num_rel 7.00000 C09-161 num_rel_ret 3.00000 C09-161 map 0.03774 C09-161 R-prec 0.14286 C09-161 bpref 0.08163 C09-161 recip_rank 0.25000 C09-161 ndcg 0.04783 C09-161 ndcg5 0.02365 C09-161 ndcg10 0.02279 C09-161 ndcg20 0.02279 C09-161 ERR 0.01627 C09-161 ERR10 0.01563 C09-161 ERR20 0.01563 C09-161 P1 0.00000 C09-161 P5 0.20000 C09-161 P10 0.10000 C09-161 P15 0.06667 C09-161 P20 0.05000 C09-161 P30 0.03333 C09-161 P50 0.02000 C09-161 P100 0.01000 C09-161 P200 0.00500 C09-161 P500 0.00600 C09-161 P1000 0.00300 C09-162 num_ret 1000.00000 C09-162 num_unjug_ret@1 0.00000 C09-162 num_unjug_ret@10 6.00000 C09-162 num_unjug_ret@20 10.00000 C09-162 num_unjug_ret@100 52.00000 C09-162 num_unjug_ret@1000 833.00000 C09-162 num_rel 32.00000 C09-162 num_rel_ret 10.00000 C09-162 map 0.07995 C09-162 R-prec 0.09375 C09-162 bpref 0.20020 C09-162 recip_rank 1.00000 C09-162 ndcg 0.34204 C09-162 ndcg5 0.36837 C09-162 ndcg10 0.26677 C09-162 ndcg20 0.24833 C09-162 ERR 0.94189 C09-162 ERR10 0.94043 C09-162 ERR20 0.94102 C09-162 P1 1.00000 C09-162 P5 0.40000 C09-162 P10 0.20000 C09-162 P15 0.13333 C09-162 P20 0.15000 C09-162 P30 0.10000 C09-162 P50 0.12000 C09-162 P100 0.10000 C09-162 P200 0.05000 C09-162 P500 0.02000 C09-162 P1000 0.01000 C09-163 num_ret 1000.00000 C09-163 num_unjug_ret@1 0.00000 C09-163 num_unjug_ret@10 0.00000 C09-163 num_unjug_ret@20 0.00000 C09-163 num_unjug_ret@100 39.00000 C09-163 num_unjug_ret@1000 861.00000 C09-163 num_rel 112.00000 C09-163 num_rel_ret 53.00000 C09-163 map 0.15772 C09-163 R-prec 0.27679 C09-163 bpref 0.32374 C09-163 recip_rank 0.16667 C09-163 ndcg 0.45810 C09-163 ndcg5 0.00000 C09-163 ndcg10 0.00947 C09-163 ndcg20 0.25746 C09-163 ERR 0.08959 C09-163 ERR10 0.01628 C09-163 ERR20 0.08959 C09-163 P1 0.00000 C09-163 P5 0.00000 C09-163 P10 0.20000 C09-163 P15 0.46667 C09-163 P20 0.50000 C09-163 P30 0.66667 C09-163 P50 0.50000 C09-163 P100 0.29000 C09-163 P200 0.17000 C09-163 P500 0.08800 C09-163 P1000 0.05300 C09-164 num_ret 1000.00000 C09-164 num_unjug_ret@1 0.00000 C09-164 num_unjug_ret@10 6.00000 C09-164 num_unjug_ret@20 12.00000 C09-164 num_unjug_ret@100 78.00000 C09-164 num_unjug_ret@1000 950.00000 C09-164 num_rel 78.00000 C09-164 num_rel_ret 15.00000 C09-164 map 0.01810 C09-164 R-prec 0.07692 C09-164 bpref 0.15385 C09-164 recip_rank 0.16667 C09-164 ndcg 0.14828 C09-164 ndcg5 0.00000 C09-164 ndcg10 0.07840 C09-164 ndcg20 0.12246 C09-164 ERR 0.16068 C09-164 ERR10 0.15625 C09-164 ERR20 0.16068 C09-164 P1 0.00000 C09-164 P5 0.00000 C09-164 P10 0.10000 C09-164 P15 0.20000 C09-164 P20 0.15000 C09-164 P30 0.10000 C09-164 P50 0.08000 C09-164 P100 0.09000 C09-164 P200 0.06000 C09-164 P500 0.02800 C09-164 P1000 0.01500 C09-165 num_ret 1000.00000 C09-165 num_unjug_ret@1 0.00000 C09-165 num_unjug_ret@10 3.00000 C09-165 num_unjug_ret@20 9.00000 C09-165 num_unjug_ret@100 46.00000 C09-165 num_unjug_ret@1000 892.00000 C09-165 num_rel 31.00000 C09-165 num_rel_ret 2.00000 C09-165 map 0.00075 C09-165 R-prec 0.00000 C09-165 bpref 0.00000 C09-165 recip_rank 0.01163 C09-165 ndcg 0.04029 C09-165 ndcg5 0.00000 C09-165 ndcg10 0.00000 C09-165 ndcg20 0.00000 C09-165 ERR 0.01106 C09-165 ERR10 0.00000 C09-165 ERR20 0.00000 C09-165 P1 0.00000 C09-165 P5 0.00000 C09-165 P10 0.00000 C09-165 P15 0.00000 C09-165 P20 0.00000 C09-165 P30 0.00000 C09-165 P50 0.00000 C09-165 P100 0.01000 C09-165 P200 0.01000 C09-165 P500 0.00400 C09-165 P1000 0.00200 C09-166 num_ret 1000.00000 C09-166 num_unjug_ret@1 0.00000 C09-166 num_unjug_ret@10 6.00000 C09-166 num_unjug_ret@20 13.00000 C09-166 num_unjug_ret@100 70.00000 C09-166 num_unjug_ret@1000 902.00000 C09-166 num_rel 23.00000 C09-166 num_rel_ret 7.00000 C09-166 map 0.00240 C09-166 R-prec 0.00000 C09-166 bpref 0.00000 C09-166 recip_rank 0.00758 C09-166 ndcg 0.08425 C09-166 ndcg5 0.00000 C09-166 ndcg10 0.00000 C09-166 ndcg20 0.00000 C09-166 ERR 0.00418 C09-166 ERR10 0.00000 C09-166 ERR20 0.00000 C09-166 P1 0.00000 C09-166 P5 0.00000 C09-166 P10 0.00000 C09-166 P15 0.00000 C09-166 P20 0.00000 C09-166 P30 0.00000 C09-166 P50 0.00000 C09-166 P100 0.00000 C09-166 P200 0.00500 C09-166 P500 0.00600 C09-166 P1000 0.00700 C09-167 num_ret 1000.00000 C09-167 num_unjug_ret@1 0.00000 C09-167 num_unjug_ret@10 2.00000 C09-167 num_unjug_ret@20 4.00000 C09-167 num_unjug_ret@100 50.00000 C09-167 num_unjug_ret@1000 889.00000 C09-167 num_rel 58.00000 C09-167 num_rel_ret 40.00000 C09-167 map 0.08310 C09-167 R-prec 0.08621 C09-167 bpref 0.25297 C09-167 recip_rank 0.03846 C09-167 ndcg 0.27224 C09-167 ndcg5 0.00000 C09-167 ndcg10 0.00000 C09-167 ndcg20 0.00000 C09-167 ERR 0.02020 C09-167 ERR10 0.00000 C09-167 ERR20 0.00000 C09-167 P1 0.00000 C09-167 P5 0.00000 C09-167 P10 0.00000 C09-167 P15 0.00000 C09-167 P20 0.00000 C09-167 P30 0.03333 C09-167 P50 0.02000 C09-167 P100 0.18000 C09-167 P200 0.12500 C09-167 P500 0.06800 C09-167 P1000 0.04000 C09-168 num_ret 1000.00000 C09-168 num_unjug_ret@1 0.00000 C09-168 num_unjug_ret@10 0.00000 C09-168 num_unjug_ret@20 0.00000 C09-168 num_unjug_ret@100 55.00000 C09-168 num_unjug_ret@1000 937.00000 C09-168 num_rel 41.00000 C09-168 num_rel_ret 17.00000 C09-168 map 0.33447 C09-168 R-prec 0.41463 C09-168 bpref 0.37537 C09-168 recip_rank 1.00000 C09-168 ndcg 0.51588 C09-168 ndcg5 1.00000 C09-168 ndcg10 0.80069 C09-168 ndcg20 0.53117 C09-168 ERR 0.96808 C09-168 ERR10 0.96808 C09-168 ERR20 0.96808 C09-168 P1 1.00000 C09-168 P5 1.00000 C09-168 P10 0.70000 C09-168 P15 0.73333 C09-168 P20 0.65000 C09-168 P30 0.56667 C09-168 P50 0.34000 C09-168 P100 0.17000 C09-168 P200 0.08500 C09-168 P500 0.03400 C09-168 P1000 0.01700 C09-169 num_ret 1000.00000 C09-169 num_unjug_ret@1 0.00000 C09-169 num_unjug_ret@10 8.00000 C09-169 num_unjug_ret@20 18.00000 C09-169 num_unjug_ret@100 80.00000 C09-169 num_unjug_ret@1000 897.00000 C09-169 num_rel 103.00000 C09-169 num_rel_ret 62.00000 C09-169 map 0.05432 C09-169 R-prec 0.10680 C09-169 bpref 0.47912 C09-169 recip_rank 0.02500 C09-169 ndcg 0.36613 C09-169 ndcg5 0.00000 C09-169 ndcg10 0.00000 C09-169 ndcg20 0.00000 C09-169 ERR 0.02068 C09-169 ERR10 0.00000 C09-169 ERR20 0.00000 C09-169 P1 0.00000 C09-169 P5 0.00000 C09-169 P10 0.00000 C09-169 P15 0.00000 C09-169 P20 0.00000 C09-169 P30 0.00000 C09-169 P50 0.18000 C09-169 P100 0.11000 C09-169 P200 0.06000 C09-169 P500 0.11400 C09-169 P1000 0.06200 C09-170 num_ret 1000.00000 C09-170 num_unjug_ret@1 0.00000 C09-170 num_unjug_ret@10 0.00000 C09-170 num_unjug_ret@20 0.00000 C09-170 num_unjug_ret@100 53.00000 C09-170 num_unjug_ret@1000 889.00000 C09-170 num_rel 24.00000 C09-170 num_rel_ret 4.00000 C09-170 map 0.00332 C09-170 R-prec 0.00000 C09-170 bpref 0.00174 C09-170 recip_rank 0.03571 C09-170 ndcg 0.06631 C09-170 ndcg5 0.00000 C09-170 ndcg10 0.00000 C09-170 ndcg20 0.00000 C09-170 ERR 0.01425 C09-170 ERR10 0.00000 C09-170 ERR20 0.00000 C09-170 P1 0.00000 C09-170 P5 0.00000 C09-170 P10 0.00000 C09-170 P15 0.00000 C09-170 P20 0.00000 C09-170 P30 0.03333 C09-170 P50 0.02000 C09-170 P100 0.02000 C09-170 P200 0.01000 C09-170 P500 0.00800 C09-170 P1000 0.00400 C09-171 num_ret 1000.00000 C09-171 num_unjug_ret@1 0.00000 C09-171 num_unjug_ret@10 0.00000 C09-171 num_unjug_ret@20 3.00000 C09-171 num_unjug_ret@100 63.00000 C09-171 num_unjug_ret@1000 935.00000 C09-171 num_rel 82.00000 C09-171 num_rel_ret 19.00000 C09-171 map 0.06927 C09-171 R-prec 0.15854 C09-171 bpref 0.17861 C09-171 recip_rank 1.00000 C09-171 ndcg 0.13356 C09-171 ndcg5 0.12193 C09-171 ndcg10 0.08337 C09-171 ndcg20 0.08013 C09-171 ERR 0.29963 C09-171 ERR10 0.27743 C09-171 ERR20 0.28094 C09-171 P1 1.00000 C09-171 P5 0.60000 C09-171 P10 0.30000 C09-171 P15 0.26667 C09-171 P20 0.20000 C09-171 P30 0.20000 C09-171 P50 0.22000 C09-171 P100 0.13000 C09-171 P200 0.08500 C09-171 P500 0.03600 C09-171 P1000 0.01900 C09-172 num_ret 1000.00000 C09-172 num_unjug_ret@1 0.00000 C09-172 num_unjug_ret@10 4.00000 C09-172 num_unjug_ret@20 5.00000 C09-172 num_unjug_ret@100 40.00000 C09-172 num_unjug_ret@1000 867.00000 C09-172 num_rel 174.00000 C09-172 num_rel_ret 81.00000 C09-172 map 0.16706 C09-172 R-prec 0.31034 C09-172 bpref 0.40689 C09-172 recip_rank 0.20000 C09-172 ndcg 0.30232 C09-172 ndcg5 0.00875 C09-172 ndcg10 0.22687 C09-172 ndcg20 0.16337 C09-172 ERR 0.16727 C09-172 ERR10 0.16726 C09-172 ERR20 0.16727 C09-172 P1 0.00000 C09-172 P5 0.20000 C09-172 P10 0.40000 C09-172 P15 0.60000 C09-172 P20 0.55000 C09-172 P30 0.46667 C09-172 P50 0.44000 C09-172 P100 0.40000 C09-172 P200 0.30500 C09-172 P500 0.15200 C09-172 P1000 0.08100 C09-173 num_ret 1000.00000 C09-173 num_unjug_ret@1 0.00000 C09-173 num_unjug_ret@10 0.00000 C09-173 num_unjug_ret@20 1.00000 C09-173 num_unjug_ret@100 58.00000 C09-173 num_unjug_ret@1000 936.00000 C09-173 num_rel 64.00000 C09-173 num_rel_ret 32.00000 C09-173 map 0.29532 C09-173 R-prec 0.34375 C09-173 bpref 0.43433 C09-173 recip_rank 0.50000 C09-173 ndcg 0.31484 C09-173 ndcg5 0.04406 C09-173 ndcg10 0.06974 C09-173 ndcg20 0.15922 C09-173 ERR 0.13880 C09-173 ERR10 0.10278 C09-173 ERR20 0.13775 C09-173 P1 0.00000 C09-173 P5 0.80000 C09-173 P10 0.90000 C09-173 P15 0.86667 C09-173 P20 0.75000 C09-173 P30 0.70000 C09-173 P50 0.44000 C09-173 P100 0.24000 C09-173 P200 0.15000 C09-173 P500 0.06200 C09-173 P1000 0.03200 C09-174 num_ret 1000.00000 C09-174 num_unjug_ret@1 0.00000 C09-174 num_unjug_ret@10 1.00000 C09-174 num_unjug_ret@20 3.00000 C09-174 num_unjug_ret@100 47.00000 C09-174 num_unjug_ret@1000 870.00000 C09-174 num_rel 55.00000 C09-174 num_rel_ret 37.00000 C09-174 map 0.19914 C09-174 R-prec 0.27273 C09-174 bpref 0.34149 C09-174 recip_rank 0.50000 C09-174 ndcg 0.49825 C09-174 ndcg5 0.21399 C09-174 ndcg10 0.35492 C09-174 ndcg20 0.37843 C09-174 ERR 0.47770 C09-174 ERR10 0.47770 C09-174 ERR20 0.47770 C09-174 P1 0.00000 C09-174 P5 0.20000 C09-174 P10 0.60000 C09-174 P15 0.60000 C09-174 P20 0.50000 C09-174 P30 0.36667 C09-174 P50 0.30000 C09-174 P100 0.20000 C09-174 P200 0.15500 C09-174 P500 0.06600 C09-174 P1000 0.03700 C09-175 num_ret 1000.00000 C09-175 num_unjug_ret@1 0.00000 C09-175 num_unjug_ret@10 1.00000 C09-175 num_unjug_ret@20 5.00000 C09-175 num_unjug_ret@100 70.00000 C09-175 num_unjug_ret@1000 930.00000 C09-175 num_rel 121.00000 C09-175 num_rel_ret 5.00000 C09-175 map 0.02691 C09-175 R-prec 0.03306 C09-175 bpref 0.03244 C09-175 recip_rank 1.00000 C09-175 ndcg 0.08488 C09-175 ndcg5 0.28021 C09-175 ndcg10 0.18184 C09-175 ndcg20 0.12430 C09-175 ERR 0.47049 C09-175 ERR10 0.46997 C09-175 ERR20 0.47045 C09-175 P1 1.00000 C09-175 P5 0.60000 C09-175 P10 0.30000 C09-175 P15 0.20000 C09-175 P20 0.20000 C09-175 P30 0.13333 C09-175 P50 0.08000 C09-175 P100 0.04000 C09-175 P200 0.02000 C09-175 P500 0.00800 C09-175 P1000 0.00500 C09-176 num_ret 1000.00000 C09-176 num_unjug_ret@1 0.00000 C09-176 num_unjug_ret@10 1.00000 C09-176 num_unjug_ret@20 3.00000 C09-176 num_unjug_ret@100 63.00000 C09-176 num_unjug_ret@1000 939.00000 C09-176 num_rel 17.00000 C09-176 num_rel_ret 4.00000 C09-176 map 0.01424 C09-176 R-prec 0.00000 C09-176 bpref 0.00000 C09-176 recip_rank 0.02857 C09-176 ndcg 0.01879 C09-176 ndcg5 0.00000 C09-176 ndcg10 0.00000 C09-176 ndcg20 0.00000 C09-176 ERR 0.00787 C09-176 ERR10 0.00000 C09-176 ERR20 0.00000 C09-176 P1 0.00000 C09-176 P5 0.00000 C09-176 P10 0.00000 C09-176 P15 0.00000 C09-176 P20 0.00000 C09-176 P30 0.00000 C09-176 P50 0.06000 C09-176 P100 0.04000 C09-176 P200 0.02000 C09-176 P500 0.00800 C09-176 P1000 0.00400 C09-177 num_ret 1000.00000 C09-177 num_unjug_ret@1 0.00000 C09-177 num_unjug_ret@10 4.00000 C09-177 num_unjug_ret@20 7.00000 C09-177 num_unjug_ret@100 63.00000 C09-177 num_unjug_ret@1000 929.00000 C09-177 num_rel 44.00000 C09-177 num_rel_ret 23.00000 C09-177 map 0.04084 C09-177 R-prec 0.09091 C09-177 bpref 0.17665 C09-177 recip_rank 0.04545 C09-177 ndcg 0.28929 C09-177 ndcg5 0.00000 C09-177 ndcg10 0.00000 C09-177 ndcg20 0.00000 C09-177 ERR 0.01332 C09-177 ERR10 0.00000 C09-177 ERR20 0.00000 C09-177 P1 0.00000 C09-177 P5 0.00000 C09-177 P10 0.00000 C09-177 P15 0.00000 C09-177 P20 0.00000 C09-177 P30 0.06667 C09-177 P50 0.08000 C09-177 P100 0.10000 C09-177 P200 0.07000 C09-177 P500 0.04000 C09-177 P1000 0.02300 C09-178 num_ret 1000.00000 C09-178 num_unjug_ret@1 1.00000 C09-178 num_unjug_ret@10 1.00000 C09-178 num_unjug_ret@20 1.00000 C09-178 num_unjug_ret@100 53.00000 C09-178 num_unjug_ret@1000 909.00000 C09-178 num_rel 53.00000 C09-178 num_rel_ret 29.00000 C09-178 map 0.05964 C09-178 R-prec 0.11321 C09-178 bpref 0.14489 C09-178 recip_rank 0.16667 C09-178 ndcg 0.32265 C09-178 ndcg5 0.00000 C09-178 ndcg10 0.14783 C09-178 ndcg20 0.19869 C09-178 ERR 0.16385 C09-178 ERR10 0.16357 C09-178 ERR20 0.16385 C09-178 P1 0.00000 C09-178 P5 0.00000 C09-178 P10 0.20000 C09-178 P15 0.20000 C09-178 P20 0.25000 C09-178 P30 0.16667 C09-178 P50 0.12000 C09-178 P100 0.10000 C09-178 P200 0.08500 C09-178 P500 0.04600 C09-178 P1000 0.02900 C09-179 num_ret 1000.00000 C09-179 num_unjug_ret@1 0.00000 C09-179 num_unjug_ret@10 4.00000 C09-179 num_unjug_ret@20 10.00000 C09-179 num_unjug_ret@100 68.00000 C09-179 num_unjug_ret@1000 916.00000 C09-179 num_rel 11.00000 C09-179 num_rel_ret 7.00000 C09-179 map 0.01091 C09-179 R-prec 0.00000 C09-179 bpref 0.00000 C09-179 recip_rank 0.03704 C09-179 ndcg 0.06965 C09-179 ndcg5 0.00000 C09-179 ndcg10 0.00000 C09-179 ndcg20 0.00000 C09-179 ERR 0.00475 C09-179 ERR10 0.00000 C09-179 ERR20 0.00000 C09-179 P1 0.00000 C09-179 P5 0.00000 C09-179 P10 0.00000 C09-179 P15 0.00000 C09-179 P20 0.00000 C09-179 P30 0.03333 C09-179 P50 0.02000 C09-179 P100 0.02000 C09-179 P200 0.01000 C09-179 P500 0.01000 C09-179 P1000 0.00700 C09-180 num_ret 1000.00000 C09-180 num_unjug_ret@1 0.00000 C09-180 num_unjug_ret@10 0.00000 C09-180 num_unjug_ret@20 5.00000 C09-180 num_unjug_ret@100 66.00000 C09-180 num_unjug_ret@1000 953.00000 C09-180 num_rel 71.00000 C09-180 num_rel_ret 6.00000 C09-180 map 0.02425 C09-180 R-prec 0.05634 C09-180 bpref 0.06348 C09-180 recip_rank 1.00000 C09-180 ndcg 0.02814 C09-180 ndcg5 0.02261 C09-180 ndcg10 0.02705 C09-180 ndcg20 0.02531 C09-180 ERR 0.07738 C09-180 ERR10 0.07593 C09-180 ERR20 0.07593 C09-180 P1 1.00000 C09-180 P5 0.20000 C09-180 P10 0.30000 C09-180 P15 0.20000 C09-180 P20 0.15000 C09-180 P30 0.10000 C09-180 P50 0.06000 C09-180 P100 0.04000 C09-180 P200 0.03000 C09-180 P500 0.01200 C09-180 P1000 0.00600 C09-181 num_ret 1000.00000 C09-181 num_unjug_ret@1 0.00000 C09-181 num_unjug_ret@10 2.00000 C09-181 num_unjug_ret@20 3.00000 C09-181 num_unjug_ret@100 68.00000 C09-181 num_unjug_ret@1000 941.00000 C09-181 num_rel 30.00000 C09-181 num_rel_ret 12.00000 C09-181 map 0.03972 C09-181 R-prec 0.13333 C09-181 bpref 0.10556 C09-181 recip_rank 0.20000 C09-181 ndcg 0.06845 C09-181 ndcg5 0.01501 C09-181 ndcg10 0.03665 C09-181 ndcg20 0.04121 C09-181 ERR 0.02947 C09-181 ERR10 0.02593 C09-181 ERR20 0.02850 C09-181 P1 0.00000 C09-181 P5 0.20000 C09-181 P10 0.30000 C09-181 P15 0.20000 C09-181 P20 0.20000 C09-181 P30 0.13333 C09-181 P50 0.08000 C09-181 P100 0.04000 C09-181 P200 0.02000 C09-181 P500 0.02400 C09-181 P1000 0.01200 C09-182 num_ret 1000.00000 C09-182 num_unjug_ret@1 0.00000 C09-182 num_unjug_ret@10 2.00000 C09-182 num_unjug_ret@20 8.00000 C09-182 num_unjug_ret@100 55.00000 C09-182 num_unjug_ret@1000 892.00000 C09-182 num_rel 253.00000 C09-182 num_rel_ret 71.00000 C09-182 map 0.10795 C09-182 R-prec 0.20553 C09-182 bpref 0.26146 C09-182 recip_rank 1.00000 C09-182 ndcg 0.32091 C09-182 ndcg5 0.75252 C09-182 ndcg10 0.52070 C09-182 ndcg20 0.34068 C09-182 ERR 0.96765 C09-182 ERR10 0.96764 C09-182 ERR20 0.96764 C09-182 P1 1.00000 C09-182 P5 0.80000 C09-182 P10 0.70000 C09-182 P15 0.53333 C09-182 P20 0.45000 C09-182 P30 0.53333 C09-182 P50 0.48000 C09-182 P100 0.37000 C09-182 P200 0.22000 C09-182 P500 0.12200 C09-182 P1000 0.07100 C09-183 num_ret 1000.00000 C09-183 num_unjug_ret@1 0.00000 C09-183 num_unjug_ret@10 5.00000 C09-183 num_unjug_ret@20 12.00000 C09-183 num_unjug_ret@100 51.00000 C09-183 num_unjug_ret@1000 925.00000 C09-183 num_rel 31.00000 C09-183 num_rel_ret 24.00000 C09-183 map 0.18986 C09-183 R-prec 0.19355 C09-183 bpref 0.51509 C09-183 recip_rank 0.11111 C09-183 ndcg 0.11099 C09-183 ndcg5 0.00000 C09-183 ndcg10 0.00578 C09-183 ndcg20 0.01881 C09-183 ERR 0.03171 C09-183 ERR10 0.00694 C09-183 ERR20 0.01699 C09-183 P1 0.00000 C09-183 P5 0.00000 C09-183 P10 0.10000 C09-183 P15 0.13333 C09-183 P20 0.20000 C09-183 P30 0.16667 C09-183 P50 0.34000 C09-183 P100 0.21000 C09-183 P200 0.11500 C09-183 P500 0.04600 C09-183 P1000 0.02400 C09-184 num_ret 1000.00000 C09-184 num_unjug_ret@1 0.00000 C09-184 num_unjug_ret@10 6.00000 C09-184 num_unjug_ret@20 12.00000 C09-184 num_unjug_ret@100 66.00000 C09-184 num_unjug_ret@1000 960.00000 C09-184 num_rel 69.00000 C09-184 num_rel_ret 33.00000 C09-184 map 0.28438 C09-184 R-prec 0.47826 C09-184 bpref 0.47805 C09-184 recip_rank 1.00000 C09-184 ndcg 0.56957 C09-184 ndcg5 0.65481 C09-184 ndcg10 0.48855 C09-184 ndcg20 0.45420 C09-184 ERR 0.95797 C09-184 ERR10 0.95797 C09-184 ERR20 0.95797 C09-184 P1 1.00000 C09-184 P5 0.60000 C09-184 P10 0.40000 C09-184 P15 0.33333 C09-184 P20 0.40000 C09-184 P30 0.60000 C09-184 P50 0.64000 C09-184 P100 0.33000 C09-184 P200 0.16500 C09-184 P500 0.06600 C09-184 P1000 0.03300 C09-185 num_ret 1000.00000 C09-185 num_unjug_ret@1 0.00000 C09-185 num_unjug_ret@10 1.00000 C09-185 num_unjug_ret@20 5.00000 C09-185 num_unjug_ret@100 75.00000 C09-185 num_unjug_ret@1000 921.00000 C09-185 num_rel 81.00000 C09-185 num_rel_ret 31.00000 C09-185 map 0.04574 C09-185 R-prec 0.09877 C09-185 bpref 0.27069 C09-185 recip_rank 0.16667 C09-185 ndcg 0.29868 C09-185 ndcg5 0.00000 C09-185 ndcg10 0.22473 C09-185 ndcg20 0.19173 C09-185 ERR 0.14636 C09-185 ERR10 0.14635 C09-185 ERR20 0.14636 C09-185 P1 0.00000 C09-185 P5 0.00000 C09-185 P10 0.40000 C09-185 P15 0.33333 C09-185 P20 0.30000 C09-185 P30 0.20000 C09-185 P50 0.14000 C09-185 P100 0.09000 C09-185 P200 0.07000 C09-185 P500 0.04800 C09-185 P1000 0.03100 C09-186 num_ret 1000.00000 C09-186 num_unjug_ret@1 0.00000 C09-186 num_unjug_ret@10 2.00000 C09-186 num_unjug_ret@20 6.00000 C09-186 num_unjug_ret@100 48.00000 C09-186 num_unjug_ret@1000 872.00000 C09-186 num_rel 202.00000 C09-186 num_rel_ret 76.00000 C09-186 map 0.08250 C09-186 R-prec 0.25248 C09-186 bpref 0.30737 C09-186 recip_rank 0.50000 C09-186 ndcg 0.39507 C09-186 ndcg5 0.03432 C09-186 ndcg10 0.02227 C09-186 ndcg20 0.01686 C09-186 ERR 0.08109 C09-186 ERR10 0.06177 C09-186 ERR20 0.06573 C09-186 P1 0.00000 C09-186 P5 0.60000 C09-186 P10 0.30000 C09-186 P15 0.26667 C09-186 P20 0.20000 C09-186 P30 0.23333 C09-186 P50 0.20000 C09-186 P100 0.30000 C09-186 P200 0.25500 C09-186 P500 0.11600 C09-186 P1000 0.07600 C09-187 num_ret 1000.00000 C09-187 num_unjug_ret@1 0.00000 C09-187 num_unjug_ret@10 7.00000 C09-187 num_unjug_ret@20 16.00000 C09-187 num_unjug_ret@100 89.00000 C09-187 num_unjug_ret@1000 845.00000 C09-187 num_rel 45.00000 C09-187 num_rel_ret 31.00000 C09-187 map 0.02227 C09-187 R-prec 0.00000 C09-187 bpref 0.00938 C09-187 recip_rank 0.00469 C09-187 ndcg 0.17684 C09-187 ndcg5 0.00000 C09-187 ndcg10 0.00000 C09-187 ndcg20 0.00000 C09-187 ERR 0.00456 C09-187 ERR10 0.00000 C09-187 ERR20 0.00000 C09-187 P1 0.00000 C09-187 P5 0.00000 C09-187 P10 0.00000 C09-187 P15 0.00000 C09-187 P20 0.00000 C09-187 P30 0.00000 C09-187 P50 0.00000 C09-187 P100 0.00000 C09-187 P200 0.00000 C09-187 P500 0.04600 C09-187 P1000 0.03100 C09-188 num_ret 1000.00000 C09-188 num_unjug_ret@1 0.00000 C09-188 num_unjug_ret@10 3.00000 C09-188 num_unjug_ret@20 11.00000 C09-188 num_unjug_ret@100 78.00000 C09-188 num_unjug_ret@1000 924.00000 C09-188 num_rel 15.00000 C09-188 num_rel_ret 4.00000 C09-188 map 0.01360 C09-188 R-prec 0.06667 C09-188 bpref 0.04444 C09-188 recip_rank 0.16667 C09-188 ndcg 0.02573 C09-188 ndcg5 0.00000 C09-188 ndcg10 0.01301 C09-188 ndcg20 0.01241 C09-188 ERR 0.01125 C09-188 ERR10 0.01042 C09-188 ERR20 0.01042 C09-188 P1 0.00000 C09-188 P5 0.00000 C09-188 P10 0.10000 C09-188 P15 0.06667 C09-188 P20 0.05000 C09-188 P30 0.03333 C09-188 P50 0.02000 C09-188 P100 0.01000 C09-188 P200 0.01000 C09-188 P500 0.00600 C09-188 P1000 0.00400 C09-189 num_ret 1000.00000 C09-189 num_unjug_ret@1 0.00000 C09-189 num_unjug_ret@10 0.00000 C09-189 num_unjug_ret@20 2.00000 C09-189 num_unjug_ret@100 64.00000 C09-189 num_unjug_ret@1000 946.00000 C09-189 num_rel 27.00000 C09-189 num_rel_ret 9.00000 C09-189 map 0.01269 C09-189 R-prec 0.07407 C09-189 bpref 0.01646 C09-189 recip_rank 0.04000 C09-189 ndcg 0.11056 C09-189 ndcg5 0.00000 C09-189 ndcg10 0.00000 C09-189 ndcg20 0.00000 C09-189 ERR 0.01369 C09-189 ERR10 0.00000 C09-189 ERR20 0.00000 C09-189 P1 0.00000 C09-189 P5 0.00000 C09-189 P10 0.00000 C09-189 P15 0.00000 C09-189 P20 0.00000 C09-189 P30 0.06667 C09-189 P50 0.04000 C09-189 P100 0.04000 C09-189 P200 0.02000 C09-189 P500 0.01800 C09-189 P1000 0.00900 C09-190 num_ret 1000.00000 C09-190 num_unjug_ret@1 0.00000 C09-190 num_unjug_ret@10 4.00000 C09-190 num_unjug_ret@20 8.00000 C09-190 num_unjug_ret@100 64.00000 C09-190 num_unjug_ret@1000 933.00000 C09-190 num_rel 20.00000 C09-190 num_rel_ret 1.00000 C09-190 map 0.02500 C09-190 R-prec 0.05000 C09-190 bpref 0.04750 C09-190 recip_rank 0.50000 C09-190 ndcg 0.01011 C09-190 ndcg5 0.01427 C09-190 ndcg10 0.01053 C09-190 ndcg20 0.01011 C09-190 ERR 0.03125 C09-190 ERR10 0.03125 C09-190 ERR20 0.03125 C09-190 P1 0.00000 C09-190 P5 0.20000 C09-190 P10 0.10000 C09-190 P15 0.06667 C09-190 P20 0.05000 C09-190 P30 0.03333 C09-190 P50 0.02000 C09-190 P100 0.01000 C09-190 P200 0.00500 C09-190 P500 0.00200 C09-190 P1000 0.00100 C09-191 num_ret 1000.00000 C09-191 num_unjug_ret@1 0.00000 C09-191 num_unjug_ret@10 3.00000 C09-191 num_unjug_ret@20 11.00000 C09-191 num_unjug_ret@100 59.00000 C09-191 num_unjug_ret@1000 933.00000 C09-191 num_rel 30.00000 C09-191 num_rel_ret 14.00000 C09-191 map 0.02541 C09-191 R-prec 0.00000 C09-191 bpref 0.02333 C09-191 recip_rank 0.02778 C09-191 ndcg 0.16475 C09-191 ndcg5 0.00000 C09-191 ndcg10 0.00000 C09-191 ndcg20 0.00000 C09-191 ERR 0.01505 C09-191 ERR10 0.00000 C09-191 ERR20 0.00000 C09-191 P1 0.00000 C09-191 P5 0.00000 C09-191 P10 0.00000 C09-191 P15 0.00000 C09-191 P20 0.00000 C09-191 P30 0.00000 C09-191 P50 0.02000 C09-191 P100 0.07000 C09-191 P200 0.05000 C09-191 P500 0.02800 C09-191 P1000 0.01400 C09-192 num_ret 1000.00000 C09-192 num_unjug_ret@1 1.00000 C09-192 num_unjug_ret@10 10.00000 C09-192 num_unjug_ret@20 20.00000 C09-192 num_unjug_ret@100 87.00000 C09-192 num_unjug_ret@1000 917.00000 C09-192 num_rel 105.00000 C09-192 num_rel_ret 31.00000 C09-192 map 0.01596 C09-192 R-prec 0.04762 C09-192 bpref 0.24454 C09-192 recip_rank 0.01282 C09-192 ndcg 0.18810 C09-192 ndcg5 0.00000 C09-192 ndcg10 0.00000 C09-192 ndcg20 0.00000 C09-192 ERR 0.01215 C09-192 ERR10 0.00000 C09-192 ERR20 0.00000 C09-192 P1 0.00000 C09-192 P5 0.00000 C09-192 P10 0.00000 C09-192 P15 0.00000 C09-192 P20 0.00000 C09-192 P30 0.00000 C09-192 P50 0.00000 C09-192 P100 0.04000 C09-192 P200 0.07000 C09-192 P500 0.04800 C09-192 P1000 0.03100 C09-193 num_ret 1000.00000 C09-193 num_unjug_ret@1 0.00000 C09-193 num_unjug_ret@10 0.00000 C09-193 num_unjug_ret@20 5.00000 C09-193 num_unjug_ret@100 62.00000 C09-193 num_unjug_ret@1000 935.00000 C09-193 num_rel 93.00000 C09-193 num_rel_ret 19.00000 C09-193 map 0.06776 C09-193 R-prec 0.12903 C09-193 bpref 0.15401 C09-193 recip_rank 1.00000 C09-193 ndcg 0.14623 C09-193 ndcg5 0.11905 C09-193 ndcg10 0.15939 C09-193 ndcg20 0.15296 C09-193 ERR 0.12834 C09-193 ERR10 0.12070 C09-193 ERR20 0.12397 C09-193 P1 1.00000 C09-193 P5 0.60000 C09-193 P10 0.60000 C09-193 P15 0.46667 C09-193 P20 0.35000 C09-193 P30 0.26667 C09-193 P50 0.16000 C09-193 P100 0.12000 C09-193 P200 0.07000 C09-193 P500 0.03600 C09-193 P1000 0.01900 C09-194 num_ret 1000.00000 C09-194 num_unjug_ret@1 0.00000 C09-194 num_unjug_ret@10 0.00000 C09-194 num_unjug_ret@20 0.00000 C09-194 num_unjug_ret@100 48.00000 C09-194 num_unjug_ret@1000 912.00000 C09-194 num_rel 47.00000 C09-194 num_rel_ret 41.00000 C09-194 map 0.86389 C09-194 R-prec 0.85106 C09-194 bpref 0.86872 C09-194 recip_rank 1.00000 C09-194 ndcg 0.26671 C09-194 ndcg5 0.08994 C09-194 ndcg10 0.13217 C09-194 ndcg20 0.19093 C09-194 ERR 0.18348 C09-194 ERR10 0.15886 C09-194 ERR20 0.17613 C09-194 P1 1.00000 C09-194 P5 1.00000 C09-194 P10 1.00000 C09-194 P15 1.00000 C09-194 P20 1.00000 C09-194 P30 1.00000 C09-194 P50 0.80000 C09-194 P100 0.41000 C09-194 P200 0.20500 C09-194 P500 0.08200 C09-194 P1000 0.04100 C09-195 num_ret 1000.00000 C09-195 num_unjug_ret@1 0.00000 C09-195 num_unjug_ret@10 6.00000 C09-195 num_unjug_ret@20 13.00000 C09-195 num_unjug_ret@100 60.00000 C09-195 num_unjug_ret@1000 909.00000 C09-195 num_rel 24.00000 C09-195 num_rel_ret 3.00000 C09-195 map 0.00359 C09-195 R-prec 0.04167 C09-195 bpref 0.03125 C09-195 recip_rank 0.07143 C09-195 ndcg 0.06253 C09-195 ndcg5 0.00000 C09-195 ndcg10 0.00000 C09-195 ndcg20 0.03636 C09-195 ERR 0.00482 C09-195 ERR10 0.00000 C09-195 ERR20 0.00446 C09-195 P1 0.00000 C09-195 P5 0.00000 C09-195 P10 0.00000 C09-195 P15 0.06667 C09-195 P20 0.05000 C09-195 P30 0.03333 C09-195 P50 0.02000 C09-195 P100 0.01000 C09-195 P200 0.00500 C09-195 P500 0.00600 C09-195 P1000 0.00300 C09-196 num_ret 1000.00000 C09-196 num_unjug_ret@1 0.00000 C09-196 num_unjug_ret@10 0.00000 C09-196 num_unjug_ret@20 1.00000 C09-196 num_unjug_ret@100 49.00000 C09-196 num_unjug_ret@1000 930.00000 C09-196 num_rel 122.00000 C09-196 num_rel_ret 48.00000 C09-196 map 0.28916 C09-196 R-prec 0.36066 C09-196 bpref 0.37806 C09-196 recip_rank 1.00000 C09-196 ndcg 0.41663 C09-196 ndcg5 0.06667 C09-196 ndcg10 0.06667 C09-196 ndcg20 0.11147 C09-196 ERR 0.18936 C09-196 ERR10 0.15886 C09-196 ERR20 0.18865 C09-196 P1 1.00000 C09-196 P5 1.00000 C09-196 P10 1.00000 C09-196 P15 0.93333 C09-196 P20 0.85000 C09-196 P30 0.70000 C09-196 P50 0.64000 C09-196 P100 0.41000 C09-196 P200 0.24000 C09-196 P500 0.09600 C09-196 P1000 0.04800 C09-197 num_ret 1000.00000 C09-197 num_unjug_ret@1 0.00000 C09-197 num_unjug_ret@10 0.00000 C09-197 num_unjug_ret@20 0.00000 C09-197 num_unjug_ret@100 48.00000 C09-197 num_unjug_ret@1000 922.00000 C09-197 num_rel 113.00000 C09-197 num_rel_ret 45.00000 C09-197 map 0.29134 C09-197 R-prec 0.32743 C09-197 bpref 0.37105 C09-197 recip_rank 1.00000 C09-197 ndcg 0.22171 C09-197 ndcg5 0.06667 C09-197 ndcg10 0.06667 C09-197 ndcg20 0.06667 C09-197 ERR 0.18573 C09-197 ERR10 0.15886 C09-197 ERR20 0.17613 C09-197 P1 1.00000 C09-197 P5 1.00000 C09-197 P10 1.00000 C09-197 P15 1.00000 C09-197 P20 1.00000 C09-197 P30 0.80000 C09-197 P50 0.64000 C09-197 P100 0.37000 C09-197 P200 0.18500 C09-197 P500 0.07800 C09-197 P1000 0.04500 C09-198 num_ret 1000.00000 C09-198 num_unjug_ret@1 0.00000 C09-198 num_unjug_ret@10 8.00000 C09-198 num_unjug_ret@20 18.00000 C09-198 num_unjug_ret@100 69.00000 C09-198 num_unjug_ret@1000 910.00000 C09-198 num_rel 58.00000 C09-198 num_rel_ret 39.00000 C09-198 map 0.07540 C09-198 R-prec 0.17241 C09-198 bpref 0.34810 C09-198 recip_rank 0.03030 C09-198 ndcg 0.15160 C09-198 ndcg5 0.00000 C09-198 ndcg10 0.00000 C09-198 ndcg20 0.00000 C09-198 ERR 0.01691 C09-198 ERR10 0.00000 C09-198 ERR20 0.00000 C09-198 P1 0.00000 C09-198 P5 0.00000 C09-198 P10 0.00000 C09-198 P15 0.00000 C09-198 P20 0.00000 C09-198 P30 0.00000 C09-198 P50 0.10000 C09-198 P100 0.14000 C09-198 P200 0.12000 C09-198 P500 0.06800 C09-198 P1000 0.03900 C09-199 num_ret 1000.00000 C09-199 num_unjug_ret@1 0.00000 C09-199 num_unjug_ret@10 0.00000 C09-199 num_unjug_ret@20 0.00000 C09-199 num_unjug_ret@100 45.00000 C09-199 num_unjug_ret@1000 910.00000 C09-199 num_rel 194.00000 C09-199 num_rel_ret 30.00000 C09-199 map 0.04882 C09-199 R-prec 0.11856 C09-199 bpref 0.10926 C09-199 recip_rank 0.50000 C09-199 ndcg 0.12247 C09-199 ndcg5 0.02301 C09-199 ndcg10 0.11211 C09-199 ndcg20 0.12923 C09-199 ERR 0.18442 C09-199 ERR10 0.18200 C09-199 ERR20 0.18439 C09-199 P1 0.00000 C09-199 P5 0.40000 C09-199 P10 0.50000 C09-199 P15 0.53333 C09-199 P20 0.50000 C09-199 P30 0.43333 C09-199 P50 0.32000 C09-199 P100 0.17000 C09-199 P200 0.12000 C09-199 P500 0.05600 C09-199 P1000 0.03000 C09-200 num_ret 1000.00000 C09-200 num_unjug_ret@1 0.00000 C09-200 num_unjug_ret@10 0.00000 C09-200 num_unjug_ret@20 1.00000 C09-200 num_unjug_ret@100 45.00000 C09-200 num_unjug_ret@1000 905.00000 C09-200 num_rel 26.00000 C09-200 num_rel_ret 18.00000 C09-200 map 0.40257 C09-200 R-prec 0.34615 C09-200 bpref 0.39941 C09-200 recip_rank 1.00000 C09-200 ndcg 0.43812 C09-200 ndcg5 0.31128 C09-200 ndcg10 0.38442 C09-200 ndcg20 0.35203 C09-200 ERR 0.37694 C09-200 ERR10 0.37462 C09-200 ERR20 0.37462 C09-200 P1 1.00000 C09-200 P5 1.00000 C09-200 P10 0.90000 C09-200 P15 0.60000 C09-200 P20 0.45000 C09-200 P30 0.30000 C09-200 P50 0.22000 C09-200 P100 0.17000 C09-200 P200 0.08500 C09-200 P500 0.03400 C09-200 P1000 0.01800 all queries 198.00000 all num_ret 198000.00000 all num_unjug_ret@1 16.00000 all num_unjug_ret@10 438.00000 all num_unjug_ret@20 1189.00000 all num_unjug_ret@100 11441.00000 all num_unjug_ret@1000 177788.00000 all num_rel 18771.00000 all num_rel_ret 6182.00000 all map 0.10962 all R-prec 0.16341 all bpref 0.21194 all recip_rank 0.50408 all ndcg 0.25274 all ndcg5 0.21242 all ndcg10 0.21923 all ndcg20 0.21156 all ERR 0.14596 all ERR10 0.13224 all ERR20 0.13996 all P1 0.39899 all P5 0.37879 all P10 0.36465 all P15 0.34714 all P20 0.31818 all P30 0.28266 all P50 0.23404 all P100 0.16545 all P200 0.10528 all P500 0.05418 all P1000 0.03122