C09-1 num_ret 992.00000 C09-1 num_unjug_ret@1 0.00000 C09-1 num_unjug_ret@10 5.00000 C09-1 num_unjug_ret@100 90.00000 C09-1 num_unjug_ret@1000 969.00000 C09-1 num_rel 112.00000 C09-1 num_rel_ret 3.00000 C09-1 map 0.00013 C09-1 R-prec 0.00000 C09-1 bpref 0.02312 C09-1 recip_rank 0.00481 C09-1 ndcg 0.00884 C09-1 ndcg5 0.00000 C09-1 ndcg10 0.00000 C09-1 ndcg20 0.00000 C09-1 ERR 0.00056 C09-1 ERR10 0.00000 C09-1 ERR20 0.00000 C09-1 P1 0.00000 C09-1 P5 0.00000 C09-1 P10 0.00000 C09-1 P15 0.00000 C09-1 P20 0.00000 C09-1 P30 0.00000 C09-1 P50 0.00000 C09-1 P100 0.00000 C09-1 P200 0.00000 C09-1 P500 0.00400 C09-1 P1000 0.00302 C09-2 num_ret 886.00000 C09-2 num_unjug_ret@1 0.00000 C09-2 num_unjug_ret@10 1.00000 C09-2 num_unjug_ret@100 46.00000 C09-2 num_unjug_ret@1000 794.00000 C09-2 num_rel 148.00000 C09-2 num_rel_ret 56.00000 C09-2 map 0.14795 C09-2 R-prec 0.21622 C09-2 bpref 0.34441 C09-2 recip_rank 1.00000 C09-2 ndcg 0.40622 C09-2 ndcg5 0.55944 C09-2 ndcg10 0.54350 C09-2 ndcg20 0.51307 C09-2 ERR 0.30135 C09-2 ERR10 0.27997 C09-2 ERR20 0.29727 C09-2 P1 1.00000 C09-2 P5 1.00000 C09-2 P10 0.80000 C09-2 P15 0.66667 C09-2 P20 0.65000 C09-2 P30 0.50000 C09-2 P50 0.44000 C09-2 P100 0.30000 C09-2 P200 0.16000 C09-2 P500 0.09000 C09-2 P1000 0.06321 C09-3 num_ret 999.00000 C09-3 num_unjug_ret@1 0.00000 C09-3 num_unjug_ret@10 3.00000 C09-3 num_unjug_ret@100 73.00000 C09-3 num_unjug_ret@1000 927.00000 C09-3 num_rel 151.00000 C09-3 num_rel_ret 39.00000 C09-3 map 0.08149 C09-3 R-prec 0.16556 C09-3 bpref 0.23679 C09-3 recip_rank 1.00000 C09-3 ndcg 0.39871 C09-3 ndcg5 0.86879 C09-3 ndcg10 0.77284 C09-3 ndcg20 0.54206 C09-3 ERR 0.36226 C09-3 ERR10 0.35604 C09-3 ERR20 0.35886 C09-3 P1 1.00000 C09-3 P5 0.80000 C09-3 P10 0.70000 C09-3 P15 0.46667 C09-3 P20 0.45000 C09-3 P30 0.33333 C09-3 P50 0.26000 C09-3 P100 0.21000 C09-3 P200 0.13000 C09-3 P500 0.06400 C09-3 P1000 0.03904 C09-4 num_ret 794.00000 C09-4 num_unjug_ret@1 0.00000 C09-4 num_unjug_ret@10 0.00000 C09-4 num_unjug_ret@100 10.00000 C09-4 num_unjug_ret@1000 755.00000 C09-4 num_rel 56.00000 C09-4 num_rel_ret 6.00000 C09-4 map 0.00487 C09-4 R-prec 0.03571 C09-4 bpref 0.09216 C09-4 recip_rank 0.02941 C09-4 ndcg 0.11169 C09-4 ndcg5 0.27727 C09-4 ndcg10 0.17993 C09-4 ndcg20 0.16421 C09-4 ERR 0.09295 C09-4 ERR10 0.07734 C09-4 ERR20 0.08854 C09-4 P1 0.00000 C09-4 P5 0.00000 C09-4 P10 0.00000 C09-4 P15 0.00000 C09-4 P20 0.00000 C09-4 P30 0.00000 C09-4 P50 0.04000 C09-4 P100 0.05000 C09-4 P200 0.03000 C09-4 P500 0.01200 C09-4 P1000 0.00756 C09-5 num_ret 762.00000 C09-5 num_unjug_ret@1 0.00000 C09-5 num_unjug_ret@10 3.00000 C09-5 num_unjug_ret@100 62.00000 C09-5 num_unjug_ret@1000 711.00000 C09-5 num_rel 57.00000 C09-5 num_rel_ret 4.00000 C09-5 map 0.00514 C09-5 R-prec 0.03509 C09-5 bpref 0.05633 C09-5 recip_rank 0.20000 C09-5 ndcg 0.07454 C09-5 ndcg5 0.08051 C09-5 ndcg10 0.06406 C09-5 ndcg20 0.04853 C09-5 ERR 0.02465 C09-5 ERR10 0.02083 C09-5 ERR20 0.02083 C09-5 P1 0.00000 C09-5 P5 0.20000 C09-5 P10 0.10000 C09-5 P15 0.06667 C09-5 P20 0.05000 C09-5 P30 0.03333 C09-5 P50 0.04000 C09-5 P100 0.02000 C09-5 P200 0.02000 C09-5 P500 0.00800 C09-5 P1000 0.00525 C09-6 num_ret 821.00000 C09-6 num_unjug_ret@1 0.00000 C09-6 num_unjug_ret@10 0.00000 C09-6 num_unjug_ret@100 20.00000 C09-6 num_unjug_ret@1000 728.00000 C09-6 num_rel 48.00000 C09-6 num_rel_ret 5.00000 C09-6 map 0.00961 C09-6 R-prec 0.06250 C09-6 bpref 0.05990 C09-6 recip_rank 0.08333 C09-6 ndcg 0.16276 C09-6 ndcg5 0.26268 C09-6 ndcg10 0.23989 C09-6 ndcg20 0.16185 C09-6 ERR 0.12660 C09-6 ERR10 0.12430 C09-6 ERR20 0.12430 C09-6 P1 0.00000 C09-6 P5 0.00000 C09-6 P10 0.00000 C09-6 P15 0.13333 C09-6 P20 0.15000 C09-6 P30 0.10000 C09-6 P50 0.06000 C09-6 P100 0.03000 C09-6 P200 0.02500 C09-6 P500 0.01000 C09-6 P1000 0.00609 C09-7 num_ret 972.00000 C09-7 num_unjug_ret@1 1.00000 C09-7 num_unjug_ret@10 6.00000 C09-7 num_unjug_ret@100 86.00000 C09-7 num_unjug_ret@1000 949.00000 C09-7 num_rel 84.00000 C09-7 num_rel_ret 6.00000 C09-7 map 0.00620 C09-7 R-prec 0.03571 C09-7 bpref 0.06533 C09-7 recip_rank 0.20000 C09-7 ndcg 0.06336 C09-7 ndcg5 0.04374 C09-7 ndcg10 0.09200 C09-7 ndcg20 0.05937 C09-7 ERR 0.03460 C09-7 ERR10 0.03008 C09-7 ERR20 0.03008 C09-7 P1 0.00000 C09-7 P5 0.20000 C09-7 P10 0.20000 C09-7 P15 0.13333 C09-7 P20 0.10000 C09-7 P30 0.06667 C09-7 P50 0.06000 C09-7 P100 0.03000 C09-7 P200 0.02000 C09-7 P500 0.01000 C09-7 P1000 0.00617 C09-8 num_ret 988.00000 C09-8 num_unjug_ret@1 0.00000 C09-8 num_unjug_ret@10 6.00000 C09-8 num_unjug_ret@100 75.00000 C09-8 num_unjug_ret@1000 937.00000 C09-8 num_rel 63.00000 C09-8 num_rel_ret 15.00000 C09-8 map 0.01639 C09-8 R-prec 0.06349 C09-8 bpref 0.17737 C09-8 recip_rank 0.16667 C09-8 ndcg 0.10610 C09-8 ndcg5 0.00000 C09-8 ndcg10 0.04734 C09-8 ndcg20 0.04359 C09-8 ERR 0.02400 C09-8 ERR10 0.01628 C09-8 ERR20 0.01933 C09-8 P1 0.00000 C09-8 P5 0.00000 C09-8 P10 0.20000 C09-8 P15 0.13333 C09-8 P20 0.15000 C09-8 P30 0.10000 C09-8 P50 0.08000 C09-8 P100 0.05000 C09-8 P200 0.04000 C09-8 P500 0.02400 C09-8 P1000 0.01518 C09-9 num_ret 980.00000 C09-9 num_unjug_ret@1 0.00000 C09-9 num_unjug_ret@10 5.00000 C09-9 num_unjug_ret@100 85.00000 C09-9 num_unjug_ret@1000 956.00000 C09-9 num_rel 134.00000 C09-9 num_rel_ret 19.00000 C09-9 map 0.03935 C09-9 R-prec 0.09701 C09-9 bpref 0.12503 C09-9 recip_rank 1.00000 C09-9 ndcg 0.13999 C09-9 ndcg5 0.23307 C09-9 ndcg10 0.17333 C09-9 ndcg20 0.14661 C09-9 ERR 0.13170 C09-9 ERR10 0.11125 C09-9 ERR20 0.12030 C09-9 P1 1.00000 C09-9 P5 0.60000 C09-9 P10 0.40000 C09-9 P15 0.26667 C09-9 P20 0.25000 C09-9 P30 0.16667 C09-9 P50 0.16000 C09-9 P100 0.13000 C09-9 P200 0.07000 C09-9 P500 0.03000 C09-9 P1000 0.01939 C09-10 num_ret 1000.00000 C09-10 num_unjug_ret@1 0.00000 C09-10 num_unjug_ret@10 5.00000 C09-10 num_unjug_ret@100 80.00000 C09-10 num_unjug_ret@1000 969.00000 C09-10 num_rel 185.00000 C09-10 num_rel_ret 2.00000 C09-10 map 0.00002 C09-10 R-prec 0.00000 C09-10 bpref 0.00000 C09-10 recip_rank 0.00103 C09-10 ndcg 0.00828 C09-10 ndcg5 0.00000 C09-10 ndcg10 0.00000 C09-10 ndcg20 0.00000 C09-10 ERR 0.00024 C09-10 ERR10 0.00000 C09-10 ERR20 0.00000 C09-10 P1 0.00000 C09-10 P5 0.00000 C09-10 P10 0.00000 C09-10 P15 0.00000 C09-10 P20 0.00000 C09-10 P30 0.00000 C09-10 P50 0.00000 C09-10 P100 0.00000 C09-10 P200 0.00000 C09-10 P500 0.00000 C09-10 P1000 0.00200 C09-11 num_ret 1000.00000 C09-11 num_unjug_ret@1 0.00000 C09-11 num_unjug_ret@10 0.00000 C09-11 num_unjug_ret@100 44.00000 C09-11 num_unjug_ret@1000 873.00000 C09-11 num_rel 134.00000 C09-11 num_rel_ret 49.00000 C09-11 map 0.16745 C09-11 R-prec 0.29104 C09-11 bpref 0.31254 C09-11 recip_rank 1.00000 C09-11 ndcg 0.51931 C09-11 ndcg5 0.85393 C09-11 ndcg10 0.70197 C09-11 ndcg20 0.65215 C09-11 ERR 0.36319 C09-11 ERR10 0.34696 C09-11 ERR20 0.36066 C09-11 P1 1.00000 C09-11 P5 0.80000 C09-11 P10 0.60000 C09-11 P15 0.53333 C09-11 P20 0.65000 C09-11 P30 0.53333 C09-11 P50 0.44000 C09-11 P100 0.34000 C09-11 P200 0.22000 C09-11 P500 0.09400 C09-11 P1000 0.04900 C09-12 num_ret 967.00000 C09-12 num_unjug_ret@1 0.00000 C09-12 num_unjug_ret@10 1.00000 C09-12 num_unjug_ret@100 85.00000 C09-12 num_unjug_ret@1000 920.00000 C09-12 num_rel 273.00000 C09-12 num_rel_ret 33.00000 C09-12 map 0.03461 C09-12 R-prec 0.05861 C09-12 bpref 0.11471 C09-12 recip_rank 1.00000 C09-12 ndcg 0.21216 C09-12 ndcg5 0.72273 C09-12 ndcg10 0.70753 C09-12 ndcg20 0.49213 C09-12 ERR 0.34712 C09-12 ERR10 0.34236 C09-12 ERR20 0.34560 C09-12 P1 1.00000 C09-12 P5 0.60000 C09-12 P10 0.70000 C09-12 P15 0.53333 C09-12 P20 0.50000 C09-12 P30 0.33333 C09-12 P50 0.20000 C09-12 P100 0.13000 C09-12 P200 0.07500 C09-12 P500 0.05800 C09-12 P1000 0.03413 C09-13 num_ret 904.00000 C09-13 num_unjug_ret@1 1.00000 C09-13 num_unjug_ret@10 7.00000 C09-13 num_unjug_ret@100 84.00000 C09-13 num_unjug_ret@1000 879.00000 C09-13 num_rel 11.00000 C09-13 num_rel_ret 1.00000 C09-13 map 0.02273 C09-13 R-prec 0.09091 C09-13 bpref 0.08264 C09-13 recip_rank 0.25000 C09-13 ndcg 0.10150 C09-13 ndcg5 0.14607 C09-13 ndcg10 0.10377 C09-13 ndcg20 0.10150 C09-13 ERR 0.04688 C09-13 ERR10 0.04688 C09-13 ERR20 0.04688 C09-13 P1 0.00000 C09-13 P5 0.20000 C09-13 P10 0.10000 C09-13 P15 0.06667 C09-13 P20 0.05000 C09-13 P30 0.03333 C09-13 P50 0.02000 C09-13 P100 0.01000 C09-13 P200 0.00500 C09-13 P500 0.00200 C09-13 P1000 0.00111 C09-14 num_ret 643.00000 C09-14 num_unjug_ret@1 0.00000 C09-14 num_unjug_ret@10 0.00000 C09-14 num_unjug_ret@100 39.00000 C09-14 num_unjug_ret@1000 563.00000 C09-14 num_rel 155.00000 C09-14 num_rel_ret 22.00000 C09-14 map 0.02312 C09-14 R-prec 0.07742 C09-14 bpref 0.11717 C09-14 recip_rank 1.00000 C09-14 ndcg 0.20209 C09-14 ndcg5 0.55315 C09-14 ndcg10 0.35895 C09-14 ndcg20 0.30735 C09-14 ERR 0.28598 C09-14 ERR10 0.26367 C09-14 ERR20 0.28172 C09-14 P1 1.00000 C09-14 P5 0.40000 C09-14 P10 0.20000 C09-14 P15 0.13333 C09-14 P20 0.10000 C09-14 P30 0.13333 C09-14 P50 0.08000 C09-14 P100 0.09000 C09-14 P200 0.07500 C09-14 P500 0.03600 C09-14 P1000 0.03421 C09-15 num_ret 124.00000 C09-15 num_unjug_ret@1 0.00000 C09-15 num_unjug_ret@10 0.00000 C09-15 num_unjug_ret@100 1.00000 C09-15 num_unjug_ret@1000 108.00000 C09-15 num_rel 253.00000 C09-15 num_rel_ret 14.00000 C09-15 map 0.00254 C09-15 R-prec 0.00000 C09-15 bpref 0.05511 C09-15 recip_rank 0.05000 C09-15 ndcg 0.08853 C09-15 ndcg5 0.24091 C09-15 ndcg10 0.25178 C09-15 ndcg20 0.28916 C09-15 ERR 0.16543 C09-15 ERR10 0.13683 C09-15 ERR20 0.16271 C09-15 P1 0.00000 C09-15 P5 0.00000 C09-15 P10 0.00000 C09-15 P15 0.00000 C09-15 P20 0.05000 C09-15 P30 0.06667 C09-15 P50 0.04000 C09-15 P100 0.03000 C09-15 P200 0.08065 C09-15 P500 0.09677 C09-15 P1000 0.11290 C09-16 num_ret 804.00000 C09-16 num_unjug_ret@1 0.00000 C09-16 num_unjug_ret@10 0.00000 C09-16 num_unjug_ret@100 50.00000 C09-16 num_unjug_ret@1000 691.00000 C09-16 num_rel 183.00000 C09-16 num_rel_ret 52.00000 C09-16 map 0.07365 C09-16 R-prec 0.18579 C09-16 bpref 0.24023 C09-16 recip_rank 0.16667 C09-16 ndcg 0.26778 C09-16 ndcg5 0.00000 C09-16 ndcg10 0.09494 C09-16 ndcg20 0.16896 C09-16 ERR 0.06839 C09-16 ERR10 0.03080 C09-16 ERR20 0.05641 C09-16 P1 0.00000 C09-16 P5 0.00000 C09-16 P10 0.40000 C09-16 P15 0.40000 C09-16 P20 0.45000 C09-16 P30 0.50000 C09-16 P50 0.34000 C09-16 P100 0.23000 C09-16 P200 0.17500 C09-16 P500 0.09600 C09-16 P1000 0.06468 C09-17 num_ret 915.00000 C09-17 num_unjug_ret@1 0.00000 C09-17 num_unjug_ret@10 1.00000 C09-17 num_unjug_ret@100 51.00000 C09-17 num_unjug_ret@1000 847.00000 C09-17 num_rel 171.00000 C09-17 num_rel_ret 37.00000 C09-17 map 0.10397 C09-17 R-prec 0.18129 C09-17 bpref 0.20611 C09-17 recip_rank 1.00000 C09-17 ndcg 0.28250 C09-17 ndcg5 0.55743 C09-17 ndcg10 0.48667 C09-17 ndcg20 0.39858 C09-17 ERR 0.29320 C09-17 ERR10 0.27570 C09-17 ERR20 0.28738 C09-17 P1 1.00000 C09-17 P5 0.60000 C09-17 P10 0.60000 C09-17 P15 0.73333 C09-17 P20 0.65000 C09-17 P30 0.60000 C09-17 P50 0.48000 C09-17 P100 0.28000 C09-17 P200 0.15500 C09-17 P500 0.06600 C09-17 P1000 0.04044 C09-18 num_ret 1000.00000 C09-18 num_unjug_ret@1 0.00000 C09-18 num_unjug_ret@10 1.00000 C09-18 num_unjug_ret@100 67.00000 C09-18 num_unjug_ret@1000 937.00000 C09-18 num_rel 196.00000 C09-18 num_rel_ret 40.00000 C09-18 map 0.07062 C09-18 R-prec 0.15306 C09-18 bpref 0.19317 C09-18 recip_rank 0.50000 C09-18 ndcg 0.23240 C09-18 ndcg5 0.34519 C09-18 ndcg10 0.34894 C09-18 ndcg20 0.39794 C09-18 ERR 0.17694 C09-18 ERR10 0.15313 C09-18 ERR20 0.17261 C09-18 P1 0.00000 C09-18 P5 0.40000 C09-18 P10 0.50000 C09-18 P15 0.53333 C09-18 P20 0.60000 C09-18 P30 0.53333 C09-18 P50 0.40000 C09-18 P100 0.23000 C09-18 P200 0.15000 C09-18 P500 0.07200 C09-18 P1000 0.04000 C09-19 num_ret 661.00000 C09-19 num_unjug_ret@1 0.00000 C09-19 num_unjug_ret@10 5.00000 C09-19 num_unjug_ret@100 51.00000 C09-19 num_unjug_ret@1000 630.00000 C09-19 num_rel 2.00000 C09-19 num_rel_ret 0.00000 C09-19 map 0.00000 C09-19 R-prec 0.00000 C09-19 bpref 0.00000 C09-19 recip_rank 0.00000 C09-19 ndcg 0.00000 C09-19 ndcg5 0.00000 C09-19 ndcg10 0.00000 C09-19 ndcg20 0.00000 C09-19 ERR 0.00000 C09-19 ERR10 0.00000 C09-19 ERR20 0.00000 C09-19 P1 0.00000 C09-19 P5 0.00000 C09-19 P10 0.00000 C09-19 P15 0.00000 C09-19 P20 0.00000 C09-19 P30 0.00000 C09-19 P50 0.00000 C09-19 P100 0.00000 C09-19 P200 0.00000 C09-19 P500 0.00000 C09-19 P1000 0.00000 C09-20 num_ret 775.00000 C09-20 num_unjug_ret@1 0.00000 C09-20 num_unjug_ret@10 0.00000 C09-20 num_unjug_ret@100 59.00000 C09-20 num_unjug_ret@1000 752.00000 C09-20 num_rel 0.00000 C09-20 num_rel_ret 0.00000 C09-20 map 0.00000 C09-20 R-prec 0.00000 C09-20 bpref 0.00000 C09-20 recip_rank 0.00000 C09-20 ndcg 0.00000 C09-20 ndcg5 0.00000 C09-20 ndcg10 0.00000 C09-20 ndcg20 0.00000 C09-20 ERR 0.00000 C09-20 ERR10 0.00000 C09-20 ERR20 0.00000 C09-20 P1 0.00000 C09-20 P5 0.00000 C09-20 P10 0.00000 C09-20 P15 0.00000 C09-20 P20 0.00000 C09-20 P30 0.00000 C09-20 P50 0.00000 C09-20 P100 0.00000 C09-20 P200 0.00000 C09-20 P500 0.00000 C09-20 P1000 0.00000 C09-21 num_ret 787.00000 C09-21 num_unjug_ret@1 0.00000 C09-21 num_unjug_ret@10 3.00000 C09-21 num_unjug_ret@100 54.00000 C09-21 num_unjug_ret@1000 747.00000 C09-21 num_rel 226.00000 C09-21 num_rel_ret 31.00000 C09-21 map 0.01177 C09-21 R-prec 0.09292 C09-21 bpref 0.12636 C09-21 recip_rank 0.16667 C09-21 ndcg 0.11305 C09-21 ndcg5 0.21399 C09-21 ndcg10 0.13886 C09-21 ndcg20 0.11175 C09-21 ERR 0.10777 C09-21 ERR10 0.09375 C09-21 ERR20 0.09912 C09-21 P1 0.00000 C09-21 P5 0.00000 C09-21 P10 0.10000 C09-21 P15 0.06667 C09-21 P20 0.05000 C09-21 P30 0.06667 C09-21 P50 0.06000 C09-21 P100 0.05000 C09-21 P200 0.10000 C09-21 P500 0.06200 C09-21 P1000 0.03939 C09-22 num_ret 997.00000 C09-22 num_unjug_ret@1 0.00000 C09-22 num_unjug_ret@10 0.00000 C09-22 num_unjug_ret@100 61.00000 C09-22 num_unjug_ret@1000 899.00000 C09-22 num_rel 163.00000 C09-22 num_rel_ret 62.00000 C09-22 map 0.18768 C09-22 R-prec 0.23313 C09-22 bpref 0.36144 C09-22 recip_rank 1.00000 C09-22 ndcg 0.46804 C09-22 ndcg5 1.00000 C09-22 ndcg10 1.00000 C09-22 ndcg20 0.84987 C09-22 ERR 0.38511 C09-22 ERR10 0.37752 C09-22 ERR20 0.38403 C09-22 P1 1.00000 C09-22 P5 1.00000 C09-22 P10 1.00000 C09-22 P15 0.93333 C09-22 P20 0.85000 C09-22 P30 0.70000 C09-22 P50 0.52000 C09-22 P100 0.34000 C09-22 P200 0.20500 C09-22 P500 0.11000 C09-22 P1000 0.06219 C09-23 num_ret 881.00000 C09-23 num_unjug_ret@1 0.00000 C09-23 num_unjug_ret@10 0.00000 C09-23 num_unjug_ret@100 41.00000 C09-23 num_unjug_ret@1000 866.00000 C09-23 num_rel 174.00000 C09-23 num_rel_ret 11.00000 C09-23 map 0.00211 C09-23 R-prec 0.04023 C09-23 bpref 0.05741 C09-23 recip_rank 0.01786 C09-23 ndcg 0.05048 C09-23 ndcg5 0.00000 C09-23 ndcg10 0.04822 C09-23 ndcg20 0.05274 C09-23 ERR 0.02735 C09-23 ERR10 0.01693 C09-23 ERR20 0.02192 C09-23 P1 0.00000 C09-23 P5 0.00000 C09-23 P10 0.00000 C09-23 P15 0.00000 C09-23 P20 0.00000 C09-23 P30 0.00000 C09-23 P50 0.00000 C09-23 P100 0.05000 C09-23 P200 0.03500 C09-23 P500 0.01600 C09-23 P1000 0.01249 C09-24 num_ret 947.00000 C09-24 num_unjug_ret@1 0.00000 C09-24 num_unjug_ret@10 1.00000 C09-24 num_unjug_ret@100 64.00000 C09-24 num_unjug_ret@1000 864.00000 C09-24 num_rel 154.00000 C09-24 num_rel_ret 37.00000 C09-24 map 0.04313 C09-24 R-prec 0.13636 C09-24 bpref 0.19902 C09-24 recip_rank 0.25000 C09-24 ndcg 0.20620 C09-24 ndcg5 0.09242 C09-24 ndcg10 0.15455 C09-24 ndcg20 0.16736 C09-24 ERR 0.07873 C09-24 ERR10 0.05535 C09-24 ERR20 0.06856 C09-24 P1 0.00000 C09-24 P5 0.40000 C09-24 P10 0.40000 C09-24 P15 0.26667 C09-24 P20 0.30000 C09-24 P30 0.23333 C09-24 P50 0.24000 C09-24 P100 0.19000 C09-24 P200 0.11000 C09-24 P500 0.05800 C09-24 P1000 0.03907 C09-25 num_ret 675.00000 C09-25 num_unjug_ret@1 0.00000 C09-25 num_unjug_ret@10 0.00000 C09-25 num_unjug_ret@100 21.00000 C09-25 num_unjug_ret@1000 590.00000 C09-25 num_rel 164.00000 C09-25 num_rel_ret 38.00000 C09-25 map 0.05967 C09-25 R-prec 0.13415 C09-25 bpref 0.20178 C09-25 recip_rank 1.00000 C09-25 ndcg 0.18387 C09-25 ndcg5 0.33333 C09-25 ndcg10 0.23840 C09-25 ndcg20 0.15385 C09-25 ERR 0.15472 C09-25 ERR10 0.13767 C09-25 ERR20 0.13767 C09-25 P1 1.00000 C09-25 P5 1.00000 C09-25 P10 0.60000 C09-25 P15 0.40000 C09-25 P20 0.30000 C09-25 P30 0.20000 C09-25 P50 0.16000 C09-25 P100 0.20000 C09-25 P200 0.12000 C09-25 P500 0.05400 C09-25 P1000 0.05630 C09-26 num_ret 799.00000 C09-26 num_unjug_ret@1 0.00000 C09-26 num_unjug_ret@10 0.00000 C09-26 num_unjug_ret@100 64.00000 C09-26 num_unjug_ret@1000 739.00000 C09-26 num_rel 173.00000 C09-26 num_rel_ret 24.00000 C09-26 map 0.01626 C09-26 R-prec 0.09827 C09-26 bpref 0.12914 C09-26 recip_rank 0.06250 C09-26 ndcg 0.14190 C09-26 ndcg5 0.16958 C09-26 ndcg10 0.13125 C09-26 ndcg20 0.14415 C09-26 ERR 0.08730 C09-26 ERR10 0.06758 C09-26 ERR20 0.07886 C09-26 P1 0.00000 C09-26 P5 0.00000 C09-26 P10 0.00000 C09-26 P15 0.00000 C09-26 P20 0.05000 C09-26 P30 0.16667 C09-26 P50 0.18000 C09-26 P100 0.14000 C09-26 P200 0.08500 C09-26 P500 0.04200 C09-26 P1000 0.03004 C09-27 num_ret 875.00000 C09-27 num_unjug_ret@1 0.00000 C09-27 num_unjug_ret@10 0.00000 C09-27 num_unjug_ret@100 53.00000 C09-27 num_unjug_ret@1000 810.00000 C09-27 num_rel 205.00000 C09-27 num_rel_ret 51.00000 C09-27 map 0.04347 C09-27 R-prec 0.13659 C09-27 bpref 0.24136 C09-27 recip_rank 1.00000 C09-27 ndcg 0.25498 C09-27 ndcg5 0.54176 C09-27 ndcg10 0.39978 C09-27 ndcg20 0.27012 C09-27 ERR 0.26398 C09-27 ERR10 0.25061 C09-27 ERR20 0.25304 C09-27 P1 1.00000 C09-27 P5 0.20000 C09-27 P10 0.10000 C09-27 P15 0.06667 C09-27 P20 0.10000 C09-27 P30 0.16667 C09-27 P50 0.18000 C09-27 P100 0.25000 C09-27 P200 0.14000 C09-27 P500 0.08200 C09-27 P1000 0.05829 C09-28 num_ret 595.00000 C09-28 num_unjug_ret@1 0.00000 C09-28 num_unjug_ret@10 0.00000 C09-28 num_unjug_ret@100 1.00000 C09-28 num_unjug_ret@1000 564.00000 C09-28 num_rel 275.00000 C09-28 num_rel_ret 18.00000 C09-28 map 0.00136 C09-28 R-prec 0.00727 C09-28 bpref 0.06446 C09-28 recip_rank 0.00637 C09-28 ndcg 0.05305 C09-28 ndcg5 0.16958 C09-28 ndcg10 0.13618 C09-28 ndcg20 0.14925 C09-28 ERR 0.09159 C09-28 ERR10 0.07096 C09-28 ERR20 0.08746 C09-28 P1 0.00000 C09-28 P5 0.00000 C09-28 P10 0.00000 C09-28 P15 0.00000 C09-28 P20 0.00000 C09-28 P30 0.00000 C09-28 P50 0.00000 C09-28 P100 0.00000 C09-28 P200 0.00500 C09-28 P500 0.02800 C09-28 P1000 0.03025 C09-29 num_ret 855.00000 C09-29 num_unjug_ret@1 0.00000 C09-29 num_unjug_ret@10 8.00000 C09-29 num_unjug_ret@100 89.00000 C09-29 num_unjug_ret@1000 832.00000 C09-29 num_rel 29.00000 C09-29 num_rel_ret 1.00000 C09-29 map 0.00031 C09-29 R-prec 0.00000 C09-29 bpref 0.02021 C09-29 recip_rank 0.00909 C09-29 ndcg 0.01045 C09-29 ndcg5 0.00000 C09-29 ndcg10 0.00000 C09-29 ndcg20 0.00000 C09-29 ERR 0.00057 C09-29 ERR10 0.00000 C09-29 ERR20 0.00000 C09-29 P1 0.00000 C09-29 P5 0.00000 C09-29 P10 0.00000 C09-29 P15 0.00000 C09-29 P20 0.00000 C09-29 P30 0.00000 C09-29 P50 0.00000 C09-29 P100 0.00000 C09-29 P200 0.00500 C09-29 P500 0.00200 C09-29 P1000 0.00117 C09-30 num_ret 950.00000 C09-30 num_unjug_ret@1 1.00000 C09-30 num_unjug_ret@10 1.00000 C09-30 num_unjug_ret@100 67.00000 C09-30 num_unjug_ret@1000 848.00000 C09-30 num_rel 303.00000 C09-30 num_rel_ret 72.00000 C09-30 map 0.05508 C09-30 R-prec 0.14521 C09-30 bpref 0.22122 C09-30 recip_rank 0.50000 C09-30 ndcg 0.25361 C09-30 ndcg5 0.39388 C09-30 ndcg10 0.37226 C09-30 ndcg20 0.31463 C09-30 ERR 0.17601 C09-30 ERR10 0.15803 C09-30 ERR20 0.16945 C09-30 P1 0.00000 C09-30 P5 0.60000 C09-30 P10 0.60000 C09-30 P15 0.60000 C09-30 P20 0.50000 C09-30 P30 0.40000 C09-30 P50 0.32000 C09-30 P100 0.21000 C09-30 P200 0.16000 C09-30 P500 0.11600 C09-30 P1000 0.07579 C09-31 num_ret 574.00000 C09-31 num_unjug_ret@1 0.00000 C09-31 num_unjug_ret@10 0.00000 C09-31 num_unjug_ret@100 19.00000 C09-31 num_unjug_ret@1000 521.00000 C09-31 num_rel 229.00000 C09-31 num_rel_ret 25.00000 C09-31 map 0.02361 C09-31 R-prec 0.07860 C09-31 bpref 0.10631 C09-31 recip_rank 1.00000 C09-31 ndcg 0.20426 C09-31 ndcg5 0.54169 C09-31 ndcg10 0.44697 C09-31 ndcg20 0.45592 C09-31 ERR 0.28585 C09-31 ERR10 0.26152 C09-31 ERR20 0.28267 C09-31 P1 1.00000 C09-31 P5 0.40000 C09-31 P10 0.20000 C09-31 P15 0.13333 C09-31 P20 0.10000 C09-31 P30 0.20000 C09-31 P50 0.22000 C09-31 P100 0.16000 C09-31 P200 0.09000 C09-31 P500 0.04400 C09-31 P1000 0.04355 C09-32 num_ret 1000.00000 C09-32 num_unjug_ret@1 0.00000 C09-32 num_unjug_ret@10 4.00000 C09-32 num_unjug_ret@100 86.00000 C09-32 num_unjug_ret@1000 963.00000 C09-32 num_rel 271.00000 C09-32 num_rel_ret 23.00000 C09-32 map 0.01896 C09-32 R-prec 0.06642 C09-32 bpref 0.08283 C09-32 recip_rank 1.00000 C09-32 ndcg 0.16113 C09-32 ndcg5 0.55315 C09-32 ndcg10 0.40330 C09-32 ndcg20 0.33829 C09-32 ERR 0.29334 C09-32 ERR10 0.27270 C09-32 ERR20 0.28995 C09-32 P1 1.00000 C09-32 P5 0.40000 C09-32 P10 0.40000 C09-32 P15 0.40000 C09-32 P20 0.30000 C09-32 P30 0.20000 C09-32 P50 0.16000 C09-32 P100 0.09000 C09-32 P200 0.06500 C09-32 P500 0.03800 C09-32 P1000 0.02300 C09-33 num_ret 996.00000 C09-33 num_unjug_ret@1 0.00000 C09-33 num_unjug_ret@10 5.00000 C09-33 num_unjug_ret@100 76.00000 C09-33 num_unjug_ret@1000 958.00000 C09-33 num_rel 245.00000 C09-33 num_rel_ret 25.00000 C09-33 map 0.03109 C09-33 R-prec 0.06939 C09-33 bpref 0.10053 C09-33 recip_rank 1.00000 C09-33 ndcg 0.15289 C09-33 ndcg5 0.43942 C09-33 ndcg10 0.35459 C09-33 ndcg20 0.34297 C09-33 ERR 0.25197 C09-33 ERR10 0.23069 C09-33 ERR20 0.24830 C09-33 P1 1.00000 C09-33 P5 0.60000 C09-33 P10 0.40000 C09-33 P15 0.46667 C09-33 P20 0.40000 C09-33 P30 0.36667 C09-33 P50 0.22000 C09-33 P100 0.16000 C09-33 P200 0.08500 C09-33 P500 0.05000 C09-33 P1000 0.02510 C09-34 num_ret 977.00000 C09-34 num_unjug_ret@1 0.00000 C09-34 num_unjug_ret@10 7.00000 C09-34 num_unjug_ret@100 97.00000 C09-34 num_unjug_ret@1000 964.00000 C09-34 num_rel 111.00000 C09-34 num_rel_ret 5.00000 C09-34 map 0.00122 C09-34 R-prec 0.00901 C09-34 bpref 0.04342 C09-34 recip_rank 0.10000 C09-34 ndcg 0.01601 C09-34 ndcg5 0.00000 C09-34 ndcg10 0.02121 C09-34 ndcg20 0.01369 C09-34 ERR 0.00692 C09-34 ERR10 0.00625 C09-34 ERR20 0.00625 C09-34 P1 0.00000 C09-34 P5 0.00000 C09-34 P10 0.10000 C09-34 P15 0.06667 C09-34 P20 0.05000 C09-34 P30 0.03333 C09-34 P50 0.02000 C09-34 P100 0.01000 C09-34 P200 0.00500 C09-34 P500 0.00600 C09-34 P1000 0.00512 C09-35 num_ret 522.00000 C09-35 num_unjug_ret@1 0.00000 C09-35 num_unjug_ret@10 0.00000 C09-35 num_unjug_ret@100 27.00000 C09-35 num_unjug_ret@1000 466.00000 C09-35 num_rel 125.00000 C09-35 num_rel_ret 18.00000 C09-35 map 0.01321 C09-35 R-prec 0.08000 C09-35 bpref 0.13050 C09-35 recip_rank 0.07692 C09-35 ndcg 0.20910 C09-35 ndcg5 0.47037 C09-35 ndcg10 0.44802 C09-35 ndcg20 0.36025 C09-35 ERR 0.26100 C09-35 ERR10 0.24786 C09-35 ERR20 0.25799 C09-35 P1 0.00000 C09-35 P5 0.00000 C09-35 P10 0.00000 C09-35 P15 0.06667 C09-35 P20 0.15000 C09-35 P30 0.10000 C09-35 P50 0.14000 C09-35 P100 0.09000 C09-35 P200 0.05500 C09-35 P500 0.03200 C09-35 P1000 0.03448 C09-36 num_ret 956.00000 C09-36 num_unjug_ret@1 0.00000 C09-36 num_unjug_ret@10 4.00000 C09-36 num_unjug_ret@100 58.00000 C09-36 num_unjug_ret@1000 926.00000 C09-36 num_rel 126.00000 C09-36 num_rel_ret 15.00000 C09-36 map 0.03268 C09-36 R-prec 0.06349 C09-36 bpref 0.11275 C09-36 recip_rank 0.50000 C09-36 ndcg 0.11482 C09-36 ndcg5 0.30775 C09-36 ndcg10 0.22285 C09-36 ndcg20 0.17788 C09-36 ERR 0.11000 C09-36 ERR10 0.10064 C09-36 ERR20 0.10757 C09-36 P1 0.00000 C09-36 P5 0.80000 C09-36 P10 0.50000 C09-36 P15 0.33333 C09-36 P20 0.30000 C09-36 P30 0.20000 C09-36 P50 0.14000 C09-36 P100 0.08000 C09-36 P200 0.04500 C09-36 P500 0.02200 C09-36 P1000 0.01569 C09-37 num_ret 832.00000 C09-37 num_unjug_ret@1 0.00000 C09-37 num_unjug_ret@10 5.00000 C09-37 num_unjug_ret@100 75.00000 C09-37 num_unjug_ret@1000 818.00000 C09-37 num_rel 4.00000 C09-37 num_rel_ret 1.00000 C09-37 map 0.01923 C09-37 R-prec 0.00000 C09-37 bpref 0.00000 C09-37 recip_rank 0.07692 C09-37 ndcg 0.14891 C09-37 ndcg5 0.00000 C09-37 ndcg10 0.14891 C09-37 ndcg20 0.14891 C09-37 ERR 0.01875 C09-37 ERR10 0.01875 C09-37 ERR20 0.01875 C09-37 P1 0.00000 C09-37 P5 0.00000 C09-37 P10 0.00000 C09-37 P15 0.06667 C09-37 P20 0.05000 C09-37 P30 0.03333 C09-37 P50 0.02000 C09-37 P100 0.01000 C09-37 P200 0.00500 C09-37 P500 0.00200 C09-37 P1000 0.00120 C09-38 num_ret 989.00000 C09-38 num_unjug_ret@1 0.00000 C09-38 num_unjug_ret@10 7.00000 C09-38 num_unjug_ret@100 73.00000 C09-38 num_unjug_ret@1000 926.00000 C09-38 num_rel 259.00000 C09-38 num_rel_ret 42.00000 C09-38 map 0.02554 C09-38 R-prec 0.10811 C09-38 bpref 0.13294 C09-38 recip_rank 0.20000 C09-38 ndcg 0.15017 C09-38 ndcg5 0.13121 C09-38 ndcg10 0.10635 C09-38 ndcg20 0.14691 C09-38 ERR 0.06757 C09-38 ERR10 0.04258 C09-38 ERR20 0.05900 C09-38 P1 0.00000 C09-38 P5 0.20000 C09-38 P10 0.20000 C09-38 P15 0.13333 C09-38 P20 0.25000 C09-38 P30 0.30000 C09-38 P50 0.26000 C09-38 P100 0.17000 C09-38 P200 0.12500 C09-38 P500 0.07000 C09-38 P1000 0.04247 C09-39 num_ret 763.00000 C09-39 num_unjug_ret@1 0.00000 C09-39 num_unjug_ret@10 2.00000 C09-39 num_unjug_ret@100 26.00000 C09-39 num_unjug_ret@1000 693.00000 C09-39 num_rel 135.00000 C09-39 num_rel_ret 21.00000 C09-39 map 0.01180 C09-39 R-prec 0.05185 C09-39 bpref 0.12521 C09-39 recip_rank 0.50000 C09-39 ndcg 0.11862 C09-39 ndcg5 0.11305 C09-39 ndcg10 0.09950 C09-39 ndcg20 0.11355 C09-39 ERR 0.09712 C09-39 ERR10 0.07227 C09-39 ERR20 0.08835 C09-39 P1 0.00000 C09-39 P5 0.20000 C09-39 P10 0.20000 C09-39 P15 0.13333 C09-39 P20 0.10000 C09-39 P30 0.10000 C09-39 P50 0.06000 C09-39 P100 0.07000 C09-39 P200 0.04000 C09-39 P500 0.03000 C09-39 P1000 0.02752 C09-40 num_ret 937.00000 C09-40 num_unjug_ret@1 0.00000 C09-40 num_unjug_ret@10 0.00000 C09-40 num_unjug_ret@100 58.00000 C09-40 num_unjug_ret@1000 889.00000 C09-40 num_rel 94.00000 C09-40 num_rel_ret 29.00000 C09-40 map 0.19533 C09-40 R-prec 0.28723 C09-40 bpref 0.28010 C09-40 recip_rank 1.00000 C09-40 ndcg 0.45106 C09-40 ndcg5 0.62782 C09-40 ndcg10 0.70622 C09-40 ndcg20 0.55116 C09-40 ERR 0.26765 C09-40 ERR10 0.25927 C09-40 ERR20 0.26463 C09-40 P1 1.00000 C09-40 P5 0.80000 C09-40 P10 0.90000 C09-40 P15 0.80000 C09-40 P20 0.70000 C09-40 P30 0.60000 C09-40 P50 0.36000 C09-40 P100 0.28000 C09-40 P200 0.14000 C09-40 P500 0.05600 C09-40 P1000 0.03095 C09-41 num_ret 874.00000 C09-41 num_unjug_ret@1 0.00000 C09-41 num_unjug_ret@10 5.00000 C09-41 num_unjug_ret@100 41.00000 C09-41 num_unjug_ret@1000 786.00000 C09-41 num_rel 137.00000 C09-41 num_rel_ret 42.00000 C09-41 map 0.05502 C09-41 R-prec 0.14599 C09-41 bpref 0.26586 C09-41 recip_rank 1.00000 C09-41 ndcg 0.34842 C09-41 ndcg5 0.33916 C09-41 ndcg10 0.34011 C09-41 ndcg20 0.28435 C09-41 ERR 0.24348 C09-41 ERR10 0.21950 C09-41 ERR20 0.23397 C09-41 P1 1.00000 C09-41 P5 0.20000 C09-41 P10 0.40000 C09-41 P15 0.26667 C09-41 P20 0.20000 C09-41 P30 0.23333 C09-41 P50 0.22000 C09-41 P100 0.18000 C09-41 P200 0.12500 C09-41 P500 0.06400 C09-41 P1000 0.04805 C09-42 num_ret 484.00000 C09-42 num_unjug_ret@1 0.00000 C09-42 num_unjug_ret@10 0.00000 C09-42 num_unjug_ret@100 17.00000 C09-42 num_unjug_ret@1000 463.00000 C09-42 num_rel 34.00000 C09-42 num_rel_ret 4.00000 C09-42 map 0.00241 C09-42 R-prec 0.02941 C09-42 bpref 0.09862 C09-42 recip_rank 0.04545 C09-42 ndcg 0.05039 C09-42 ndcg5 0.00000 C09-42 ndcg10 0.03014 C09-42 ndcg20 0.02488 C09-42 ERR 0.01380 C09-42 ERR10 0.01042 C09-42 ERR20 0.01042 C09-42 P1 0.00000 C09-42 P5 0.00000 C09-42 P10 0.00000 C09-42 P15 0.00000 C09-42 P20 0.00000 C09-42 P30 0.03333 C09-42 P50 0.02000 C09-42 P100 0.01000 C09-42 P200 0.01500 C09-42 P500 0.00620 C09-42 P1000 0.00826 C09-43 num_ret 824.00000 C09-43 num_unjug_ret@1 0.00000 C09-43 num_unjug_ret@10 0.00000 C09-43 num_unjug_ret@100 42.00000 C09-43 num_unjug_ret@1000 783.00000 C09-43 num_rel 47.00000 C09-43 num_rel_ret 2.00000 C09-43 map 0.00297 C09-43 R-prec 0.04255 C09-43 bpref 0.04255 C09-43 recip_rank 0.06250 C09-43 ndcg 0.05604 C09-43 ndcg5 0.16174 C09-43 ndcg10 0.10496 C09-43 ndcg20 0.07082 C09-43 ERR 0.07715 C09-43 ERR10 0.07715 C09-43 ERR20 0.07715 C09-43 P1 0.00000 C09-43 P5 0.00000 C09-43 P10 0.00000 C09-43 P15 0.00000 C09-43 P20 0.05000 C09-43 P30 0.06667 C09-43 P50 0.04000 C09-43 P100 0.02000 C09-43 P200 0.01000 C09-43 P500 0.00400 C09-43 P1000 0.00243 C09-44 num_ret 806.00000 C09-44 num_unjug_ret@1 0.00000 C09-44 num_unjug_ret@10 2.00000 C09-44 num_unjug_ret@100 75.00000 C09-44 num_unjug_ret@1000 770.00000 C09-44 num_rel 99.00000 C09-44 num_rel_ret 9.00000 C09-44 map 0.03601 C09-44 R-prec 0.06061 C09-44 bpref 0.08040 C09-44 recip_rank 1.00000 C09-44 ndcg 0.11133 C09-44 ndcg5 0.24091 C09-44 ndcg10 0.15633 C09-44 ndcg20 0.13564 C09-44 ERR 0.12372 C09-44 ERR10 0.11011 C09-44 ERR20 0.11976 C09-44 P1 1.00000 C09-44 P5 0.60000 C09-44 P10 0.30000 C09-44 P15 0.20000 C09-44 P20 0.20000 C09-44 P30 0.13333 C09-44 P50 0.12000 C09-44 P100 0.06000 C09-44 P200 0.03500 C09-44 P500 0.01600 C09-44 P1000 0.01117 C09-45 num_ret 861.00000 C09-45 num_unjug_ret@1 0.00000 C09-45 num_unjug_ret@10 5.00000 C09-45 num_unjug_ret@100 53.00000 C09-45 num_unjug_ret@1000 788.00000 C09-45 num_rel 212.00000 C09-45 num_rel_ret 39.00000 C09-45 map 0.05727 C09-45 R-prec 0.13679 C09-45 bpref 0.17170 C09-45 recip_rank 1.00000 C09-45 ndcg 0.22516 C09-45 ndcg5 0.75574 C09-45 ndcg10 0.51656 C09-45 ndcg20 0.39376 C09-45 ERR 0.32665 C09-45 ERR10 0.31167 C09-45 ERR20 0.32133 C09-45 P1 1.00000 C09-45 P5 0.80000 C09-45 P10 0.50000 C09-45 P15 0.46667 C09-45 P20 0.40000 C09-45 P30 0.33333 C09-45 P50 0.26000 C09-45 P100 0.22000 C09-45 P200 0.14000 C09-45 P500 0.06400 C09-45 P1000 0.04530 C09-46 num_ret 791.00000 C09-46 num_unjug_ret@1 0.00000 C09-46 num_unjug_ret@10 0.00000 C09-46 num_unjug_ret@100 26.00000 C09-46 num_unjug_ret@1000 716.00000 C09-46 num_rel 121.00000 C09-46 num_rel_ret 41.00000 C09-46 map 0.21454 C09-46 R-prec 0.33058 C09-46 bpref 0.31118 C09-46 recip_rank 1.00000 C09-46 ndcg 0.43191 C09-46 ndcg5 0.61643 C09-46 ndcg10 0.70692 C09-46 ndcg20 0.74069 C09-46 ERR 0.30856 C09-46 ERR10 0.29413 C09-46 ERR20 0.30717 C09-46 P1 1.00000 C09-46 P5 0.60000 C09-46 P10 0.80000 C09-46 P15 0.80000 C09-46 P20 0.80000 C09-46 P30 0.70000 C09-46 P50 0.56000 C09-46 P100 0.37000 C09-46 P200 0.20500 C09-46 P500 0.08200 C09-46 P1000 0.05183 C09-47 num_ret 968.00000 C09-47 num_unjug_ret@1 0.00000 C09-47 num_unjug_ret@10 0.00000 C09-47 num_unjug_ret@100 43.00000 C09-47 num_unjug_ret@1000 890.00000 C09-47 num_rel 156.00000 C09-47 num_rel_ret 26.00000 C09-47 map 0.05965 C09-47 R-prec 0.15385 C09-47 bpref 0.14904 C09-47 recip_rank 1.00000 C09-47 ndcg 0.31051 C09-47 ndcg5 0.72273 C09-47 ndcg10 0.53525 C09-47 ndcg20 0.45707 C09-47 ERR 0.33224 C09-47 ERR10 0.31611 C09-47 ERR20 0.32746 C09-47 P1 1.00000 C09-47 P5 0.60000 C09-47 P10 0.40000 C09-47 P15 0.33333 C09-47 P20 0.25000 C09-47 P30 0.30000 C09-47 P50 0.24000 C09-47 P100 0.24000 C09-47 P200 0.12500 C09-47 P500 0.05200 C09-47 P1000 0.02686 C09-48 num_ret 811.00000 C09-48 num_unjug_ret@1 0.00000 C09-48 num_unjug_ret@10 0.00000 C09-48 num_unjug_ret@100 63.00000 C09-48 num_unjug_ret@1000 761.00000 C09-48 num_rel 54.00000 C09-48 num_rel_ret 8.00000 C09-48 map 0.10182 C09-48 R-prec 0.12963 C09-48 bpref 0.13272 C09-48 recip_rank 1.00000 C09-48 ndcg 0.20284 C09-48 ndcg5 0.54035 C09-48 ndcg10 0.43742 C09-48 ndcg20 0.29365 C09-48 ERR 0.22274 C09-48 ERR10 0.22047 C09-48 ERR20 0.22209 C09-48 P1 1.00000 C09-48 P5 0.80000 C09-48 P10 0.60000 C09-48 P15 0.40000 C09-48 P20 0.35000 C09-48 P30 0.23333 C09-48 P50 0.14000 C09-48 P100 0.07000 C09-48 P200 0.04000 C09-48 P500 0.01600 C09-48 P1000 0.00986 C09-49 num_ret 800.00000 C09-49 num_unjug_ret@1 0.00000 C09-49 num_unjug_ret@10 0.00000 C09-49 num_unjug_ret@100 49.00000 C09-49 num_unjug_ret@1000 728.00000 C09-49 num_rel 47.00000 C09-49 num_rel_ret 27.00000 C09-49 map 0.47574 C09-49 R-prec 0.51064 C09-49 bpref 0.52829 C09-49 recip_rank 1.00000 C09-49 ndcg 0.59501 C09-49 ndcg5 0.70210 C09-49 ndcg10 0.65437 C09-49 ndcg20 0.68088 C09-49 ERR 0.33217 C09-49 ERR10 0.31847 C09-49 ERR20 0.32903 C09-49 P1 1.00000 C09-49 P5 1.00000 C09-49 P10 0.90000 C09-49 P15 0.93333 C09-49 P20 0.85000 C09-49 P30 0.70000 C09-49 P50 0.48000 C09-49 P100 0.26000 C09-49 P200 0.13000 C09-49 P500 0.05400 C09-49 P1000 0.03375 C09-50 num_ret 972.00000 C09-50 num_unjug_ret@1 0.00000 C09-50 num_unjug_ret@10 4.00000 C09-50 num_unjug_ret@100 91.00000 C09-50 num_unjug_ret@1000 936.00000 C09-50 num_rel 70.00000 C09-50 num_rel_ret 9.00000 C09-50 map 0.00436 C09-50 R-prec 0.02857 C09-50 bpref 0.10469 C09-50 recip_rank 0.07143 C09-50 ndcg 0.06131 C09-50 ndcg5 0.00000 C09-50 ndcg10 0.00000 C09-50 ndcg20 0.02307 C09-50 ERR 0.00999 C09-50 ERR10 0.00000 C09-50 ERR20 0.00755 C09-50 P1 0.00000 C09-50 P5 0.00000 C09-50 P10 0.00000 C09-50 P15 0.06667 C09-50 P20 0.10000 C09-50 P30 0.06667 C09-50 P50 0.04000 C09-50 P100 0.02000 C09-50 P200 0.01500 C09-50 P500 0.01800 C09-50 P1000 0.00926 C09-51 num_ret 788.00000 C09-51 num_unjug_ret@1 0.00000 C09-51 num_unjug_ret@10 0.00000 C09-51 num_unjug_ret@100 37.00000 C09-51 num_unjug_ret@1000 720.00000 C09-51 num_rel 147.00000 C09-51 num_rel_ret 28.00000 C09-51 map 0.07928 C09-51 R-prec 0.15646 C09-51 bpref 0.18372 C09-51 recip_rank 1.00000 C09-51 ndcg 0.20583 C09-51 ndcg5 0.27692 C09-51 ndcg10 0.27552 C09-51 ndcg20 0.27557 C09-51 ERR 0.22090 C09-51 ERR10 0.20421 C09-51 ERR20 0.21734 C09-51 P1 1.00000 C09-51 P5 0.60000 C09-51 P10 0.50000 C09-51 P15 0.46667 C09-51 P20 0.45000 C09-51 P30 0.46667 C09-51 P50 0.34000 C09-51 P100 0.22000 C09-51 P200 0.12000 C09-51 P500 0.05600 C09-51 P1000 0.03553 C09-52 num_ret 807.00000 C09-52 num_unjug_ret@1 0.00000 C09-52 num_unjug_ret@10 0.00000 C09-52 num_unjug_ret@100 45.00000 C09-52 num_unjug_ret@1000 681.00000 C09-52 num_rel 47.00000 C09-52 num_rel_ret 26.00000 C09-52 map 0.04062 C09-52 R-prec 0.08511 C09-52 bpref 0.05930 C09-52 recip_rank 0.02857 C09-52 ndcg 0.34850 C09-52 ndcg5 0.00000 C09-52 ndcg10 0.00000 C09-52 ndcg20 0.00000 C09-52 ERR 0.02748 C09-52 ERR10 0.00000 C09-52 ERR20 0.00000 C09-52 P1 0.00000 C09-52 P5 0.00000 C09-52 P10 0.00000 C09-52 P15 0.00000 C09-52 P20 0.00000 C09-52 P30 0.00000 C09-52 P50 0.08000 C09-52 P100 0.10000 C09-52 P200 0.08000 C09-52 P500 0.04600 C09-52 P1000 0.03222 C09-53 num_ret 612.00000 C09-53 num_unjug_ret@1 0.00000 C09-53 num_unjug_ret@10 0.00000 C09-53 num_unjug_ret@100 2.00000 C09-53 num_unjug_ret@1000 555.00000 C09-53 num_rel 110.00000 C09-53 num_rel_ret 10.00000 C09-53 map 0.00185 C09-53 R-prec 0.01818 C09-53 bpref 0.07058 C09-53 recip_rank 0.01075 C09-53 ndcg 0.09872 C09-53 ndcg5 0.13121 C09-53 ndcg10 0.12147 C09-53 ndcg20 0.11045 C09-53 ERR 0.09508 C09-53 ERR10 0.09252 C09-53 ERR20 0.09252 C09-53 P1 0.00000 C09-53 P5 0.00000 C09-53 P10 0.00000 C09-53 P15 0.00000 C09-53 P20 0.00000 C09-53 P30 0.00000 C09-53 P50 0.00000 C09-53 P100 0.02000 C09-53 P200 0.02000 C09-53 P500 0.02000 C09-53 P1000 0.01634 C09-54 num_ret 547.00000 C09-54 num_unjug_ret@1 0.00000 C09-54 num_unjug_ret@10 3.00000 C09-54 num_unjug_ret@100 57.00000 C09-54 num_unjug_ret@1000 470.00000 C09-54 num_rel 183.00000 C09-54 num_rel_ret 50.00000 C09-54 map 0.15334 C09-54 R-prec 0.25137 C09-54 bpref 0.26970 C09-54 recip_rank 1.00000 C09-54 ndcg 0.20888 C09-54 ndcg5 0.27681 C09-54 ndcg10 0.25336 C09-54 ndcg20 0.25793 C09-54 ERR 0.16149 C09-54 ERR10 0.13565 C09-54 ERR20 0.15326 C09-54 P1 1.00000 C09-54 P5 0.80000 C09-54 P10 0.70000 C09-54 P15 0.73333 C09-54 P20 0.75000 C09-54 P30 0.60000 C09-54 P50 0.56000 C09-54 P100 0.41000 C09-54 P200 0.23000 C09-54 P500 0.09800 C09-54 P1000 0.09141 C09-55 num_ret 645.00000 C09-55 num_unjug_ret@1 0.00000 C09-55 num_unjug_ret@10 1.00000 C09-55 num_unjug_ret@100 23.00000 C09-55 num_unjug_ret@1000 574.00000 C09-55 num_rel 97.00000 C09-55 num_rel_ret 22.00000 C09-55 map 0.01317 C09-55 R-prec 0.07216 C09-55 bpref 0.16792 C09-55 recip_rank 0.03226 C09-55 ndcg 0.18216 C09-55 ndcg5 0.00000 C09-55 ndcg10 0.19931 C09-55 ndcg20 0.16149 C09-55 ERR 0.06514 C09-55 ERR10 0.05274 C09-55 ERR20 0.05804 C09-55 P1 0.00000 C09-55 P5 0.00000 C09-55 P10 0.00000 C09-55 P15 0.00000 C09-55 P20 0.00000 C09-55 P30 0.00000 C09-55 P50 0.06000 C09-55 P100 0.08000 C09-55 P200 0.06000 C09-55 P500 0.03800 C09-55 P1000 0.03411 C09-56 num_ret 685.00000 C09-56 num_unjug_ret@1 0.00000 C09-56 num_unjug_ret@10 0.00000 C09-56 num_unjug_ret@100 24.00000 C09-56 num_unjug_ret@1000 620.00000 C09-56 num_rel 47.00000 C09-56 num_rel_ret 3.00000 C09-56 map 0.00068 C09-56 R-prec 0.00000 C09-56 bpref 0.01403 C09-56 recip_rank 0.01220 C09-56 ndcg 0.04848 C09-56 ndcg5 0.00000 C09-56 ndcg10 0.00000 C09-56 ndcg20 0.00000 C09-56 ERR 0.00630 C09-56 ERR10 0.00000 C09-56 ERR20 0.00000 C09-56 P1 0.00000 C09-56 P5 0.00000 C09-56 P10 0.00000 C09-56 P15 0.00000 C09-56 P20 0.00000 C09-56 P30 0.00000 C09-56 P50 0.00000 C09-56 P100 0.01000 C09-56 P200 0.00500 C09-56 P500 0.00600 C09-56 P1000 0.00438 C09-57 num_ret 1000.00000 C09-57 num_unjug_ret@1 0.00000 C09-57 num_unjug_ret@10 0.00000 C09-57 num_unjug_ret@100 60.00000 C09-57 num_unjug_ret@1000 927.00000 C09-57 num_rel 314.00000 C09-57 num_rel_ret 64.00000 C09-57 map 0.09406 C09-57 R-prec 0.15924 C09-57 bpref 0.19860 C09-57 recip_rank 1.00000 C09-57 ndcg 0.17173 C09-57 ndcg5 0.14286 C09-57 ndcg10 0.14286 C09-57 ndcg20 0.11810 C09-57 ERR 0.17499 C09-57 ERR10 0.15886 C09-57 ERR20 0.16431 C09-57 P1 1.00000 C09-57 P5 1.00000 C09-57 P10 1.00000 C09-57 P15 0.66667 C09-57 P20 0.65000 C09-57 P30 0.56667 C09-57 P50 0.48000 C09-57 P100 0.38000 C09-57 P200 0.24500 C09-57 P500 0.11000 C09-57 P1000 0.06400 C09-58 num_ret 717.00000 C09-58 num_unjug_ret@1 0.00000 C09-58 num_unjug_ret@10 0.00000 C09-58 num_unjug_ret@100 18.00000 C09-58 num_unjug_ret@1000 614.00000 C09-58 num_rel 95.00000 C09-58 num_rel_ret 30.00000 C09-58 map 0.02909 C09-58 R-prec 0.08421 C09-58 bpref 0.20809 C09-58 recip_rank 1.00000 C09-58 ndcg 0.27095 C09-58 ndcg5 0.29280 C09-58 ndcg10 0.31933 C09-58 ndcg20 0.30908 C09-58 ERR 0.28248 C09-58 ERR10 0.26897 C09-58 ERR20 0.28016 C09-58 P1 1.00000 C09-58 P5 0.20000 C09-58 P10 0.10000 C09-58 P15 0.06667 C09-58 P20 0.05000 C09-58 P30 0.10000 C09-58 P50 0.08000 C09-58 P100 0.08000 C09-58 P200 0.05500 C09-58 P500 0.04200 C09-58 P1000 0.04184 C09-59 num_ret 882.00000 C09-59 num_unjug_ret@1 0.00000 C09-59 num_unjug_ret@10 2.00000 C09-59 num_unjug_ret@100 38.00000 C09-59 num_unjug_ret@1000 831.00000 C09-59 num_rel 61.00000 C09-59 num_rel_ret 6.00000 C09-59 map 0.00509 C09-59 R-prec 0.03279 C09-59 bpref 0.05563 C09-59 recip_rank 0.12500 C09-59 ndcg 0.08071 C09-59 ndcg5 0.00000 C09-59 ndcg10 0.06943 C09-59 ndcg20 0.06460 C09-59 ERR 0.05811 C09-59 ERR10 0.05469 C09-59 ERR20 0.05703 C09-59 P1 0.00000 C09-59 P5 0.00000 C09-59 P10 0.10000 C09-59 P15 0.13333 C09-59 P20 0.10000 C09-59 P30 0.06667 C09-59 P50 0.04000 C09-59 P100 0.02000 C09-59 P200 0.01000 C09-59 P500 0.01200 C09-59 P1000 0.00680 C09-60 num_ret 816.00000 C09-60 num_unjug_ret@1 0.00000 C09-60 num_unjug_ret@10 0.00000 C09-60 num_unjug_ret@100 27.00000 C09-60 num_unjug_ret@1000 718.00000 C09-60 num_rel 184.00000 C09-60 num_rel_ret 54.00000 C09-60 map 0.05520 C09-60 R-prec 0.16304 C09-60 bpref 0.26173 C09-60 recip_rank 0.33333 C09-60 ndcg 0.26221 C09-60 ndcg5 0.18773 C09-60 ndcg10 0.19231 C09-60 ndcg20 0.30022 C09-60 ERR 0.10136 C09-60 ERR10 0.07369 C09-60 ERR20 0.09623 C09-60 P1 0.00000 C09-60 P5 0.40000 C09-60 P10 0.40000 C09-60 P15 0.26667 C09-60 P20 0.20000 C09-60 P30 0.30000 C09-60 P50 0.26000 C09-60 P100 0.21000 C09-60 P200 0.16000 C09-60 P500 0.09400 C09-60 P1000 0.06618 C09-61 num_ret 823.00000 C09-61 num_unjug_ret@1 0.00000 C09-61 num_unjug_ret@10 4.00000 C09-61 num_unjug_ret@100 69.00000 C09-61 num_unjug_ret@1000 749.00000 C09-61 num_rel 123.00000 C09-61 num_rel_ret 38.00000 C09-61 map 0.04901 C09-61 R-prec 0.11382 C09-61 bpref 0.26717 C09-61 recip_rank 0.25000 C09-61 ndcg 0.22303 C09-61 ndcg5 0.04869 C09-61 ndcg10 0.12857 C09-61 ndcg20 0.17030 C09-61 ERR 0.06104 C09-61 ERR10 0.04289 C09-61 ERR20 0.05283 C09-61 P1 0.00000 C09-61 P5 0.20000 C09-61 P10 0.30000 C09-61 P15 0.26667 C09-61 P20 0.35000 C09-61 P30 0.26667 C09-61 P50 0.22000 C09-61 P100 0.14000 C09-61 P200 0.08500 C09-61 P500 0.07200 C09-61 P1000 0.04617 C09-62 num_ret 803.00000 C09-62 num_unjug_ret@1 0.00000 C09-62 num_unjug_ret@10 0.00000 C09-62 num_unjug_ret@100 19.00000 C09-62 num_unjug_ret@1000 757.00000 C09-62 num_rel 106.00000 C09-62 num_rel_ret 16.00000 C09-62 map 0.01718 C09-62 R-prec 0.08491 C09-62 bpref 0.13848 C09-62 recip_rank 0.09091 C09-62 ndcg 0.13737 C09-62 ndcg5 0.16375 C09-62 ndcg10 0.20901 C09-62 ndcg20 0.20705 C09-62 ERR 0.08803 C09-62 ERR10 0.08164 C09-62 ERR20 0.08655 C09-62 P1 0.00000 C09-62 P5 0.00000 C09-62 P10 0.00000 C09-62 P15 0.26667 C09-62 P20 0.25000 C09-62 P30 0.16667 C09-62 P50 0.10000 C09-62 P100 0.09000 C09-62 P200 0.05500 C09-62 P500 0.03000 C09-62 P1000 0.01993 C09-63 num_ret 738.00000 C09-63 num_unjug_ret@1 0.00000 C09-63 num_unjug_ret@10 0.00000 C09-63 num_unjug_ret@100 36.00000 C09-63 num_unjug_ret@1000 667.00000 C09-63 num_rel 107.00000 C09-63 num_rel_ret 20.00000 C09-63 map 0.01050 C09-63 R-prec 0.08411 C09-63 bpref 0.12080 C09-63 recip_rank 0.02439 C09-63 ndcg 0.12854 C09-63 ndcg5 0.00000 C09-63 ndcg10 0.00000 C09-63 ndcg20 0.01894 C09-63 ERR 0.02198 C09-63 ERR10 0.00000 C09-63 ERR20 0.00934 C09-63 P1 0.00000 C09-63 P5 0.00000 C09-63 P10 0.00000 C09-63 P15 0.00000 C09-63 P20 0.00000 C09-63 P30 0.00000 C09-63 P50 0.04000 C09-63 P100 0.08000 C09-63 P200 0.07000 C09-63 P500 0.03600 C09-63 P1000 0.02710 C09-64 num_ret 522.00000 C09-64 num_unjug_ret@1 0.00000 C09-64 num_unjug_ret@10 0.00000 C09-64 num_unjug_ret@100 19.00000 C09-64 num_unjug_ret@1000 421.00000 C09-64 num_rel 142.00000 C09-64 num_rel_ret 31.00000 C09-64 map 0.01814 C09-64 R-prec 0.09859 C09-64 bpref 0.17928 C09-64 recip_rank 0.03704 C09-64 ndcg 0.15009 C09-64 ndcg5 0.08407 C09-64 ndcg10 0.10904 C09-64 ndcg20 0.09780 C09-64 ERR 0.08212 C09-64 ERR10 0.06298 C09-64 ERR20 0.06858 C09-64 P1 0.00000 C09-64 P5 0.00000 C09-64 P10 0.00000 C09-64 P15 0.00000 C09-64 P20 0.00000 C09-64 P30 0.03333 C09-64 P50 0.10000 C09-64 P100 0.12000 C09-64 P200 0.08500 C09-64 P500 0.05400 C09-64 P1000 0.05939 C09-65 num_ret 545.00000 C09-65 num_unjug_ret@1 0.00000 C09-65 num_unjug_ret@10 0.00000 C09-65 num_unjug_ret@100 18.00000 C09-65 num_unjug_ret@1000 442.00000 C09-65 num_rel 128.00000 C09-65 num_rel_ret 28.00000 C09-65 map 0.01339 C09-65 R-prec 0.08594 C09-65 bpref 0.14899 C09-65 recip_rank 0.02857 C09-65 ndcg 0.15740 C09-65 ndcg5 0.09760 C09-65 ndcg10 0.15892 C09-65 ndcg20 0.12491 C09-65 ERR 0.13168 C09-65 ERR10 0.12052 C09-65 ERR20 0.12314 C09-65 P1 0.00000 C09-65 P5 0.00000 C09-65 P10 0.00000 C09-65 P15 0.00000 C09-65 P20 0.00000 C09-65 P30 0.00000 C09-65 P50 0.10000 C09-65 P100 0.09000 C09-65 P200 0.05500 C09-65 P500 0.04600 C09-65 P1000 0.05138 C09-66 num_ret 779.00000 C09-66 num_unjug_ret@1 0.00000 C09-66 num_unjug_ret@10 5.00000 C09-66 num_unjug_ret@100 30.00000 C09-66 num_unjug_ret@1000 736.00000 C09-66 num_rel 26.00000 C09-66 num_rel_ret 4.00000 C09-66 map 0.00105 C09-66 R-prec 0.00000 C09-66 bpref 0.01627 C09-66 recip_rank 0.00442 C09-66 ndcg 0.02395 C09-66 ndcg5 0.00000 C09-66 ndcg10 0.00000 C09-66 ndcg20 0.00000 C09-66 ERR 0.00111 C09-66 ERR10 0.00000 C09-66 ERR20 0.00000 C09-66 P1 0.00000 C09-66 P5 0.00000 C09-66 P10 0.00000 C09-66 P15 0.00000 C09-66 P20 0.00000 C09-66 P30 0.00000 C09-66 P50 0.00000 C09-66 P100 0.00000 C09-66 P200 0.00000 C09-66 P500 0.00800 C09-66 P1000 0.00513 C09-67 num_ret 643.00000 C09-67 num_unjug_ret@1 0.00000 C09-67 num_unjug_ret@10 0.00000 C09-67 num_unjug_ret@100 30.00000 C09-67 num_unjug_ret@1000 590.00000 C09-67 num_rel 127.00000 C09-67 num_rel_ret 24.00000 C09-67 map 0.01398 C09-67 R-prec 0.05512 C09-67 bpref 0.16312 C09-67 recip_rank 0.05882 C09-67 ndcg 0.10381 C09-67 ndcg5 0.00000 C09-67 ndcg10 0.04329 C09-67 ndcg20 0.06376 C09-67 ERR 0.03212 C09-67 ERR10 0.01280 C09-67 ERR20 0.02364 C09-67 P1 0.00000 C09-67 P5 0.00000 C09-67 P10 0.00000 C09-67 P15 0.00000 C09-67 P20 0.15000 C09-67 P30 0.10000 C09-67 P50 0.06000 C09-67 P100 0.07000 C09-67 P200 0.06500 C09-67 P500 0.04600 C09-67 P1000 0.03733 C09-68 num_ret 962.00000 C09-68 num_unjug_ret@1 0.00000 C09-68 num_unjug_ret@10 1.00000 C09-68 num_unjug_ret@100 49.00000 C09-68 num_unjug_ret@1000 858.00000 C09-68 num_rel 45.00000 C09-68 num_rel_ret 15.00000 C09-68 map 0.06391 C09-68 R-prec 0.13333 C09-68 bpref 0.13432 C09-68 recip_rank 0.50000 C09-68 ndcg 0.20799 C09-68 ndcg5 0.15685 C09-68 ndcg10 0.16426 C09-68 ndcg20 0.17169 C09-68 ERR 0.06836 C09-68 ERR10 0.05765 C09-68 ERR20 0.06415 C09-68 P1 0.00000 C09-68 P5 0.40000 C09-68 P10 0.30000 C09-68 P15 0.26667 C09-68 P20 0.25000 C09-68 P30 0.16667 C09-68 P50 0.12000 C09-68 P100 0.09000 C09-68 P200 0.05500 C09-68 P500 0.02800 C09-68 P1000 0.01559 C09-69 num_ret 972.00000 C09-69 num_unjug_ret@1 0.00000 C09-69 num_unjug_ret@10 0.00000 C09-69 num_unjug_ret@100 59.00000 C09-69 num_unjug_ret@1000 901.00000 C09-69 num_rel 36.00000 C09-69 num_rel_ret 13.00000 C09-69 map 0.19153 C09-69 R-prec 0.22222 C09-69 bpref 0.20679 C09-69 recip_rank 1.00000 C09-69 ndcg 0.31205 C09-69 ndcg5 0.26301 C09-69 ndcg10 0.25807 C09-69 ndcg20 0.26060 C09-69 ERR 0.14947 C09-69 ERR10 0.14018 C09-69 ERR20 0.14655 C09-69 P1 1.00000 C09-69 P5 1.00000 C09-69 P10 0.60000 C09-69 P15 0.40000 C09-69 P20 0.35000 C09-69 P30 0.26667 C09-69 P50 0.16000 C09-69 P100 0.08000 C09-69 P200 0.04500 C09-69 P500 0.02200 C09-69 P1000 0.01337 C09-70 num_ret 854.00000 C09-70 num_unjug_ret@1 0.00000 C09-70 num_unjug_ret@10 3.00000 C09-70 num_unjug_ret@100 52.00000 C09-70 num_unjug_ret@1000 783.00000 C09-70 num_rel 11.00000 C09-70 num_rel_ret 0.00000 C09-70 map 0.00000 C09-70 R-prec 0.00000 C09-70 bpref 0.00000 C09-70 recip_rank 0.00000 C09-70 ndcg 0.00000 C09-70 ndcg5 0.00000 C09-70 ndcg10 0.00000 C09-70 ndcg20 0.00000 C09-70 ERR 0.00000 C09-70 ERR10 0.00000 C09-70 ERR20 0.00000 C09-70 P1 0.00000 C09-70 P5 0.00000 C09-70 P10 0.00000 C09-70 P15 0.00000 C09-70 P20 0.00000 C09-70 P30 0.00000 C09-70 P50 0.00000 C09-70 P100 0.00000 C09-70 P200 0.00000 C09-70 P500 0.00000 C09-70 P1000 0.00000 C09-71 num_ret 820.00000 C09-71 num_unjug_ret@1 0.00000 C09-71 num_unjug_ret@10 3.00000 C09-71 num_unjug_ret@100 83.00000 C09-71 num_unjug_ret@1000 785.00000 C09-71 num_rel 91.00000 C09-71 num_rel_ret 10.00000 C09-71 map 0.00303 C09-71 R-prec 0.03297 C09-71 bpref 0.09190 C09-71 recip_rank 0.05263 C09-71 ndcg 0.03520 C09-71 ndcg5 0.00000 C09-71 ndcg10 0.00000 C09-71 ndcg20 0.00849 C09-71 ERR 0.00740 C09-71 ERR10 0.00000 C09-71 ERR20 0.00368 C09-71 P1 0.00000 C09-71 P5 0.00000 C09-71 P10 0.00000 C09-71 P15 0.00000 C09-71 P20 0.05000 C09-71 P30 0.06667 C09-71 P50 0.04000 C09-71 P100 0.03000 C09-71 P200 0.02000 C09-71 P500 0.01600 C09-71 P1000 0.01220 C09-72 num_ret 711.00000 C09-72 num_unjug_ret@1 0.00000 C09-72 num_unjug_ret@10 5.00000 C09-72 num_unjug_ret@100 39.00000 C09-72 num_unjug_ret@1000 643.00000 C09-72 num_rel 78.00000 C09-72 num_rel_ret 5.00000 C09-72 map 0.00049 C09-72 R-prec 0.00000 C09-72 bpref 0.02137 C09-72 recip_rank 0.01075 C09-72 ndcg 0.01504 C09-72 ndcg5 0.00000 C09-72 ndcg10 0.00000 C09-72 ndcg20 0.00000 C09-72 ERR 0.00153 C09-72 ERR10 0.00000 C09-72 ERR20 0.00000 C09-72 P1 0.00000 C09-72 P5 0.00000 C09-72 P10 0.00000 C09-72 P15 0.00000 C09-72 P20 0.00000 C09-72 P30 0.00000 C09-72 P50 0.00000 C09-72 P100 0.01000 C09-72 P200 0.00500 C09-72 P500 0.00600 C09-72 P1000 0.00703 C09-73 num_ret 653.00000 C09-73 num_unjug_ret@1 0.00000 C09-73 num_unjug_ret@10 0.00000 C09-73 num_unjug_ret@100 16.00000 C09-73 num_unjug_ret@1000 615.00000 C09-73 num_rel 276.00000 C09-73 num_rel_ret 28.00000 C09-73 map 0.01895 C09-73 R-prec 0.07971 C09-73 bpref 0.09637 C09-73 recip_rank 0.09091 C09-73 ndcg 0.14422 C09-73 ndcg5 0.43071 C09-73 ndcg10 0.32516 C09-73 ndcg20 0.26863 C09-73 ERR 0.18165 C09-73 ERR10 0.16638 C09-73 ERR20 0.17659 C09-73 P1 0.00000 C09-73 P5 0.00000 C09-73 P10 0.00000 C09-73 P15 0.33333 C09-73 P20 0.30000 C09-73 P30 0.30000 C09-73 P50 0.26000 C09-73 P100 0.15000 C09-73 P200 0.10000 C09-73 P500 0.04800 C09-73 P1000 0.04288 C09-74 num_ret 834.00000 C09-74 num_unjug_ret@1 0.00000 C09-74 num_unjug_ret@10 0.00000 C09-74 num_unjug_ret@100 22.00000 C09-74 num_unjug_ret@1000 745.00000 C09-74 num_rel 42.00000 C09-74 num_rel_ret 9.00000 C09-74 map 0.00398 C09-74 R-prec 0.00000 C09-74 bpref 0.02494 C09-74 recip_rank 0.01282 C09-74 ndcg 0.10929 C09-74 ndcg5 0.00000 C09-74 ndcg10 0.00000 C09-74 ndcg20 0.00000 C09-74 ERR 0.00943 C09-74 ERR10 0.00000 C09-74 ERR20 0.00000 C09-74 P1 0.00000 C09-74 P5 0.00000 C09-74 P10 0.00000 C09-74 P15 0.00000 C09-74 P20 0.00000 C09-74 P30 0.00000 C09-74 P50 0.00000 C09-74 P100 0.02000 C09-74 P200 0.02000 C09-74 P500 0.01400 C09-74 P1000 0.01079 C09-75 num_ret 333.00000 C09-75 num_unjug_ret@1 0.00000 C09-75 num_unjug_ret@10 0.00000 C09-75 num_unjug_ret@100 0.00000 C09-75 num_unjug_ret@1000 273.00000 C09-75 num_rel 174.00000 C09-75 num_rel_ret 35.00000 C09-75 map 0.01077 C09-75 R-prec 0.05172 C09-75 bpref 0.19319 C09-75 recip_rank 0.01961 C09-75 ndcg 0.42698 C09-75 ndcg5 0.92561 C09-75 ndcg10 0.83330 C09-75 ndcg20 0.70966 C09-75 ERR 0.62627 C09-75 ERR10 0.62178 C09-75 ERR20 0.62514 C09-75 P1 0.00000 C09-75 P5 0.00000 C09-75 P10 0.00000 C09-75 P15 0.00000 C09-75 P20 0.00000 C09-75 P30 0.00000 C09-75 P50 0.00000 C09-75 P100 0.07000 C09-75 P200 0.06000 C09-75 P500 0.06907 C09-75 P1000 0.10511 C09-76 num_ret 921.00000 C09-76 num_unjug_ret@1 0.00000 C09-76 num_unjug_ret@10 0.00000 C09-76 num_unjug_ret@100 37.00000 C09-76 num_unjug_ret@1000 842.00000 C09-76 num_rel 178.00000 C09-76 num_rel_ret 48.00000 C09-76 map 0.15183 C09-76 R-prec 0.24157 C09-76 bpref 0.25294 C09-76 recip_rank 1.00000 C09-76 ndcg 0.25983 C09-76 ndcg5 0.16585 C09-76 ndcg10 0.16188 C09-76 ndcg20 0.28555 C09-76 ERR 0.19700 C09-76 ERR10 0.16274 C09-76 ERR20 0.19423 C09-76 P1 1.00000 C09-76 P5 0.80000 C09-76 P10 0.70000 C09-76 P15 0.66667 C09-76 P20 0.65000 C09-76 P30 0.50000 C09-76 P50 0.62000 C09-76 P100 0.38000 C09-76 P200 0.22000 C09-76 P500 0.09200 C09-76 P1000 0.05212 C09-77 num_ret 882.00000 C09-77 num_unjug_ret@1 0.00000 C09-77 num_unjug_ret@10 0.00000 C09-77 num_unjug_ret@100 37.00000 C09-77 num_unjug_ret@1000 789.00000 C09-77 num_rel 68.00000 C09-77 num_rel_ret 20.00000 C09-77 map 0.04349 C09-77 R-prec 0.07353 C09-77 bpref 0.12284 C09-77 recip_rank 0.50000 C09-77 ndcg 0.28688 C09-77 ndcg5 0.40443 C09-77 ndcg10 0.27191 C09-77 ndcg20 0.18228 C09-77 ERR 0.31408 C09-77 ERR10 0.30779 C09-77 ERR20 0.30779 C09-77 P1 0.00000 C09-77 P5 0.60000 C09-77 P10 0.30000 C09-77 P15 0.26667 C09-77 P20 0.20000 C09-77 P30 0.13333 C09-77 P50 0.10000 C09-77 P100 0.08000 C09-77 P200 0.05000 C09-77 P500 0.02600 C09-77 P1000 0.02268 C09-78 num_ret 858.00000 C09-78 num_unjug_ret@1 0.00000 C09-78 num_unjug_ret@10 0.00000 C09-78 num_unjug_ret@100 36.00000 C09-78 num_unjug_ret@1000 781.00000 C09-78 num_rel 67.00000 C09-78 num_rel_ret 6.00000 C09-78 map 0.00203 C09-78 R-prec 0.02985 C09-78 bpref 0.05346 C09-78 recip_rank 0.02041 C09-78 ndcg 0.04082 C09-78 ndcg5 0.00000 C09-78 ndcg10 0.00000 C09-78 ndcg20 0.01514 C09-78 ERR 0.00767 C09-78 ERR10 0.00000 C09-78 ERR20 0.00391 C09-78 P1 0.00000 C09-78 P5 0.00000 C09-78 P10 0.00000 C09-78 P15 0.00000 C09-78 P20 0.00000 C09-78 P30 0.00000 C09-78 P50 0.02000 C09-78 P100 0.02000 C09-78 P200 0.01500 C09-78 P500 0.01200 C09-78 P1000 0.00699 C09-79 num_ret 504.00000 C09-79 num_unjug_ret@1 0.00000 C09-79 num_unjug_ret@10 2.00000 C09-79 num_unjug_ret@100 36.00000 C09-79 num_unjug_ret@1000 456.00000 C09-79 num_rel 89.00000 C09-79 num_rel_ret 34.00000 C09-79 map 0.12924 C09-79 R-prec 0.28090 C09-79 bpref 0.37432 C09-79 recip_rank 1.00000 C09-79 ndcg 0.35607 C09-79 ndcg5 0.52041 C09-79 ndcg10 0.43588 C09-79 ndcg20 0.43075 C09-79 ERR 0.34293 C09-79 ERR10 0.31991 C09-79 ERR20 0.33778 C09-79 P1 1.00000 C09-79 P5 0.80000 C09-79 P10 0.50000 C09-79 P15 0.33333 C09-79 P20 0.25000 C09-79 P30 0.16667 C09-79 P50 0.32000 C09-79 P100 0.26000 C09-79 P200 0.13500 C09-79 P500 0.06800 C09-79 P1000 0.06746 C09-80 num_ret 905.00000 C09-80 num_unjug_ret@1 0.00000 C09-80 num_unjug_ret@10 1.00000 C09-80 num_unjug_ret@100 33.00000 C09-80 num_unjug_ret@1000 825.00000 C09-80 num_rel 280.00000 C09-80 num_rel_ret 61.00000 C09-80 map 0.09058 C09-80 R-prec 0.18214 C09-80 bpref 0.21129 C09-80 recip_rank 1.00000 C09-80 ndcg 0.28091 C09-80 ndcg5 1.00000 C09-80 ndcg10 0.93638 C09-80 ndcg20 0.75026 C09-80 ERR 0.17414 C09-80 ERR10 0.15536 C09-80 ERR20 0.16464 C09-80 P1 1.00000 C09-80 P5 1.00000 C09-80 P10 0.90000 C09-80 P15 0.80000 C09-80 P20 0.65000 C09-80 P30 0.60000 C09-80 P50 0.36000 C09-80 P100 0.30000 C09-80 P200 0.21000 C09-80 P500 0.11800 C09-80 P1000 0.06740 C09-81 num_ret 610.00000 C09-81 num_unjug_ret@1 0.00000 C09-81 num_unjug_ret@10 3.00000 C09-81 num_unjug_ret@100 34.00000 C09-81 num_unjug_ret@1000 554.00000 C09-81 num_rel 49.00000 C09-81 num_rel_ret 9.00000 C09-81 map 0.00529 C09-81 R-prec 0.00000 C09-81 bpref 0.11579 C09-81 recip_rank 0.01408 C09-81 ndcg 0.10454 C09-81 ndcg5 0.00000 C09-81 ndcg10 0.00000 C09-81 ndcg20 0.00000 C09-81 ERR 0.01027 C09-81 ERR10 0.00000 C09-81 ERR20 0.00000 C09-81 P1 0.00000 C09-81 P5 0.00000 C09-81 P10 0.00000 C09-81 P15 0.00000 C09-81 P20 0.00000 C09-81 P30 0.00000 C09-81 P50 0.00000 C09-81 P100 0.04000 C09-81 P200 0.03000 C09-81 P500 0.01800 C09-81 P1000 0.01475 C09-82 num_ret 724.00000 C09-82 num_unjug_ret@1 0.00000 C09-82 num_unjug_ret@10 2.00000 C09-82 num_unjug_ret@100 33.00000 C09-82 num_unjug_ret@1000 644.00000 C09-82 num_rel 93.00000 C09-82 num_rel_ret 12.00000 C09-82 map 0.00385 C09-82 R-prec 0.02151 C09-82 bpref 0.07353 C09-82 recip_rank 0.04167 C09-82 ndcg 0.06609 C09-82 ndcg5 0.00000 C09-82 ndcg10 0.00000 C09-82 ndcg20 0.00000 C09-82 ERR 0.01067 C09-82 ERR10 0.00000 C09-82 ERR20 0.00000 C09-82 P1 0.00000 C09-82 P5 0.00000 C09-82 P10 0.00000 C09-82 P15 0.00000 C09-82 P20 0.00000 C09-82 P30 0.03333 C09-82 P50 0.02000 C09-82 P100 0.02000 C09-82 P200 0.03500 C09-82 P500 0.02200 C09-82 P1000 0.01657 C09-83 num_ret 1000.00000 C09-83 num_unjug_ret@1 1.00000 C09-83 num_unjug_ret@10 6.00000 C09-83 num_unjug_ret@100 73.00000 C09-83 num_unjug_ret@1000 902.00000 C09-83 num_rel 64.00000 C09-83 num_rel_ret 0.00000 C09-83 map 0.00000 C09-83 R-prec 0.00000 C09-83 bpref 0.00000 C09-83 recip_rank 0.00000 C09-83 ndcg 0.00000 C09-83 ndcg5 0.00000 C09-83 ndcg10 0.00000 C09-83 ndcg20 0.00000 C09-83 ERR 0.00000 C09-83 ERR10 0.00000 C09-83 ERR20 0.00000 C09-83 P1 0.00000 C09-83 P5 0.00000 C09-83 P10 0.00000 C09-83 P15 0.00000 C09-83 P20 0.00000 C09-83 P30 0.00000 C09-83 P50 0.00000 C09-83 P100 0.00000 C09-83 P200 0.00000 C09-83 P500 0.00000 C09-83 P1000 0.00000 C09-84 num_ret 577.00000 C09-84 num_unjug_ret@1 0.00000 C09-84 num_unjug_ret@10 0.00000 C09-84 num_unjug_ret@100 31.00000 C09-84 num_unjug_ret@1000 514.00000 C09-84 num_rel 226.00000 C09-84 num_rel_ret 47.00000 C09-84 map 0.04969 C09-84 R-prec 0.17257 C09-84 bpref 0.19419 C09-84 recip_rank 0.03704 C09-84 ndcg 0.28951 C09-84 ndcg5 0.85393 C09-84 ndcg10 0.79742 C09-84 ndcg20 0.73746 C09-84 ERR 0.36961 C09-84 ERR10 0.35652 C09-84 ERR20 0.36789 C09-84 P1 0.00000 C09-84 P5 0.00000 C09-84 P10 0.00000 C09-84 P15 0.00000 C09-84 P20 0.00000 C09-84 P30 0.10000 C09-84 P50 0.34000 C09-84 P100 0.29000 C09-84 P200 0.19500 C09-84 P500 0.09000 C09-84 P1000 0.08146 C09-85 num_ret 723.00000 C09-85 num_unjug_ret@1 0.00000 C09-85 num_unjug_ret@10 0.00000 C09-85 num_unjug_ret@100 28.00000 C09-85 num_unjug_ret@1000 682.00000 C09-85 num_rel 149.00000 C09-85 num_rel_ret 17.00000 C09-85 map 0.02579 C09-85 R-prec 0.09396 C09-85 bpref 0.10270 C09-85 recip_rank 1.00000 C09-85 ndcg 0.09239 C09-85 ndcg5 0.09760 C09-85 ndcg10 0.10644 C09-85 ndcg20 0.13114 C09-85 ERR 0.11588 C09-85 ERR10 0.09634 C09-85 ERR20 0.11251 C09-85 P1 1.00000 C09-85 P5 0.40000 C09-85 P10 0.20000 C09-85 P15 0.20000 C09-85 P20 0.15000 C09-85 P30 0.13333 C09-85 P50 0.16000 C09-85 P100 0.12000 C09-85 P200 0.07000 C09-85 P500 0.02800 C09-85 P1000 0.02351 C09-86 num_ret 833.00000 C09-86 num_unjug_ret@1 0.00000 C09-86 num_unjug_ret@10 0.00000 C09-86 num_unjug_ret@100 31.00000 C09-86 num_unjug_ret@1000 693.00000 C09-86 num_rel 88.00000 C09-86 num_rel_ret 43.00000 C09-86 map 0.10876 C09-86 R-prec 0.31818 C09-86 bpref 0.32632 C09-86 recip_rank 0.06250 C09-86 ndcg 0.42712 C09-86 ndcg5 0.21081 C09-86 ndcg10 0.32215 C09-86 ndcg20 0.23583 C09-86 ERR 0.13486 C09-86 ERR10 0.12506 C09-86 ERR20 0.12623 C09-86 P1 0.00000 C09-86 P5 0.00000 C09-86 P10 0.00000 C09-86 P15 0.00000 C09-86 P20 0.20000 C09-86 P30 0.16667 C09-86 P50 0.24000 C09-86 P100 0.28000 C09-86 P200 0.18000 C09-86 P500 0.08200 C09-86 P1000 0.05162 C09-87 num_ret 504.00000 C09-87 num_unjug_ret@1 0.00000 C09-87 num_unjug_ret@10 0.00000 C09-87 num_unjug_ret@100 29.00000 C09-87 num_unjug_ret@1000 461.00000 C09-87 num_rel 58.00000 C09-87 num_rel_ret 15.00000 C09-87 map 0.02117 C09-87 R-prec 0.12069 C09-87 bpref 0.20719 C09-87 recip_rank 0.05000 C09-87 ndcg 0.19537 C09-87 ndcg5 0.05365 C09-87 ndcg10 0.11857 C09-87 ndcg20 0.17672 C09-87 ERR 0.04581 C09-87 ERR10 0.02837 C09-87 ERR20 0.03990 C09-87 P1 0.00000 C09-87 P5 0.00000 C09-87 P10 0.00000 C09-87 P15 0.00000 C09-87 P20 0.05000 C09-87 P30 0.13333 C09-87 P50 0.10000 C09-87 P100 0.08000 C09-87 P200 0.05000 C09-87 P500 0.02600 C09-87 P1000 0.02976 C09-88 num_ret 854.00000 C09-88 num_unjug_ret@1 0.00000 C09-88 num_unjug_ret@10 2.00000 C09-88 num_unjug_ret@100 53.00000 C09-88 num_unjug_ret@1000 785.00000 C09-88 num_rel 115.00000 C09-88 num_rel_ret 27.00000 C09-88 map 0.07549 C09-88 R-prec 0.18261 C09-88 bpref 0.20756 C09-88 recip_rank 1.00000 C09-88 ndcg 0.27089 C09-88 ndcg5 0.33916 C09-88 ndcg10 0.29189 C09-88 ndcg20 0.28439 C09-88 ERR 0.23414 C09-88 ERR10 0.20723 C09-88 ERR20 0.22479 C09-88 P1 1.00000 C09-88 P5 0.20000 C09-88 P10 0.40000 C09-88 P15 0.40000 C09-88 P20 0.40000 C09-88 P30 0.43333 C09-88 P50 0.28000 C09-88 P100 0.21000 C09-88 P200 0.11500 C09-88 P500 0.05200 C09-88 P1000 0.03162 C09-89 num_ret 921.00000 C09-89 num_unjug_ret@1 0.00000 C09-89 num_unjug_ret@10 5.00000 C09-89 num_unjug_ret@100 42.00000 C09-89 num_unjug_ret@1000 787.00000 C09-89 num_rel 167.00000 C09-89 num_rel_ret 69.00000 C09-89 map 0.08238 C09-89 R-prec 0.20958 C09-89 bpref 0.34727 C09-89 recip_rank 0.50000 C09-89 ndcg 0.19386 C09-89 ndcg5 0.04931 C09-89 ndcg10 0.16188 C09-89 ndcg20 0.10447 C09-89 ERR 0.11376 C09-89 ERR10 0.10732 C09-89 ERR20 0.10732 C09-89 P1 0.00000 C09-89 P5 0.40000 C09-89 P10 0.40000 C09-89 P15 0.26667 C09-89 P20 0.20000 C09-89 P30 0.16667 C09-89 P50 0.18000 C09-89 P100 0.23000 C09-89 P200 0.19500 C09-89 P500 0.12400 C09-89 P1000 0.07492 C09-90 num_ret 612.00000 C09-90 num_unjug_ret@1 0.00000 C09-90 num_unjug_ret@10 0.00000 C09-90 num_unjug_ret@100 50.00000 C09-90 num_unjug_ret@1000 558.00000 C09-90 num_rel 47.00000 C09-90 num_rel_ret 7.00000 C09-90 map 0.01192 C09-90 R-prec 0.06383 C09-90 bpref 0.10819 C09-90 recip_rank 0.08333 C09-90 ndcg 0.17885 C09-90 ndcg5 0.28247 C09-90 ndcg10 0.22586 C09-90 ndcg20 0.17192 C09-90 ERR 0.21619 C09-90 ERR10 0.21224 C09-90 ERR20 0.21224 C09-90 P1 0.00000 C09-90 P5 0.00000 C09-90 P10 0.00000 C09-90 P15 0.13333 C09-90 P20 0.10000 C09-90 P30 0.06667 C09-90 P50 0.06000 C09-90 P100 0.06000 C09-90 P200 0.03000 C09-90 P500 0.01400 C09-90 P1000 0.01144 C09-91 num_ret 632.00000 C09-91 num_unjug_ret@1 0.00000 C09-91 num_unjug_ret@10 1.00000 C09-91 num_unjug_ret@100 52.00000 C09-91 num_unjug_ret@1000 586.00000 C09-91 num_rel 158.00000 C09-91 num_rel_ret 10.00000 C09-91 map 0.00292 C09-91 R-prec 0.03797 C09-91 bpref 0.05736 C09-91 recip_rank 0.02778 C09-91 ndcg 0.04715 C09-91 ndcg5 0.00000 C09-91 ndcg10 0.00000 C09-91 ndcg20 0.02523 C09-91 ERR 0.01872 C09-91 ERR10 0.00000 C09-91 ERR20 0.00972 C09-91 P1 0.00000 C09-91 P5 0.00000 C09-91 P10 0.00000 C09-91 P15 0.00000 C09-91 P20 0.00000 C09-91 P30 0.00000 C09-91 P50 0.06000 C09-91 P100 0.05000 C09-91 P200 0.04000 C09-91 P500 0.02000 C09-91 P1000 0.01582 C09-92 num_ret 653.00000 C09-92 num_unjug_ret@1 0.00000 C09-92 num_unjug_ret@10 0.00000 C09-92 num_unjug_ret@100 14.00000 C09-92 num_unjug_ret@1000 591.00000 C09-92 num_rel 15.00000 C09-92 num_rel_ret 1.00000 C09-92 map 0.00025 C09-92 R-prec 0.00000 C09-92 bpref 0.00000 C09-92 recip_rank 0.00382 C09-92 ndcg 0.03871 C09-92 ndcg5 0.00000 C09-92 ndcg10 0.00000 C09-92 ndcg20 0.00000 C09-92 ERR 0.00142 C09-92 ERR10 0.00000 C09-92 ERR20 0.00000 C09-92 P1 0.00000 C09-92 P5 0.00000 C09-92 P10 0.00000 C09-92 P15 0.00000 C09-92 P20 0.00000 C09-92 P30 0.00000 C09-92 P50 0.00000 C09-92 P100 0.00000 C09-92 P200 0.00000 C09-92 P500 0.00200 C09-92 P1000 0.00153 C09-93 num_ret 832.00000 C09-93 num_unjug_ret@1 0.00000 C09-93 num_unjug_ret@10 0.00000 C09-93 num_unjug_ret@100 36.00000 C09-93 num_unjug_ret@1000 743.00000 C09-93 num_rel 35.00000 C09-93 num_rel_ret 5.00000 C09-93 map 0.00458 C09-93 R-prec 0.02857 C09-93 bpref 0.05796 C09-93 recip_rank 0.02941 C09-93 ndcg 0.05855 C09-93 ndcg5 0.00000 C09-93 ndcg10 0.00000 C09-93 ndcg20 0.04551 C09-93 ERR 0.01769 C09-93 ERR10 0.00000 C09-93 ERR20 0.01545 C09-93 P1 0.00000 C09-93 P5 0.00000 C09-93 P10 0.00000 C09-93 P15 0.00000 C09-93 P20 0.00000 C09-93 P30 0.00000 C09-93 P50 0.04000 C09-93 P100 0.03000 C09-93 P200 0.02000 C09-93 P500 0.00800 C09-93 P1000 0.00601 C09-94 num_ret 450.00000 C09-94 num_unjug_ret@1 0.00000 C09-94 num_unjug_ret@10 0.00000 C09-94 num_unjug_ret@100 21.00000 C09-94 num_unjug_ret@1000 415.00000 C09-94 num_rel 15.00000 C09-94 num_rel_ret 4.00000 C09-94 map 0.00146 C09-94 R-prec 0.00000 C09-94 bpref 0.05333 C09-94 recip_rank 0.00386 C09-94 ndcg 0.09963 C09-94 ndcg5 0.00000 C09-94 ndcg10 0.00000 C09-94 ndcg20 0.00000 C09-94 ERR 0.00602 C09-94 ERR10 0.00000 C09-94 ERR20 0.00000 C09-94 P1 0.00000 C09-94 P5 0.00000 C09-94 P10 0.00000 C09-94 P15 0.00000 C09-94 P20 0.00000 C09-94 P30 0.00000 C09-94 P50 0.00000 C09-94 P100 0.00000 C09-94 P200 0.00000 C09-94 P500 0.00444 C09-94 P1000 0.00889 C09-95 num_ret NaN C09-95 num_unjug_ret@1 NaN C09-95 num_unjug_ret@10 NaN C09-95 num_unjug_ret@100 NaN C09-95 num_unjug_ret@1000 NaN C09-95 num_rel NaN C09-95 num_rel_ret NaN C09-95 map NaN C09-95 R-prec NaN C09-95 bpref NaN C09-95 recip_rank NaN C09-95 ndcg NaN C09-95 ndcg5 NaN C09-95 ndcg10 NaN C09-95 ndcg20 NaN C09-95 ERR NaN C09-95 ERR10 NaN C09-95 ERR20 NaN C09-95 P1 NaN C09-95 P5 NaN C09-95 P10 NaN C09-95 P15 NaN C09-95 P20 NaN C09-95 P30 NaN C09-95 P50 NaN C09-95 P100 NaN C09-95 P200 NaN C09-95 P500 NaN C09-95 P1000 NaN C09-96 num_ret 642.00000 C09-96 num_unjug_ret@1 0.00000 C09-96 num_unjug_ret@10 0.00000 C09-96 num_unjug_ret@100 26.00000 C09-96 num_unjug_ret@1000 578.00000 C09-96 num_rel 93.00000 C09-96 num_rel_ret 35.00000 C09-96 map 0.03185 C09-96 R-prec 0.11828 C09-96 bpref 0.29391 C09-96 recip_rank 0.04762 C09-96 ndcg 0.29241 C09-96 ndcg5 0.00000 C09-96 ndcg10 0.10657 C09-96 ndcg20 0.24727 C09-96 ERR 0.06920 C09-96 ERR10 0.03422 C09-96 ERR20 0.06490 C09-96 P1 0.00000 C09-96 P5 0.00000 C09-96 P10 0.00000 C09-96 P15 0.00000 C09-96 P20 0.00000 C09-96 P30 0.16667 C09-96 P50 0.14000 C09-96 P100 0.11000 C09-96 P200 0.07000 C09-96 P500 0.05600 C09-96 P1000 0.05452 C09-97 num_ret 833.00000 C09-97 num_unjug_ret@1 0.00000 C09-97 num_unjug_ret@10 5.00000 C09-97 num_unjug_ret@100 43.00000 C09-97 num_unjug_ret@1000 717.00000 C09-97 num_rel 192.00000 C09-97 num_rel_ret 24.00000 C09-97 map 0.00377 C09-97 R-prec 0.02604 C09-97 bpref 0.08759 C09-97 recip_rank 0.01563 C09-97 ndcg 0.07681 C09-97 ndcg5 0.00000 C09-97 ndcg10 0.00000 C09-97 ndcg20 0.00000 C09-97 ERR 0.01126 C09-97 ERR10 0.00000 C09-97 ERR20 0.00000 C09-97 P1 0.00000 C09-97 P5 0.00000 C09-97 P10 0.00000 C09-97 P15 0.00000 C09-97 P20 0.00000 C09-97 P30 0.00000 C09-97 P50 0.00000 C09-97 P100 0.04000 C09-97 P200 0.02500 C09-97 P500 0.03000 C09-97 P1000 0.02881 C09-98 num_ret 938.00000 C09-98 num_unjug_ret@1 0.00000 C09-98 num_unjug_ret@10 1.00000 C09-98 num_unjug_ret@100 66.00000 C09-98 num_unjug_ret@1000 869.00000 C09-98 num_rel 127.00000 C09-98 num_rel_ret 19.00000 C09-98 map 0.00506 C09-98 R-prec 0.05512 C09-98 bpref 0.09790 C09-98 recip_rank 0.03333 C09-98 ndcg 0.06064 C09-98 ndcg5 0.00000 C09-98 ndcg10 0.00000 C09-98 ndcg20 0.00000 C09-98 ERR 0.00777 C09-98 ERR10 0.00000 C09-98 ERR20 0.00000 C09-98 P1 0.00000 C09-98 P5 0.00000 C09-98 P10 0.00000 C09-98 P15 0.00000 C09-98 P20 0.00000 C09-98 P30 0.03333 C09-98 P50 0.04000 C09-98 P100 0.05000 C09-98 P200 0.03500 C09-98 P500 0.02600 C09-98 P1000 0.02026 C09-99 num_ret 633.00000 C09-99 num_unjug_ret@1 0.00000 C09-99 num_unjug_ret@10 0.00000 C09-99 num_unjug_ret@100 29.00000 C09-99 num_unjug_ret@1000 591.00000 C09-99 num_rel 63.00000 C09-99 num_rel_ret 8.00000 C09-99 map 0.00284 C09-99 R-prec 0.03175 C09-99 bpref 0.07811 C09-99 recip_rank 0.05000 C09-99 ndcg 0.06939 C09-99 ndcg5 0.00000 C09-99 ndcg10 0.00000 C09-99 ndcg20 0.02471 C09-99 ERR 0.01709 C09-99 ERR10 0.00000 C09-99 ERR20 0.00938 C09-99 P1 0.00000 C09-99 P5 0.00000 C09-99 P10 0.00000 C09-99 P15 0.00000 C09-99 P20 0.05000 C09-99 P30 0.03333 C09-99 P50 0.04000 C09-99 P100 0.02000 C09-99 P200 0.01000 C09-99 P500 0.01200 C09-99 P1000 0.01264 C09-100 num_ret NaN C09-100 num_unjug_ret@1 NaN C09-100 num_unjug_ret@10 NaN C09-100 num_unjug_ret@100 NaN C09-100 num_unjug_ret@1000 NaN C09-100 num_rel NaN C09-100 num_rel_ret NaN C09-100 map NaN C09-100 R-prec NaN C09-100 bpref NaN C09-100 recip_rank NaN C09-100 ndcg NaN C09-100 ndcg5 NaN C09-100 ndcg10 NaN C09-100 ndcg20 NaN C09-100 ERR NaN C09-100 ERR10 NaN C09-100 ERR20 NaN C09-100 P1 NaN C09-100 P5 NaN C09-100 P10 NaN C09-100 P15 NaN C09-100 P20 NaN C09-100 P30 NaN C09-100 P50 NaN C09-100 P100 NaN C09-100 P200 NaN C09-100 P500 NaN C09-100 P1000 NaN C09-101 num_ret 955.00000 C09-101 num_unjug_ret@1 0.00000 C09-101 num_unjug_ret@10 1.00000 C09-101 num_unjug_ret@100 58.00000 C09-101 num_unjug_ret@1000 886.00000 C09-101 num_rel 84.00000 C09-101 num_rel_ret 10.00000 C09-101 map 0.02999 C09-101 R-prec 0.05952 C09-101 bpref 0.08135 C09-101 recip_rank 1.00000 C09-101 ndcg 0.11325 C09-101 ndcg5 0.18438 C09-101 ndcg10 0.11965 C09-101 ndcg20 0.09468 C09-101 ERR 0.09912 C09-101 ERR10 0.09180 C09-101 ERR20 0.09180 C09-101 P1 1.00000 C09-101 P5 0.40000 C09-101 P10 0.20000 C09-101 P15 0.13333 C09-101 P20 0.10000 C09-101 P30 0.06667 C09-101 P50 0.08000 C09-101 P100 0.05000 C09-101 P200 0.04500 C09-101 P500 0.02000 C09-101 P1000 0.01047 C09-102 num_ret 882.00000 C09-102 num_unjug_ret@1 0.00000 C09-102 num_unjug_ret@10 0.00000 C09-102 num_unjug_ret@100 61.00000 C09-102 num_unjug_ret@1000 816.00000 C09-102 num_rel 22.00000 C09-102 num_rel_ret 1.00000 C09-102 map 0.00758 C09-102 R-prec 0.04545 C09-102 bpref 0.03512 C09-102 recip_rank 0.16667 C09-102 ndcg 0.03032 C09-102 ndcg5 0.00000 C09-102 ndcg10 0.04045 C09-102 ndcg20 0.03152 C09-102 ERR 0.01042 C09-102 ERR10 0.01042 C09-102 ERR20 0.01042 C09-102 P1 0.00000 C09-102 P5 0.00000 C09-102 P10 0.10000 C09-102 P15 0.06667 C09-102 P20 0.05000 C09-102 P30 0.03333 C09-102 P50 0.02000 C09-102 P100 0.01000 C09-102 P200 0.00500 C09-102 P500 0.00200 C09-102 P1000 0.00113 C09-103 num_ret 692.00000 C09-103 num_unjug_ret@1 0.00000 C09-103 num_unjug_ret@10 0.00000 C09-103 num_unjug_ret@100 35.00000 C09-103 num_unjug_ret@1000 661.00000 C09-103 num_rel 58.00000 C09-103 num_rel_ret 14.00000 C09-103 map 0.06600 C09-103 R-prec 0.20690 C09-103 bpref 0.22265 C09-103 recip_rank 0.50000 C09-103 ndcg 0.29360 C09-103 ndcg5 0.49126 C09-103 ndcg10 0.47892 C09-103 ndcg20 0.35758 C09-103 ERR 0.19111 C09-103 ERR10 0.18202 C09-103 ERR20 0.18750 C09-103 P1 0.00000 C09-103 P5 0.40000 C09-103 P10 0.20000 C09-103 P15 0.13333 C09-103 P20 0.25000 C09-103 P30 0.30000 C09-103 P50 0.22000 C09-103 P100 0.13000 C09-103 P200 0.07000 C09-103 P500 0.02800 C09-103 P1000 0.02023 C09-104 num_ret 969.00000 C09-104 num_unjug_ret@1 0.00000 C09-104 num_unjug_ret@10 1.00000 C09-104 num_unjug_ret@100 51.00000 C09-104 num_unjug_ret@1000 871.00000 C09-104 num_rel 21.00000 C09-104 num_rel_ret 4.00000 C09-104 map 0.10463 C09-104 R-prec 0.14286 C09-104 bpref 0.13605 C09-104 recip_rank 1.00000 C09-104 ndcg 0.31650 C09-104 ndcg5 0.55315 C09-104 ndcg10 0.43232 C09-104 ndcg20 0.31406 C09-104 ERR 0.28144 C09-104 ERR10 0.28135 C09-104 ERR20 0.28135 C09-104 P1 1.00000 C09-104 P5 0.40000 C09-104 P10 0.20000 C09-104 P15 0.13333 C09-104 P20 0.15000 C09-104 P30 0.10000 C09-104 P50 0.06000 C09-104 P100 0.03000 C09-104 P200 0.01500 C09-104 P500 0.00800 C09-104 P1000 0.00413 C09-105 num_ret 721.00000 C09-105 num_unjug_ret@1 0.00000 C09-105 num_unjug_ret@10 0.00000 C09-105 num_unjug_ret@100 20.00000 C09-105 num_unjug_ret@1000 655.00000 C09-105 num_rel 109.00000 C09-105 num_rel_ret 20.00000 C09-105 map 0.02580 C09-105 R-prec 0.10092 C09-105 bpref 0.15588 C09-105 recip_rank 0.33333 C09-105 ndcg 0.21650 C09-105 ndcg5 0.51766 C09-105 ndcg10 0.39147 C09-105 ndcg20 0.36506 C09-105 ERR 0.13692 C09-105 ERR10 0.12298 C09-105 ERR20 0.13176 C09-105 P1 0.00000 C09-105 P5 0.40000 C09-105 P10 0.20000 C09-105 P15 0.26667 C09-105 P20 0.20000 C09-105 P30 0.16667 C09-105 P50 0.12000 C09-105 P100 0.11000 C09-105 P200 0.06500 C09-105 P500 0.03400 C09-105 P1000 0.02774 C09-106 num_ret 945.00000 C09-106 num_unjug_ret@1 0.00000 C09-106 num_unjug_ret@10 2.00000 C09-106 num_unjug_ret@100 68.00000 C09-106 num_unjug_ret@1000 900.00000 C09-106 num_rel 10.00000 C09-106 num_rel_ret 0.00000 C09-106 map 0.00000 C09-106 R-prec 0.00000 C09-106 bpref 0.00000 C09-106 recip_rank 0.00000 C09-106 ndcg 0.00000 C09-106 ndcg5 0.00000 C09-106 ndcg10 0.00000 C09-106 ndcg20 0.00000 C09-106 ERR 0.00000 C09-106 ERR10 0.00000 C09-106 ERR20 0.00000 C09-106 P1 0.00000 C09-106 P5 0.00000 C09-106 P10 0.00000 C09-106 P15 0.00000 C09-106 P20 0.00000 C09-106 P30 0.00000 C09-106 P50 0.00000 C09-106 P100 0.00000 C09-106 P200 0.00000 C09-106 P500 0.00000 C09-106 P1000 0.00000 C09-107 num_ret 259.00000 C09-107 num_unjug_ret@1 0.00000 C09-107 num_unjug_ret@10 4.00000 C09-107 num_unjug_ret@100 31.00000 C09-107 num_unjug_ret@1000 213.00000 C09-107 num_rel 52.00000 C09-107 num_rel_ret 4.00000 C09-107 map 0.00084 C09-107 R-prec 0.00000 C09-107 bpref 0.03624 C09-107 recip_rank 0.01493 C09-107 ndcg 0.03597 C09-107 ndcg5 0.00000 C09-107 ndcg10 0.00000 C09-107 ndcg20 0.00000 C09-107 ERR 0.00531 C09-107 ERR10 0.00000 C09-107 ERR20 0.00000 C09-107 P1 0.00000 C09-107 P5 0.00000 C09-107 P10 0.00000 C09-107 P15 0.00000 C09-107 P20 0.00000 C09-107 P30 0.00000 C09-107 P50 0.00000 C09-107 P100 0.02000 C09-107 P200 0.01000 C09-107 P500 0.00772 C09-107 P1000 0.01544 C09-108 num_ret 445.00000 C09-108 num_unjug_ret@1 0.00000 C09-108 num_unjug_ret@10 0.00000 C09-108 num_unjug_ret@100 5.00000 C09-108 num_unjug_ret@1000 402.00000 C09-108 num_rel 73.00000 C09-108 num_rel_ret 11.00000 C09-108 map 0.03218 C09-108 R-prec 0.13699 C09-108 bpref 0.14900 C09-108 recip_rank 0.10000 C09-108 ndcg 0.18990 C09-108 ndcg5 0.37211 C09-108 ndcg10 0.33729 C09-108 ndcg20 0.28023 C09-108 ERR 0.16756 C09-108 ERR10 0.16201 C09-108 ERR20 0.16673 C09-108 P1 0.00000 C09-108 P5 0.00000 C09-108 P10 0.10000 C09-108 P15 0.26667 C09-108 P20 0.35000 C09-108 P30 0.23333 C09-108 P50 0.16000 C09-108 P100 0.10000 C09-108 P200 0.05500 C09-108 P500 0.02472 C09-108 P1000 0.02472 C09-109 num_ret 980.00000 C09-109 num_unjug_ret@1 0.00000 C09-109 num_unjug_ret@10 0.00000 C09-109 num_unjug_ret@100 48.00000 C09-109 num_unjug_ret@1000 867.00000 C09-109 num_rel 11.00000 C09-109 num_rel_ret 3.00000 C09-109 map 0.00655 C09-109 R-prec 0.00000 C09-109 bpref 0.00000 C09-109 recip_rank 0.04348 C09-109 ndcg 0.10160 C09-109 ndcg5 0.00000 C09-109 ndcg10 0.00000 C09-109 ndcg20 0.00000 C09-109 ERR 0.00342 C09-109 ERR10 0.00000 C09-109 ERR20 0.00000 C09-109 P1 0.00000 C09-109 P5 0.00000 C09-109 P10 0.00000 C09-109 P15 0.00000 C09-109 P20 0.00000 C09-109 P30 0.03333 C09-109 P50 0.02000 C09-109 P100 0.01000 C09-109 P200 0.01500 C09-109 P500 0.00600 C09-109 P1000 0.00306 C09-110 num_ret 966.00000 C09-110 num_unjug_ret@1 0.00000 C09-110 num_unjug_ret@10 1.00000 C09-110 num_unjug_ret@100 64.00000 C09-110 num_unjug_ret@1000 889.00000 C09-110 num_rel 63.00000 C09-110 num_rel_ret 11.00000 C09-110 map 0.00807 C09-110 R-prec 0.03175 C09-110 bpref 0.06425 C09-110 recip_rank 0.20000 C09-110 ndcg 0.11105 C09-110 ndcg5 0.04374 C09-110 ndcg10 0.02838 C09-110 ndcg20 0.01872 C09-110 ERR 0.01914 C09-110 ERR10 0.01250 C09-110 ERR20 0.01250 C09-110 P1 0.00000 C09-110 P5 0.20000 C09-110 P10 0.10000 C09-110 P15 0.06667 C09-110 P20 0.05000 C09-110 P30 0.03333 C09-110 P50 0.02000 C09-110 P100 0.03000 C09-110 P200 0.03500 C09-110 P500 0.01800 C09-110 P1000 0.01139 C09-111 num_ret 794.00000 C09-111 num_unjug_ret@1 0.00000 C09-111 num_unjug_ret@10 0.00000 C09-111 num_unjug_ret@100 30.00000 C09-111 num_unjug_ret@1000 730.00000 C09-111 num_rel 141.00000 C09-111 num_rel_ret 42.00000 C09-111 map 0.12693 C09-111 R-prec 0.26241 C09-111 bpref 0.28057 C09-111 recip_rank 1.00000 C09-111 ndcg 0.22839 C09-111 ndcg5 0.29418 C09-111 ndcg10 0.24875 C09-111 ndcg20 0.28530 C09-111 ERR 0.26961 C09-111 ERR10 0.25182 C09-111 ERR20 0.26835 C09-111 P1 1.00000 C09-111 P5 0.20000 C09-111 P10 0.20000 C09-111 P15 0.40000 C09-111 P20 0.50000 C09-111 P30 0.56667 C09-111 P50 0.48000 C09-111 P100 0.36000 C09-111 P200 0.19000 C09-111 P500 0.08000 C09-111 P1000 0.05290 C09-112 num_ret 946.00000 C09-112 num_unjug_ret@1 0.00000 C09-112 num_unjug_ret@10 0.00000 C09-112 num_unjug_ret@100 37.00000 C09-112 num_unjug_ret@1000 874.00000 C09-112 num_rel 1.00000 C09-112 num_rel_ret 0.00000 C09-112 map 0.00000 C09-112 R-prec 0.00000 C09-112 bpref 0.00000 C09-112 recip_rank 0.00000 C09-112 ndcg 0.00000 C09-112 ndcg5 0.00000 C09-112 ndcg10 0.00000 C09-112 ndcg20 0.00000 C09-112 ERR 0.00000 C09-112 ERR10 0.00000 C09-112 ERR20 0.00000 C09-112 P1 0.00000 C09-112 P5 0.00000 C09-112 P10 0.00000 C09-112 P15 0.00000 C09-112 P20 0.00000 C09-112 P30 0.00000 C09-112 P50 0.00000 C09-112 P100 0.00000 C09-112 P200 0.00000 C09-112 P500 0.00000 C09-112 P1000 0.00000 C09-113 num_ret 912.00000 C09-113 num_unjug_ret@1 0.00000 C09-113 num_unjug_ret@10 0.00000 C09-113 num_unjug_ret@100 57.00000 C09-113 num_unjug_ret@1000 861.00000 C09-113 num_rel 8.00000 C09-113 num_rel_ret 0.00000 C09-113 map 0.00000 C09-113 R-prec 0.00000 C09-113 bpref 0.00000 C09-113 recip_rank 0.00000 C09-113 ndcg 0.00000 C09-113 ndcg5 0.00000 C09-113 ndcg10 0.00000 C09-113 ndcg20 0.00000 C09-113 ERR 0.00000 C09-113 ERR10 0.00000 C09-113 ERR20 0.00000 C09-113 P1 0.00000 C09-113 P5 0.00000 C09-113 P10 0.00000 C09-113 P15 0.00000 C09-113 P20 0.00000 C09-113 P30 0.00000 C09-113 P50 0.00000 C09-113 P100 0.00000 C09-113 P200 0.00000 C09-113 P500 0.00000 C09-113 P1000 0.00000 C09-114 num_ret 842.00000 C09-114 num_unjug_ret@1 0.00000 C09-114 num_unjug_ret@10 2.00000 C09-114 num_unjug_ret@100 55.00000 C09-114 num_unjug_ret@1000 793.00000 C09-114 num_rel 26.00000 C09-114 num_rel_ret 3.00000 C09-114 map 0.01019 C09-114 R-prec 0.07692 C09-114 bpref 0.08580 C09-114 recip_rank 0.10000 C09-114 ndcg 0.10209 C09-114 ndcg5 0.04374 C09-114 ndcg10 0.12355 C09-114 ndcg20 0.09971 C09-114 ERR 0.03273 C09-114 ERR10 0.03203 C09-114 ERR20 0.03203 C09-114 P1 0.00000 C09-114 P5 0.00000 C09-114 P10 0.10000 C09-114 P15 0.13333 C09-114 P20 0.10000 C09-114 P30 0.06667 C09-114 P50 0.04000 C09-114 P100 0.03000 C09-114 P200 0.01500 C09-114 P500 0.00600 C09-114 P1000 0.00356 C09-115 num_ret 946.00000 C09-115 num_unjug_ret@1 0.00000 C09-115 num_unjug_ret@10 0.00000 C09-115 num_unjug_ret@100 43.00000 C09-115 num_unjug_ret@1000 828.00000 C09-115 num_rel 4.00000 C09-115 num_rel_ret 0.00000 C09-115 map 0.00000 C09-115 R-prec 0.00000 C09-115 bpref 0.00000 C09-115 recip_rank 0.00000 C09-115 ndcg 0.00000 C09-115 ndcg5 0.00000 C09-115 ndcg10 0.00000 C09-115 ndcg20 0.00000 C09-115 ERR 0.00000 C09-115 ERR10 0.00000 C09-115 ERR20 0.00000 C09-115 P1 0.00000 C09-115 P5 0.00000 C09-115 P10 0.00000 C09-115 P15 0.00000 C09-115 P20 0.00000 C09-115 P30 0.00000 C09-115 P50 0.00000 C09-115 P100 0.00000 C09-115 P200 0.00000 C09-115 P500 0.00000 C09-115 P1000 0.00000 C09-116 num_ret 882.00000 C09-116 num_unjug_ret@1 0.00000 C09-116 num_unjug_ret@10 1.00000 C09-116 num_unjug_ret@100 60.00000 C09-116 num_unjug_ret@1000 808.00000 C09-116 num_rel 181.00000 C09-116 num_rel_ret 53.00000 C09-116 map 0.08949 C09-116 R-prec 0.17127 C09-116 bpref 0.26596 C09-116 recip_rank 1.00000 C09-116 ndcg 0.22374 C09-116 ndcg5 0.30090 C09-116 ndcg10 0.28313 C09-116 ndcg20 0.23040 C09-116 ERR 0.34880 C09-116 ERR10 0.33614 C09-116 ERR20 0.34620 C09-116 P1 1.00000 C09-116 P5 0.80000 C09-116 P10 0.60000 C09-116 P15 0.66667 C09-116 P20 0.60000 C09-116 P30 0.40000 C09-116 P50 0.26000 C09-116 P100 0.24000 C09-116 P200 0.16500 C09-116 P500 0.09000 C09-116 P1000 0.06009 C09-117 num_ret 949.00000 C09-117 num_unjug_ret@1 0.00000 C09-117 num_unjug_ret@10 0.00000 C09-117 num_unjug_ret@100 33.00000 C09-117 num_unjug_ret@1000 810.00000 C09-117 num_rel 234.00000 C09-117 num_rel_ret 80.00000 C09-117 map 0.09089 C09-117 R-prec 0.23077 C09-117 bpref 0.29846 C09-117 recip_rank 0.07692 C09-117 ndcg 0.24094 C09-117 ndcg5 0.05144 C09-117 ndcg10 0.10955 C09-117 ndcg20 0.14896 C09-117 ERR 0.11759 C09-117 ERR10 0.09282 C09-117 ERR20 0.11257 C09-117 P1 0.00000 C09-117 P5 0.00000 C09-117 P10 0.00000 C09-117 P15 0.13333 C09-117 P20 0.20000 C09-117 P30 0.36667 C09-117 P50 0.36000 C09-117 P100 0.34000 C09-117 P200 0.25000 C09-117 P500 0.14000 C09-117 P1000 0.08430 C09-118 num_ret 860.00000 C09-118 num_unjug_ret@1 0.00000 C09-118 num_unjug_ret@10 1.00000 C09-118 num_unjug_ret@100 55.00000 C09-118 num_unjug_ret@1000 789.00000 C09-118 num_rel 48.00000 C09-118 num_rel_ret 11.00000 C09-118 map 0.07413 C09-118 R-prec 0.16667 C09-118 bpref 0.17144 C09-118 recip_rank 1.00000 C09-118 ndcg 0.32903 C09-118 ndcg5 0.33916 C09-118 ndcg10 0.36792 C09-118 ndcg20 0.27349 C09-118 ERR 0.24121 C09-118 ERR10 0.22836 C09-118 ERR20 0.23306 C09-118 P1 1.00000 C09-118 P5 0.20000 C09-118 P10 0.30000 C09-118 P15 0.26667 C09-118 P20 0.25000 C09-118 P30 0.20000 C09-118 P50 0.16000 C09-118 P100 0.11000 C09-118 P200 0.05500 C09-118 P500 0.02200 C09-118 P1000 0.01279 C09-119 num_ret 994.00000 C09-119 num_unjug_ret@1 0.00000 C09-119 num_unjug_ret@10 1.00000 C09-119 num_unjug_ret@100 58.00000 C09-119 num_unjug_ret@1000 922.00000 C09-119 num_rel 71.00000 C09-119 num_rel_ret 25.00000 C09-119 map 0.08511 C09-119 R-prec 0.23944 C09-119 bpref 0.25808 C09-119 recip_rank 0.20000 C09-119 ndcg 0.19680 C09-119 ndcg5 0.04374 C09-119 ndcg10 0.05152 C09-119 ndcg20 0.11139 C09-119 ERR 0.05069 C09-119 ERR10 0.01982 C09-119 ERR20 0.03840 C09-119 P1 0.00000 C09-119 P5 0.20000 C09-119 P10 0.20000 C09-119 P15 0.20000 C09-119 P20 0.35000 C09-119 P30 0.40000 C09-119 P50 0.30000 C09-119 P100 0.17000 C09-119 P200 0.10000 C09-119 P500 0.05000 C09-119 P1000 0.02515 C09-120 num_ret 852.00000 C09-120 num_unjug_ret@1 0.00000 C09-120 num_unjug_ret@10 0.00000 C09-120 num_unjug_ret@100 55.00000 C09-120 num_unjug_ret@1000 795.00000 C09-120 num_rel 25.00000 C09-120 num_rel_ret 0.00000 C09-120 map 0.00000 C09-120 R-prec 0.00000 C09-120 bpref 0.00000 C09-120 recip_rank 0.00000 C09-120 ndcg 0.00000 C09-120 ndcg5 0.00000 C09-120 ndcg10 0.00000 C09-120 ndcg20 0.00000 C09-120 ERR 0.00000 C09-120 ERR10 0.00000 C09-120 ERR20 0.00000 C09-120 P1 0.00000 C09-120 P5 0.00000 C09-120 P10 0.00000 C09-120 P15 0.00000 C09-120 P20 0.00000 C09-120 P30 0.00000 C09-120 P50 0.00000 C09-120 P100 0.00000 C09-120 P200 0.00000 C09-120 P500 0.00000 C09-120 P1000 0.00000 C09-121 num_ret 929.00000 C09-121 num_unjug_ret@1 0.00000 C09-121 num_unjug_ret@10 2.00000 C09-121 num_unjug_ret@100 56.00000 C09-121 num_unjug_ret@1000 846.00000 C09-121 num_rel 78.00000 C09-121 num_rel_ret 17.00000 C09-121 map 0.07213 C09-121 R-prec 0.19231 C09-121 bpref 0.19034 C09-121 recip_rank 0.33333 C09-121 ndcg 0.13699 C09-121 ndcg5 0.05653 C09-121 ndcg10 0.08191 C09-121 ndcg20 0.10130 C09-121 ERR 0.05814 C09-121 ERR10 0.03426 C09-121 ERR20 0.04791 C09-121 P1 0.00000 C09-121 P5 0.20000 C09-121 P10 0.30000 C09-121 P15 0.40000 C09-121 P20 0.35000 C09-121 P30 0.40000 C09-121 P50 0.28000 C09-121 P100 0.16000 C09-121 P200 0.08500 C09-121 P500 0.03400 C09-121 P1000 0.01830 C09-122 num_ret 330.00000 C09-122 num_unjug_ret@1 0.00000 C09-122 num_unjug_ret@10 0.00000 C09-122 num_unjug_ret@100 8.00000 C09-122 num_unjug_ret@1000 281.00000 C09-122 num_rel 5.00000 C09-122 num_rel_ret 2.00000 C09-122 map 0.01553 C09-122 R-prec 0.00000 C09-122 bpref 0.08000 C09-122 recip_rank 0.06667 C09-122 ndcg 0.12138 C09-122 ndcg5 0.08703 C09-122 ndcg10 0.08703 C09-122 ndcg20 0.08703 C09-122 ERR 0.01664 C09-122 ERR10 0.01563 C09-122 ERR20 0.01563 C09-122 P1 0.00000 C09-122 P5 0.00000 C09-122 P10 0.00000 C09-122 P15 0.06667 C09-122 P20 0.05000 C09-122 P30 0.03333 C09-122 P50 0.02000 C09-122 P100 0.01000 C09-122 P200 0.01000 C09-122 P500 0.00606 C09-122 P1000 0.00606 C09-123 num_ret 650.00000 C09-123 num_unjug_ret@1 0.00000 C09-123 num_unjug_ret@10 0.00000 C09-123 num_unjug_ret@100 27.00000 C09-123 num_unjug_ret@1000 570.00000 C09-123 num_rel 98.00000 C09-123 num_rel_ret 31.00000 C09-123 map 0.13344 C09-123 R-prec 0.26531 C09-123 bpref 0.28644 C09-123 recip_rank 0.50000 C09-123 ndcg 0.32556 C09-123 ndcg5 0.51818 C09-123 ndcg10 0.64492 C09-123 ndcg20 0.56270 C09-123 ERR 0.20125 C09-123 ERR10 0.19019 C09-123 ERR20 0.19902 C09-123 P1 0.00000 C09-123 P5 0.80000 C09-123 P10 0.50000 C09-123 P15 0.33333 C09-123 P20 0.45000 C09-123 P30 0.43333 C09-123 P50 0.44000 C09-123 P100 0.26000 C09-123 P200 0.14500 C09-123 P500 0.06000 C09-123 P1000 0.04769 C09-124 num_ret 996.00000 C09-124 num_unjug_ret@1 0.00000 C09-124 num_unjug_ret@10 0.00000 C09-124 num_unjug_ret@100 50.00000 C09-124 num_unjug_ret@1000 915.00000 C09-124 num_rel 63.00000 C09-124 num_rel_ret 7.00000 C09-124 map 0.01020 C09-124 R-prec 0.09524 C09-124 bpref 0.07130 C09-124 recip_rank 0.09091 C09-124 ndcg 0.12263 C09-124 ndcg5 0.00000 C09-124 ndcg10 0.07336 C09-124 ndcg20 0.08573 C09-124 ERR 0.08976 C09-124 ERR10 0.06250 C09-124 ERR20 0.08301 C09-124 P1 0.00000 C09-124 P5 0.00000 C09-124 P10 0.00000 C09-124 P15 0.06667 C09-124 P20 0.10000 C09-124 P30 0.06667 C09-124 P50 0.08000 C09-124 P100 0.06000 C09-124 P200 0.03500 C09-124 P500 0.01400 C09-124 P1000 0.00703 C09-125 num_ret 930.00000 C09-125 num_unjug_ret@1 0.00000 C09-125 num_unjug_ret@10 0.00000 C09-125 num_unjug_ret@100 67.00000 C09-125 num_unjug_ret@1000 874.00000 C09-125 num_rel 47.00000 C09-125 num_rel_ret 12.00000 C09-125 map 0.01297 C09-125 R-prec 0.06383 C09-125 bpref 0.13490 C09-125 recip_rank 0.12500 C09-125 ndcg 0.12166 C09-125 ndcg5 0.05459 C09-125 ndcg10 0.06606 C09-125 ndcg20 0.07042 C09-125 ERR 0.07644 C09-125 ERR10 0.06982 C09-125 ERR20 0.07405 C09-125 P1 0.00000 C09-125 P5 0.00000 C09-125 P10 0.10000 C09-125 P15 0.06667 C09-125 P20 0.05000 C09-125 P30 0.10000 C09-125 P50 0.06000 C09-125 P100 0.04000 C09-125 P200 0.03500 C09-125 P500 0.02000 C09-125 P1000 0.01290 C09-126 num_ret 737.00000 C09-126 num_unjug_ret@1 0.00000 C09-126 num_unjug_ret@10 1.00000 C09-126 num_unjug_ret@100 24.00000 C09-126 num_unjug_ret@1000 642.00000 C09-126 num_rel 5.00000 C09-126 num_rel_ret 0.00000 C09-126 map 0.00000 C09-126 R-prec 0.00000 C09-126 bpref 0.00000 C09-126 recip_rank 0.00000 C09-126 ndcg 0.00000 C09-126 ndcg5 0.00000 C09-126 ndcg10 0.00000 C09-126 ndcg20 0.00000 C09-126 ERR 0.00000 C09-126 ERR10 0.00000 C09-126 ERR20 0.00000 C09-126 P1 0.00000 C09-126 P5 0.00000 C09-126 P10 0.00000 C09-126 P15 0.00000 C09-126 P20 0.00000 C09-126 P30 0.00000 C09-126 P50 0.00000 C09-126 P100 0.00000 C09-126 P200 0.00000 C09-126 P500 0.00000 C09-126 P1000 0.00000 C09-127 num_ret 483.00000 C09-127 num_unjug_ret@1 0.00000 C09-127 num_unjug_ret@10 0.00000 C09-127 num_unjug_ret@100 23.00000 C09-127 num_unjug_ret@1000 389.00000 C09-127 num_rel 124.00000 C09-127 num_rel_ret 44.00000 C09-127 map 0.18191 C09-127 R-prec 0.25806 C09-127 bpref 0.31569 C09-127 recip_rank 1.00000 C09-127 ndcg 0.40068 C09-127 ndcg5 0.42080 C09-127 ndcg10 0.41287 C09-127 ndcg20 0.37717 C09-127 ERR 0.19785 C09-127 ERR10 0.17887 C09-127 ERR20 0.19063 C09-127 P1 1.00000 C09-127 P5 1.00000 C09-127 P10 0.90000 C09-127 P15 0.66667 C09-127 P20 0.70000 C09-127 P30 0.60000 C09-127 P50 0.48000 C09-127 P100 0.28000 C09-127 P200 0.20000 C09-127 P500 0.08696 C09-127 P1000 0.09110 C09-128 num_ret 639.00000 C09-128 num_unjug_ret@1 0.00000 C09-128 num_unjug_ret@10 0.00000 C09-128 num_unjug_ret@100 48.00000 C09-128 num_unjug_ret@1000 552.00000 C09-128 num_rel 60.00000 C09-128 num_rel_ret 15.00000 C09-128 map 0.13068 C09-128 R-prec 0.21667 C09-128 bpref 0.21944 C09-128 recip_rank 1.00000 C09-128 ndcg 0.38164 C09-128 ndcg5 0.83042 C09-128 ndcg10 0.75427 C09-128 ndcg20 0.60809 C09-128 ERR 0.35353 C09-128 ERR10 0.34323 C09-128 ERR20 0.35188 C09-128 P1 1.00000 C09-128 P5 0.80000 C09-128 P10 0.70000 C09-128 P15 0.46667 C09-128 P20 0.40000 C09-128 P30 0.26667 C09-128 P50 0.24000 C09-128 P100 0.13000 C09-128 P200 0.07000 C09-128 P500 0.02800 C09-128 P1000 0.02347 C09-129 num_ret 969.00000 C09-129 num_unjug_ret@1 0.00000 C09-129 num_unjug_ret@10 0.00000 C09-129 num_unjug_ret@100 49.00000 C09-129 num_unjug_ret@1000 862.00000 C09-129 num_rel 27.00000 C09-129 num_rel_ret 3.00000 C09-129 map 0.00095 C09-129 R-prec 0.00000 C09-129 bpref 0.00000 C09-129 recip_rank 0.00633 C09-129 ndcg 0.02140 C09-129 ndcg5 0.00000 C09-129 ndcg10 0.00000 C09-129 ndcg20 0.00000 C09-129 ERR 0.00171 C09-129 ERR10 0.00000 C09-129 ERR20 0.00000 C09-129 P1 0.00000 C09-129 P5 0.00000 C09-129 P10 0.00000 C09-129 P15 0.00000 C09-129 P20 0.00000 C09-129 P30 0.00000 C09-129 P50 0.00000 C09-129 P100 0.00000 C09-129 P200 0.00500 C09-129 P500 0.00600 C09-129 P1000 0.00310 C09-130 num_ret 617.00000 C09-130 num_unjug_ret@1 0.00000 C09-130 num_unjug_ret@10 0.00000 C09-130 num_unjug_ret@100 27.00000 C09-130 num_unjug_ret@1000 525.00000 C09-130 num_rel 282.00000 C09-130 num_rel_ret 70.00000 C09-130 map 0.07862 C09-130 R-prec 0.18085 C09-130 bpref 0.22593 C09-130 recip_rank 1.00000 C09-130 ndcg 0.26243 C09-130 ndcg5 0.47048 C09-130 ndcg10 0.39626 C09-130 ndcg20 0.32628 C09-130 ERR 0.53957 C09-130 ERR10 0.52736 C09-130 ERR20 0.53691 C09-130 P1 1.00000 C09-130 P5 0.40000 C09-130 P10 0.20000 C09-130 P15 0.20000 C09-130 P20 0.40000 C09-130 P30 0.50000 C09-130 P50 0.46000 C09-130 P100 0.34000 C09-130 P200 0.24000 C09-130 P500 0.12000 C09-130 P1000 0.11345 C09-131 num_ret 990.00000 C09-131 num_unjug_ret@1 0.00000 C09-131 num_unjug_ret@10 6.00000 C09-131 num_unjug_ret@100 84.00000 C09-131 num_unjug_ret@1000 916.00000 C09-131 num_rel 4.00000 C09-131 num_rel_ret 2.00000 C09-131 map 0.00537 C09-131 R-prec 0.00000 C09-131 bpref 0.00000 C09-131 recip_rank 0.01667 C09-131 ndcg 0.04870 C09-131 ndcg5 0.00000 C09-131 ndcg10 0.00000 C09-131 ndcg20 0.00000 C09-131 ERR 0.00118 C09-131 ERR10 0.00000 C09-131 ERR20 0.00000 C09-131 P1 0.00000 C09-131 P5 0.00000 C09-131 P10 0.00000 C09-131 P15 0.00000 C09-131 P20 0.00000 C09-131 P30 0.00000 C09-131 P50 0.00000 C09-131 P100 0.01000 C09-131 P200 0.00500 C09-131 P500 0.00400 C09-131 P1000 0.00202 C09-132 num_ret 388.00000 C09-132 num_unjug_ret@1 0.00000 C09-132 num_unjug_ret@10 4.00000 C09-132 num_unjug_ret@100 43.00000 C09-132 num_unjug_ret@1000 367.00000 C09-132 num_rel 50.00000 C09-132 num_rel_ret 3.00000 C09-132 map 0.00117 C09-132 R-prec 0.02000 C09-132 bpref 0.04760 C09-132 recip_rank 0.05000 C09-132 ndcg 0.03831 C09-132 ndcg5 0.00000 C09-132 ndcg10 0.00000 C09-132 ndcg20 0.03551 C09-132 ERR 0.01348 C09-132 ERR10 0.00000 C09-132 ERR20 0.01250 C09-132 P1 0.00000 C09-132 P5 0.00000 C09-132 P10 0.00000 C09-132 P15 0.00000 C09-132 P20 0.05000 C09-132 P30 0.03333 C09-132 P50 0.02000 C09-132 P100 0.01000 C09-132 P200 0.00500 C09-132 P500 0.00515 C09-132 P1000 0.00773 C09-133 num_ret 820.00000 C09-133 num_unjug_ret@1 0.00000 C09-133 num_unjug_ret@10 0.00000 C09-133 num_unjug_ret@100 43.00000 C09-133 num_unjug_ret@1000 736.00000 C09-133 num_rel 140.00000 C09-133 num_rel_ret 28.00000 C09-133 map 0.04704 C09-133 R-prec 0.13571 C09-133 bpref 0.18036 C09-133 recip_rank 1.00000 C09-133 ndcg 0.25391 C09-133 ndcg5 0.85393 C09-133 ndcg10 0.70197 C09-133 ndcg20 0.49265 C09-133 ERR 0.14676 C09-133 ERR10 0.13411 C09-133 ERR20 0.13797 C09-133 P1 1.00000 C09-133 P5 0.20000 C09-133 P10 0.50000 C09-133 P15 0.46667 C09-133 P20 0.35000 C09-133 P30 0.23333 C09-133 P50 0.18000 C09-133 P100 0.17000 C09-133 P200 0.10500 C09-133 P500 0.05400 C09-133 P1000 0.03415 C09-134 num_ret 857.00000 C09-134 num_unjug_ret@1 0.00000 C09-134 num_unjug_ret@10 4.00000 C09-134 num_unjug_ret@100 76.00000 C09-134 num_unjug_ret@1000 744.00000 C09-134 num_rel 23.00000 C09-134 num_rel_ret 2.00000 C09-134 map 0.00034 C09-134 R-prec 0.00000 C09-134 bpref 0.00000 C09-134 recip_rank 0.00326 C09-134 ndcg 0.03113 C09-134 ndcg5 0.00000 C09-134 ndcg10 0.00000 C09-134 ndcg20 0.00000 C09-134 ERR 0.00038 C09-134 ERR10 0.00000 C09-134 ERR20 0.00000 C09-134 P1 0.00000 C09-134 P5 0.00000 C09-134 P10 0.00000 C09-134 P15 0.00000 C09-134 P20 0.00000 C09-134 P30 0.00000 C09-134 P50 0.00000 C09-134 P100 0.00000 C09-134 P200 0.00000 C09-134 P500 0.00400 C09-134 P1000 0.00233 C09-135 num_ret 769.00000 C09-135 num_unjug_ret@1 0.00000 C09-135 num_unjug_ret@10 0.00000 C09-135 num_unjug_ret@100 27.00000 C09-135 num_unjug_ret@1000 691.00000 C09-135 num_rel 3.00000 C09-135 num_rel_ret 0.00000 C09-135 map 0.00000 C09-135 R-prec 0.00000 C09-135 bpref 0.00000 C09-135 recip_rank 0.00000 C09-135 ndcg 0.00000 C09-135 ndcg5 0.00000 C09-135 ndcg10 0.00000 C09-135 ndcg20 0.00000 C09-135 ERR 0.00000 C09-135 ERR10 0.00000 C09-135 ERR20 0.00000 C09-135 P1 0.00000 C09-135 P5 0.00000 C09-135 P10 0.00000 C09-135 P15 0.00000 C09-135 P20 0.00000 C09-135 P30 0.00000 C09-135 P50 0.00000 C09-135 P100 0.00000 C09-135 P200 0.00000 C09-135 P500 0.00000 C09-135 P1000 0.00000 C09-136 num_ret 518.00000 C09-136 num_unjug_ret@1 0.00000 C09-136 num_unjug_ret@10 0.00000 C09-136 num_unjug_ret@100 22.00000 C09-136 num_unjug_ret@1000 438.00000 C09-136 num_rel 33.00000 C09-136 num_rel_ret 5.00000 C09-136 map 0.00071 C09-136 R-prec 0.00000 C09-136 bpref 0.00000 C09-136 recip_rank 0.00331 C09-136 ndcg 0.04821 C09-136 ndcg5 0.00000 C09-136 ndcg10 0.00000 C09-136 ndcg20 0.00000 C09-136 ERR 0.00380 C09-136 ERR10 0.00000 C09-136 ERR20 0.00000 C09-136 P1 0.00000 C09-136 P5 0.00000 C09-136 P10 0.00000 C09-136 P15 0.00000 C09-136 P20 0.00000 C09-136 P30 0.00000 C09-136 P50 0.00000 C09-136 P100 0.00000 C09-136 P200 0.00000 C09-136 P500 0.00400 C09-136 P1000 0.00965 C09-137 num_ret 956.00000 C09-137 num_unjug_ret@1 0.00000 C09-137 num_unjug_ret@10 0.00000 C09-137 num_unjug_ret@100 37.00000 C09-137 num_unjug_ret@1000 848.00000 C09-137 num_rel 189.00000 C09-137 num_rel_ret 66.00000 C09-137 map 0.19908 C09-137 R-prec 0.27513 C09-137 bpref 0.31371 C09-137 recip_rank 1.00000 C09-137 ndcg 0.39981 C09-137 ndcg5 0.42857 C09-137 ndcg10 0.38200 C09-137 ndcg20 0.44949 C09-137 ERR 0.38552 C09-137 ERR10 0.37185 C09-137 ERR20 0.38520 C09-137 P1 1.00000 C09-137 P5 1.00000 C09-137 P10 0.90000 C09-137 P15 0.86667 C09-137 P20 0.85000 C09-137 P30 0.80000 C09-137 P50 0.60000 C09-137 P100 0.41000 C09-137 P200 0.26000 C09-137 P500 0.12200 C09-137 P1000 0.06904 C09-138 num_ret 956.00000 C09-138 num_unjug_ret@1 0.00000 C09-138 num_unjug_ret@10 0.00000 C09-138 num_unjug_ret@100 46.00000 C09-138 num_unjug_ret@1000 876.00000 C09-138 num_rel 15.00000 C09-138 num_rel_ret 11.00000 C09-138 map 0.47614 C09-138 R-prec 0.40000 C09-138 bpref 0.43556 C09-138 recip_rank 1.00000 C09-138 ndcg 0.72512 C09-138 ndcg5 0.86879 C09-138 ndcg10 0.62741 C09-138 ndcg20 0.65386 C09-138 ERR 0.14110 C09-138 ERR10 0.12781 C09-138 ERR20 0.13850 C09-138 P1 1.00000 C09-138 P5 0.80000 C09-138 P10 0.50000 C09-138 P15 0.40000 C09-138 P20 0.45000 C09-138 P30 0.33333 C09-138 P50 0.22000 C09-138 P100 0.11000 C09-138 P200 0.05500 C09-138 P500 0.02200 C09-138 P1000 0.01151 C09-139 num_ret 828.00000 C09-139 num_unjug_ret@1 0.00000 C09-139 num_unjug_ret@10 1.00000 C09-139 num_unjug_ret@100 50.00000 C09-139 num_unjug_ret@1000 744.00000 C09-139 num_rel 24.00000 C09-139 num_rel_ret 11.00000 C09-139 map 0.11639 C09-139 R-prec 0.33333 C09-139 bpref 0.29687 C09-139 recip_rank 0.16667 C09-139 ndcg 0.36796 C09-139 ndcg5 0.00000 C09-139 ndcg10 0.16312 C09-139 ndcg20 0.32239 C09-139 ERR 0.08117 C09-139 ERR10 0.04981 C09-139 ERR20 0.07976 C09-139 P1 0.00000 C09-139 P5 0.00000 C09-139 P10 0.20000 C09-139 P15 0.26667 C09-139 P20 0.35000 C09-139 P30 0.26667 C09-139 P50 0.16000 C09-139 P100 0.11000 C09-139 P200 0.05500 C09-139 P500 0.02200 C09-139 P1000 0.01329 C09-140 num_ret 404.00000 C09-140 num_unjug_ret@1 0.00000 C09-140 num_unjug_ret@10 0.00000 C09-140 num_unjug_ret@100 7.00000 C09-140 num_unjug_ret@1000 357.00000 C09-140 num_rel 4.00000 C09-140 num_rel_ret 0.00000 C09-140 map 0.00000 C09-140 R-prec 0.00000 C09-140 bpref 0.00000 C09-140 recip_rank 0.00000 C09-140 ndcg 0.00000 C09-140 ndcg5 0.00000 C09-140 ndcg10 0.00000 C09-140 ndcg20 0.00000 C09-140 ERR 0.00000 C09-140 ERR10 0.00000 C09-140 ERR20 0.00000 C09-140 P1 0.00000 C09-140 P5 0.00000 C09-140 P10 0.00000 C09-140 P15 0.00000 C09-140 P20 0.00000 C09-140 P30 0.00000 C09-140 P50 0.00000 C09-140 P100 0.00000 C09-140 P200 0.00000 C09-140 P500 0.00000 C09-140 P1000 0.00000 C09-141 num_ret 986.00000 C09-141 num_unjug_ret@1 0.00000 C09-141 num_unjug_ret@10 0.00000 C09-141 num_unjug_ret@100 33.00000 C09-141 num_unjug_ret@1000 876.00000 C09-141 num_rel 34.00000 C09-141 num_rel_ret 21.00000 C09-141 map 0.23778 C09-141 R-prec 0.35294 C09-141 bpref 0.33478 C09-141 recip_rank 0.25000 C09-141 ndcg 0.39066 C09-141 ndcg5 0.09242 C09-141 ndcg10 0.24300 C09-141 ndcg20 0.25895 C09-141 ERR 0.08841 C09-141 ERR10 0.07316 C09-141 ERR20 0.08129 C09-141 P1 0.00000 C09-141 P5 0.40000 C09-141 P10 0.60000 C09-141 P15 0.53333 C09-141 P20 0.50000 C09-141 P30 0.40000 C09-141 P50 0.30000 C09-141 P100 0.18000 C09-141 P200 0.09500 C09-141 P500 0.04200 C09-141 P1000 0.02130 C09-142 num_ret 688.00000 C09-142 num_unjug_ret@1 0.00000 C09-142 num_unjug_ret@10 0.00000 C09-142 num_unjug_ret@100 39.00000 C09-142 num_unjug_ret@1000 636.00000 C09-142 num_rel 45.00000 C09-142 num_rel_ret 2.00000 C09-142 map 0.00107 C09-142 R-prec 0.00000 C09-142 bpref 0.03160 C09-142 recip_rank 0.01754 C09-142 ndcg 0.03313 C09-142 ndcg5 0.00000 C09-142 ndcg10 0.00000 C09-142 ndcg20 0.00000 C09-142 ERR 0.00386 C09-142 ERR10 0.00000 C09-142 ERR20 0.00000 C09-142 P1 0.00000 C09-142 P5 0.00000 C09-142 P10 0.00000 C09-142 P15 0.00000 C09-142 P20 0.00000 C09-142 P30 0.00000 C09-142 P50 0.00000 C09-142 P100 0.02000 C09-142 P200 0.01000 C09-142 P500 0.00400 C09-142 P1000 0.00291 C09-143 num_ret 862.00000 C09-143 num_unjug_ret@1 0.00000 C09-143 num_unjug_ret@10 0.00000 C09-143 num_unjug_ret@100 46.00000 C09-143 num_unjug_ret@1000 808.00000 C09-143 num_rel 25.00000 C09-143 num_rel_ret 0.00000 C09-143 map 0.00000 C09-143 R-prec 0.00000 C09-143 bpref 0.00000 C09-143 recip_rank 0.00000 C09-143 ndcg 0.00000 C09-143 ndcg5 0.00000 C09-143 ndcg10 0.00000 C09-143 ndcg20 0.00000 C09-143 ERR 0.00000 C09-143 ERR10 0.00000 C09-143 ERR20 0.00000 C09-143 P1 0.00000 C09-143 P5 0.00000 C09-143 P10 0.00000 C09-143 P15 0.00000 C09-143 P20 0.00000 C09-143 P30 0.00000 C09-143 P50 0.00000 C09-143 P100 0.00000 C09-143 P200 0.00000 C09-143 P500 0.00000 C09-143 P1000 0.00000 C09-144 num_ret 791.00000 C09-144 num_unjug_ret@1 0.00000 C09-144 num_unjug_ret@10 1.00000 C09-144 num_unjug_ret@100 38.00000 C09-144 num_unjug_ret@1000 685.00000 C09-144 num_rel 97.00000 C09-144 num_rel_ret 21.00000 C09-144 map 0.04376 C09-144 R-prec 0.11340 C09-144 bpref 0.13413 C09-144 recip_rank 1.00000 C09-144 ndcg 0.18321 C09-144 ndcg5 0.16174 C09-144 ndcg10 0.19436 C09-144 ndcg20 0.13702 C09-144 ERR 0.11008 C09-144 ERR10 0.10118 C09-144 ERR20 0.10380 C09-144 P1 1.00000 C09-144 P5 0.40000 C09-144 P10 0.40000 C09-144 P15 0.26667 C09-144 P20 0.25000 C09-144 P30 0.16667 C09-144 P50 0.18000 C09-144 P100 0.11000 C09-144 P200 0.07000 C09-144 P500 0.03600 C09-144 P1000 0.02655 C09-145 num_ret 895.00000 C09-145 num_unjug_ret@1 0.00000 C09-145 num_unjug_ret@10 3.00000 C09-145 num_unjug_ret@100 50.00000 C09-145 num_unjug_ret@1000 793.00000 C09-145 num_rel 101.00000 C09-145 num_rel_ret 27.00000 C09-145 map 0.09204 C09-145 R-prec 0.18812 C09-145 bpref 0.20478 C09-145 recip_rank 1.00000 C09-145 ndcg 0.27655 C09-145 ndcg5 0.50291 C09-145 ndcg10 0.32636 C09-145 ndcg20 0.27911 C09-145 ERR 0.25104 C09-145 ERR10 0.23372 C09-145 ERR20 0.23932 C09-145 P1 1.00000 C09-145 P5 0.80000 C09-145 P10 0.40000 C09-145 P15 0.40000 C09-145 P20 0.30000 C09-145 P30 0.36667 C09-145 P50 0.28000 C09-145 P100 0.19000 C09-145 P200 0.10500 C09-145 P500 0.05000 C09-145 P1000 0.03017 C09-146 num_ret 145.00000 C09-146 num_unjug_ret@1 0.00000 C09-146 num_unjug_ret@10 0.00000 C09-146 num_unjug_ret@100 58.00000 C09-146 num_unjug_ret@1000 99.00000 C09-146 num_rel 16.00000 C09-146 num_rel_ret 10.00000 C09-146 map 0.29626 C09-146 R-prec 0.43750 C09-146 bpref 0.33203 C09-146 recip_rank 1.00000 C09-146 ndcg 0.50722 C09-146 ndcg5 0.28026 C09-146 ndcg10 0.36476 C09-146 ndcg20 0.45437 C09-146 ERR 0.11522 C09-146 ERR10 0.09776 C09-146 ERR20 0.11265 C09-146 P1 1.00000 C09-146 P5 0.40000 C09-146 P10 0.30000 C09-146 P15 0.40000 C09-146 P20 0.40000 C09-146 P30 0.33333 C09-146 P50 0.20000 C09-146 P100 0.10000 C09-146 P200 0.06897 C09-146 P500 0.06897 C09-146 P1000 0.06897 C09-147 num_ret 904.00000 C09-147 num_unjug_ret@1 0.00000 C09-147 num_unjug_ret@10 1.00000 C09-147 num_unjug_ret@100 44.00000 C09-147 num_unjug_ret@1000 800.00000 C09-147 num_rel 177.00000 C09-147 num_rel_ret 49.00000 C09-147 map 0.08817 C09-147 R-prec 0.19774 C09-147 bpref 0.24273 C09-147 recip_rank 1.00000 C09-147 ndcg 0.27199 C09-147 ndcg5 0.50874 C09-147 ndcg10 0.58653 C09-147 ndcg20 0.45752 C09-147 ERR 0.29555 C09-147 ERR10 0.28411 C09-147 ERR20 0.29110 C09-147 P1 1.00000 C09-147 P5 0.40000 C09-147 P10 0.70000 C09-147 P15 0.53333 C09-147 P20 0.50000 C09-147 P30 0.43333 C09-147 P50 0.32000 C09-147 P100 0.27000 C09-147 P200 0.17500 C09-147 P500 0.09200 C09-147 P1000 0.05420 C09-148 num_ret 773.00000 C09-148 num_unjug_ret@1 0.00000 C09-148 num_unjug_ret@10 0.00000 C09-148 num_unjug_ret@100 32.00000 C09-148 num_unjug_ret@1000 716.00000 C09-148 num_rel 80.00000 C09-148 num_rel_ret 14.00000 C09-148 map 0.07602 C09-148 R-prec 0.16250 C09-148 bpref 0.15609 C09-148 recip_rank 1.00000 C09-148 ndcg 0.24437 C09-148 ndcg5 0.55944 C09-148 ndcg10 0.40827 C09-148 ndcg20 0.34095 C09-148 ERR 0.26527 C09-148 ERR10 0.25728 C09-148 ERR20 0.26144 C09-148 P1 1.00000 C09-148 P5 0.60000 C09-148 P10 0.50000 C09-148 P15 0.40000 C09-148 P20 0.35000 C09-148 P30 0.33333 C09-148 P50 0.22000 C09-148 P100 0.13000 C09-148 P200 0.06500 C09-148 P500 0.02800 C09-148 P1000 0.01811 C09-149 num_ret 769.00000 C09-149 num_unjug_ret@1 0.00000 C09-149 num_unjug_ret@10 0.00000 C09-149 num_unjug_ret@100 36.00000 C09-149 num_unjug_ret@1000 674.00000 C09-149 num_rel 62.00000 C09-149 num_rel_ret 23.00000 C09-149 map 0.05792 C09-149 R-prec 0.20968 C09-149 bpref 0.21462 C09-149 recip_rank 0.03704 C09-149 ndcg 0.27586 C09-149 ndcg5 0.00000 C09-149 ndcg10 0.00000 C09-149 ndcg20 0.06693 C09-149 ERR 0.02259 C09-149 ERR10 0.00000 C09-149 ERR20 0.00676 C09-149 P1 0.00000 C09-149 P5 0.00000 C09-149 P10 0.00000 C09-149 P15 0.00000 C09-149 P20 0.00000 C09-149 P30 0.06667 C09-149 P50 0.20000 C09-149 P100 0.17000 C09-149 P200 0.11500 C09-149 P500 0.04600 C09-149 P1000 0.02991 C09-150 num_ret 795.00000 C09-150 num_unjug_ret@1 0.00000 C09-150 num_unjug_ret@10 1.00000 C09-150 num_unjug_ret@100 25.00000 C09-150 num_unjug_ret@1000 693.00000 C09-150 num_rel 4.00000 C09-150 num_rel_ret 1.00000 C09-150 map 0.00208 C09-150 R-prec 0.00000 C09-150 bpref 0.00000 C09-150 recip_rank 0.00833 C09-150 ndcg 0.05838 C09-150 ndcg5 0.00000 C09-150 ndcg10 0.00000 C09-150 ndcg20 0.00000 C09-150 ERR 0.00184 C09-150 ERR10 0.00000 C09-150 ERR20 0.00000 C09-150 P1 0.00000 C09-150 P5 0.00000 C09-150 P10 0.00000 C09-150 P15 0.00000 C09-150 P20 0.00000 C09-150 P30 0.00000 C09-150 P50 0.00000 C09-150 P100 0.00000 C09-150 P200 0.00500 C09-150 P500 0.00200 C09-150 P1000 0.00126 C09-151 num_ret 996.00000 C09-151 num_unjug_ret@1 0.00000 C09-151 num_unjug_ret@10 1.00000 C09-151 num_unjug_ret@100 74.00000 C09-151 num_unjug_ret@1000 944.00000 C09-151 num_rel 148.00000 C09-151 num_rel_ret 12.00000 C09-151 map 0.01327 C09-151 R-prec 0.04054 C09-151 bpref 0.06885 C09-151 recip_rank 1.00000 C09-151 ndcg 0.04858 C09-151 ndcg5 0.02261 C09-151 ndcg10 0.01956 C09-151 ndcg20 0.01744 C09-151 ERR 0.10089 C09-151 ERR10 0.07087 C09-151 ERR20 0.07586 C09-151 P1 1.00000 C09-151 P5 0.20000 C09-151 P10 0.20000 C09-151 P15 0.20000 C09-151 P20 0.15000 C09-151 P30 0.10000 C09-151 P50 0.08000 C09-151 P100 0.04000 C09-151 P200 0.04000 C09-151 P500 0.02200 C09-151 P1000 0.01205 C09-152 num_ret 229.00000 C09-152 num_unjug_ret@1 0.00000 C09-152 num_unjug_ret@10 0.00000 C09-152 num_unjug_ret@100 9.00000 C09-152 num_unjug_ret@1000 207.00000 C09-152 num_rel 8.00000 C09-152 num_rel_ret 0.00000 C09-152 map 0.00000 C09-152 R-prec 0.00000 C09-152 bpref 0.00000 C09-152 recip_rank 0.00000 C09-152 ndcg 0.00000 C09-152 ndcg5 0.00000 C09-152 ndcg10 0.00000 C09-152 ndcg20 0.00000 C09-152 ERR 0.00000 C09-152 ERR10 0.00000 C09-152 ERR20 0.00000 C09-152 P1 0.00000 C09-152 P5 0.00000 C09-152 P10 0.00000 C09-152 P15 0.00000 C09-152 P20 0.00000 C09-152 P30 0.00000 C09-152 P50 0.00000 C09-152 P100 0.00000 C09-152 P200 0.00000 C09-152 P500 0.00000 C09-152 P1000 0.00000 C09-153 num_ret 881.00000 C09-153 num_unjug_ret@1 0.00000 C09-153 num_unjug_ret@10 0.00000 C09-153 num_unjug_ret@100 45.00000 C09-153 num_unjug_ret@1000 781.00000 C09-153 num_rel 122.00000 C09-153 num_rel_ret 45.00000 C09-153 map 0.19833 C09-153 R-prec 0.29508 C09-153 bpref 0.32438 C09-153 recip_rank 1.00000 C09-153 ndcg 0.18067 C09-153 ndcg5 0.06667 C09-153 ndcg10 0.07024 C09-153 ndcg20 0.07621 C09-153 ERR 0.18110 C09-153 ERR10 0.15886 C09-153 ERR20 0.16584 C09-153 P1 1.00000 C09-153 P5 1.00000 C09-153 P10 1.00000 C09-153 P15 0.80000 C09-153 P20 0.65000 C09-153 P30 0.56667 C09-153 P50 0.46000 C09-153 P100 0.31000 C09-153 P200 0.20000 C09-153 P500 0.08600 C09-153 P1000 0.05108 C09-154 num_ret 910.00000 C09-154 num_unjug_ret@1 0.00000 C09-154 num_unjug_ret@10 0.00000 C09-154 num_unjug_ret@100 36.00000 C09-154 num_unjug_ret@1000 828.00000 C09-154 num_rel 58.00000 C09-154 num_rel_ret 11.00000 C09-154 map 0.00797 C09-154 R-prec 0.05172 C09-154 bpref 0.04964 C09-154 recip_rank 0.05000 C09-154 ndcg 0.10016 C09-154 ndcg5 0.00000 C09-154 ndcg10 0.00000 C09-154 ndcg20 0.03884 C09-154 ERR 0.06875 C09-154 ERR10 0.00000 C09-154 ERR20 0.06759 C09-154 P1 0.00000 C09-154 P5 0.00000 C09-154 P10 0.00000 C09-154 P15 0.00000 C09-154 P20 0.05000 C09-154 P30 0.06667 C09-154 P50 0.06000 C09-154 P100 0.05000 C09-154 P200 0.02500 C09-154 P500 0.01800 C09-154 P1000 0.01209 C09-155 num_ret 679.00000 C09-155 num_unjug_ret@1 0.00000 C09-155 num_unjug_ret@10 0.00000 C09-155 num_unjug_ret@100 31.00000 C09-155 num_unjug_ret@1000 628.00000 C09-155 num_rel 67.00000 C09-155 num_rel_ret 21.00000 C09-155 map 0.05659 C09-155 R-prec 0.17910 C09-155 bpref 0.25262 C09-155 recip_rank 0.14286 C09-155 ndcg 0.30085 C09-155 ndcg5 0.14251 C09-155 ndcg10 0.30393 C09-155 ndcg20 0.27004 C09-155 ERR 0.20622 C09-155 ERR10 0.20622 C09-155 ERR20 0.20622 C09-155 P1 0.00000 C09-155 P5 0.00000 C09-155 P10 0.30000 C09-155 P15 0.33333 C09-155 P20 0.30000 C09-155 P30 0.20000 C09-155 P50 0.14000 C09-155 P100 0.16000 C09-155 P200 0.09000 C09-155 P500 0.04000 C09-155 P1000 0.03093 C09-156 num_ret 933.00000 C09-156 num_unjug_ret@1 1.00000 C09-156 num_unjug_ret@10 1.00000 C09-156 num_unjug_ret@100 61.00000 C09-156 num_unjug_ret@1000 849.00000 C09-156 num_rel 108.00000 C09-156 num_rel_ret 48.00000 C09-156 map 0.15613 C09-156 R-prec 0.17593 C09-156 bpref 0.37354 C09-156 recip_rank 0.50000 C09-156 ndcg 0.17950 C09-156 ndcg5 0.05792 C09-156 ndcg10 0.10056 C09-156 ndcg20 0.13531 C09-156 ERR 0.12012 C09-156 ERR10 0.10278 C09-156 ERR20 0.11650 C09-156 P1 0.00000 C09-156 P5 0.80000 C09-156 P10 0.90000 C09-156 P15 0.93333 C09-156 P20 0.75000 C09-156 P30 0.56667 C09-156 P50 0.34000 C09-156 P100 0.19000 C09-156 P200 0.12000 C09-156 P500 0.07000 C09-156 P1000 0.05145 C09-157 num_ret 306.00000 C09-157 num_unjug_ret@1 0.00000 C09-157 num_unjug_ret@10 0.00000 C09-157 num_unjug_ret@100 6.00000 C09-157 num_unjug_ret@1000 263.00000 C09-157 num_rel 58.00000 C09-157 num_rel_ret 4.00000 C09-157 map 0.00026 C09-157 R-prec 0.00000 C09-157 bpref 0.01724 C09-157 recip_rank 0.00292 C09-157 ndcg 0.00681 C09-157 ndcg5 0.00000 C09-157 ndcg10 0.00000 C09-157 ndcg20 0.00000 C09-157 ERR 0.00168 C09-157 ERR10 0.00000 C09-157 ERR20 0.00000 C09-157 P1 0.00000 C09-157 P5 0.00000 C09-157 P10 0.00000 C09-157 P15 0.00000 C09-157 P20 0.00000 C09-157 P30 0.00000 C09-157 P50 0.00000 C09-157 P100 0.00000 C09-157 P200 0.00000 C09-157 P500 0.00654 C09-157 P1000 0.01307 C09-158 num_ret 957.00000 C09-158 num_unjug_ret@1 0.00000 C09-158 num_unjug_ret@10 0.00000 C09-158 num_unjug_ret@100 48.00000 C09-158 num_unjug_ret@1000 864.00000 C09-158 num_rel 131.00000 C09-158 num_rel_ret 68.00000 C09-158 map 0.39109 C09-158 R-prec 0.41221 C09-158 bpref 0.51043 C09-158 recip_rank 1.00000 C09-158 ndcg 0.34255 C09-158 ndcg5 0.06667 C09-158 ndcg10 0.19994 C09-158 ndcg20 0.19537 C09-158 ERR 0.23625 C09-158 ERR10 0.23612 C09-158 ERR20 0.23619 C09-158 P1 1.00000 C09-158 P5 1.00000 C09-158 P10 1.00000 C09-158 P15 1.00000 C09-158 P20 1.00000 C09-158 P30 1.00000 C09-158 P50 0.80000 C09-158 P100 0.51000 C09-158 P200 0.28500 C09-158 P500 0.13200 C09-158 P1000 0.07106 C09-159 num_ret 716.00000 C09-159 num_unjug_ret@1 0.00000 C09-159 num_unjug_ret@10 0.00000 C09-159 num_unjug_ret@100 46.00000 C09-159 num_unjug_ret@1000 668.00000 C09-159 num_rel 31.00000 C09-159 num_rel_ret 7.00000 C09-159 map 0.03976 C09-159 R-prec 0.16129 C09-159 bpref 0.15921 C09-159 recip_rank 0.12500 C09-159 ndcg 0.18848 C09-159 ndcg5 0.42789 C09-159 ndcg10 0.28290 C09-159 ndcg20 0.18513 C09-159 ERR 0.58032 C09-159 ERR10 0.58029 C09-159 ERR20 0.58031 C09-159 P1 0.00000 C09-159 P5 0.00000 C09-159 P10 0.20000 C09-159 P15 0.26667 C09-159 P20 0.25000 C09-159 P30 0.16667 C09-159 P50 0.10000 C09-159 P100 0.05000 C09-159 P200 0.02500 C09-159 P500 0.01400 C09-159 P1000 0.00978 C09-160 num_ret 935.00000 C09-160 num_unjug_ret@1 0.00000 C09-160 num_unjug_ret@10 0.00000 C09-160 num_unjug_ret@100 45.00000 C09-160 num_unjug_ret@1000 857.00000 C09-160 num_rel 6.00000 C09-160 num_rel_ret 2.00000 C09-160 map 0.00431 C09-160 R-prec 0.00000 C09-160 bpref 0.00000 C09-160 recip_rank 0.02381 C09-160 ndcg 0.01733 C09-160 ndcg5 0.00000 C09-160 ndcg10 0.00000 C09-160 ndcg20 0.00000 C09-160 ERR 0.00202 C09-160 ERR10 0.00000 C09-160 ERR20 0.00000 C09-160 P1 0.00000 C09-160 P5 0.00000 C09-160 P10 0.00000 C09-160 P15 0.00000 C09-160 P20 0.00000 C09-160 P30 0.00000 C09-160 P50 0.02000 C09-160 P100 0.01000 C09-160 P200 0.00500 C09-160 P500 0.00200 C09-160 P1000 0.00214 C09-161 num_ret 984.00000 C09-161 num_unjug_ret@1 0.00000 C09-161 num_unjug_ret@10 0.00000 C09-161 num_unjug_ret@100 60.00000 C09-161 num_unjug_ret@1000 922.00000 C09-161 num_rel 7.00000 C09-161 num_rel_ret 3.00000 C09-161 map 0.03139 C09-161 R-prec 0.14286 C09-161 bpref 0.02041 C09-161 recip_rank 0.14286 C09-161 ndcg 0.05223 C09-161 ndcg5 0.00000 C09-161 ndcg10 0.01764 C09-161 ndcg20 0.01764 C09-161 ERR 0.01222 C09-161 ERR10 0.00893 C09-161 ERR20 0.00893 C09-161 P1 0.00000 C09-161 P5 0.00000 C09-161 P10 0.10000 C09-161 P15 0.06667 C09-161 P20 0.05000 C09-161 P30 0.03333 C09-161 P50 0.02000 C09-161 P100 0.03000 C09-161 P200 0.01500 C09-161 P500 0.00600 C09-161 P1000 0.00305 C09-162 num_ret 948.00000 C09-162 num_unjug_ret@1 0.00000 C09-162 num_unjug_ret@10 1.00000 C09-162 num_unjug_ret@100 44.00000 C09-162 num_unjug_ret@1000 817.00000 C09-162 num_rel 32.00000 C09-162 num_rel_ret 4.00000 C09-162 map 0.00929 C09-162 R-prec 0.06250 C09-162 bpref 0.04492 C09-162 recip_rank 0.20000 C09-162 ndcg 0.09884 C09-162 ndcg5 0.13121 C09-162 ndcg10 0.09502 C09-162 ndcg20 0.08464 C09-162 ERR 0.18799 C09-162 ERR10 0.18750 C09-162 ERR20 0.18750 C09-162 P1 0.00000 C09-162 P5 0.20000 C09-162 P10 0.10000 C09-162 P15 0.06667 C09-162 P20 0.05000 C09-162 P30 0.06667 C09-162 P50 0.04000 C09-162 P100 0.02000 C09-162 P200 0.01500 C09-162 P500 0.00800 C09-162 P1000 0.00422 C09-163 num_ret 668.00000 C09-163 num_unjug_ret@1 0.00000 C09-163 num_unjug_ret@10 1.00000 C09-163 num_unjug_ret@100 24.00000 C09-163 num_unjug_ret@1000 593.00000 C09-163 num_rel 112.00000 C09-163 num_rel_ret 25.00000 C09-163 map 0.02342 C09-163 R-prec 0.08036 C09-163 bpref 0.15768 C09-163 recip_rank 0.14286 C09-163 ndcg 0.10769 C09-163 ndcg5 0.00875 C09-163 ndcg10 0.01057 C09-163 ndcg20 0.01646 C09-163 ERR 0.06326 C09-163 ERR10 0.02087 C09-163 ERR20 0.03514 C09-163 P1 0.00000 C09-163 P5 0.00000 C09-163 P10 0.20000 C09-163 P15 0.26667 C09-163 P20 0.25000 C09-163 P30 0.20000 C09-163 P50 0.16000 C09-163 P100 0.09000 C09-163 P200 0.05500 C09-163 P500 0.04000 C09-163 P1000 0.03743 C09-164 num_ret 920.00000 C09-164 num_unjug_ret@1 0.00000 C09-164 num_unjug_ret@10 3.00000 C09-164 num_unjug_ret@100 69.00000 C09-164 num_unjug_ret@1000 875.00000 C09-164 num_rel 78.00000 C09-164 num_rel_ret 14.00000 C09-164 map 0.01844 C09-164 R-prec 0.08974 C09-164 bpref 0.13494 C09-164 recip_rank 0.07692 C09-164 ndcg 0.14091 C09-164 ndcg5 0.00000 C09-164 ndcg10 0.00000 C09-164 ndcg20 0.07366 C09-164 ERR 0.07648 C09-164 ERR10 0.00000 C09-164 ERR20 0.07630 C09-164 P1 0.00000 C09-164 P5 0.00000 C09-164 P10 0.00000 C09-164 P15 0.13333 C09-164 P20 0.10000 C09-164 P30 0.10000 C09-164 P50 0.12000 C09-164 P100 0.07000 C09-164 P200 0.07000 C09-164 P500 0.02800 C09-164 P1000 0.01522 C09-165 num_ret 726.00000 C09-165 num_unjug_ret@1 0.00000 C09-165 num_unjug_ret@10 1.00000 C09-165 num_unjug_ret@100 33.00000 C09-165 num_unjug_ret@1000 662.00000 C09-165 num_rel 31.00000 C09-165 num_rel_ret 2.00000 C09-165 map 0.00102 C09-165 R-prec 0.00000 C09-165 bpref 0.02497 C09-165 recip_rank 0.02326 C09-165 ndcg 0.05938 C09-165 ndcg5 0.00000 C09-165 ndcg10 0.00000 C09-165 ndcg20 0.05143 C09-165 ERR 0.06716 C09-165 ERR10 0.00000 C09-165 ERR20 0.06696 C09-165 P1 0.00000 C09-165 P5 0.00000 C09-165 P10 0.00000 C09-165 P15 0.00000 C09-165 P20 0.00000 C09-165 P30 0.00000 C09-165 P50 0.02000 C09-165 P100 0.01000 C09-165 P200 0.00500 C09-165 P500 0.00400 C09-165 P1000 0.00275 C09-166 num_ret 781.00000 C09-166 num_unjug_ret@1 0.00000 C09-166 num_unjug_ret@10 1.00000 C09-166 num_unjug_ret@100 35.00000 C09-166 num_unjug_ret@1000 720.00000 C09-166 num_rel 23.00000 C09-166 num_rel_ret 6.00000 C09-166 map 0.00527 C09-166 R-prec 0.00000 C09-166 bpref 0.00000 C09-166 recip_rank 0.02500 C09-166 ndcg 0.13177 C09-166 ndcg5 0.00000 C09-166 ndcg10 0.00000 C09-166 ndcg20 0.00000 C09-166 ERR 0.01202 C09-166 ERR10 0.00000 C09-166 ERR20 0.00000 C09-166 P1 0.00000 C09-166 P5 0.00000 C09-166 P10 0.00000 C09-166 P15 0.00000 C09-166 P20 0.00000 C09-166 P30 0.00000 C09-166 P50 0.02000 C09-166 P100 0.02000 C09-166 P200 0.01500 C09-166 P500 0.00800 C09-166 P1000 0.00768 C09-167 num_ret 937.00000 C09-167 num_unjug_ret@1 0.00000 C09-167 num_unjug_ret@10 0.00000 C09-167 num_unjug_ret@100 50.00000 C09-167 num_unjug_ret@1000 859.00000 C09-167 num_rel 58.00000 C09-167 num_rel_ret 16.00000 C09-167 map 0.02036 C09-167 R-prec 0.10345 C09-167 bpref 0.12574 C09-167 recip_rank 0.09091 C09-167 ndcg 0.13221 C09-167 ndcg5 0.00000 C09-167 ndcg10 0.01272 C09-167 ndcg20 0.01623 C09-167 ERR 0.04057 C09-167 ERR10 0.01875 C09-167 ERR20 0.02412 C09-167 P1 0.00000 C09-167 P5 0.00000 C09-167 P10 0.00000 C09-167 P15 0.06667 C09-167 P20 0.10000 C09-167 P30 0.13333 C09-167 P50 0.08000 C09-167 P100 0.09000 C09-167 P200 0.05000 C09-167 P500 0.02400 C09-167 P1000 0.01708 C09-168 num_ret 378.00000 C09-168 num_unjug_ret@1 0.00000 C09-168 num_unjug_ret@10 0.00000 C09-168 num_unjug_ret@100 47.00000 C09-168 num_unjug_ret@1000 340.00000 C09-168 num_rel 41.00000 C09-168 num_rel_ret 10.00000 C09-168 map 0.06234 C09-168 R-prec 0.24390 C09-168 bpref 0.19810 C09-168 recip_rank 0.08333 C09-168 ndcg 0.05220 C09-168 ndcg5 0.00875 C09-168 ndcg10 0.02908 C09-168 ndcg20 0.05334 C09-168 ERR 0.07883 C09-168 ERR10 0.04644 C09-168 ERR20 0.07863 C09-168 P1 0.00000 C09-168 P5 0.00000 C09-168 P10 0.00000 C09-168 P15 0.26667 C09-168 P20 0.30000 C09-168 P30 0.30000 C09-168 P50 0.20000 C09-168 P100 0.10000 C09-168 P200 0.05000 C09-168 P500 0.02646 C09-168 P1000 0.02646 C09-169 num_ret 459.00000 C09-169 num_unjug_ret@1 0.00000 C09-169 num_unjug_ret@10 3.00000 C09-169 num_unjug_ret@100 26.00000 C09-169 num_unjug_ret@1000 427.00000 C09-169 num_rel 103.00000 C09-169 num_rel_ret 7.00000 C09-169 map 0.00256 C09-169 R-prec 0.03883 C09-169 bpref 0.06099 C09-169 recip_rank 0.04348 C09-169 ndcg 0.06521 C09-169 ndcg5 0.00000 C09-169 ndcg10 0.01128 C09-169 ndcg20 0.00873 C09-169 ERR 0.03855 C09-169 ERR10 0.00625 C09-169 ERR20 0.00625 C09-169 P1 0.00000 C09-169 P5 0.00000 C09-169 P10 0.00000 C09-169 P15 0.00000 C09-169 P20 0.00000 C09-169 P30 0.03333 C09-169 P50 0.02000 C09-169 P100 0.04000 C09-169 P200 0.03000 C09-169 P500 0.01525 C09-169 P1000 0.01525 C09-170 num_ret 914.00000 C09-170 num_unjug_ret@1 0.00000 C09-170 num_unjug_ret@10 0.00000 C09-170 num_unjug_ret@100 54.00000 C09-170 num_unjug_ret@1000 828.00000 C09-170 num_rel 24.00000 C09-170 num_rel_ret 4.00000 C09-170 map 0.00364 C09-170 R-prec 0.04167 C09-170 bpref 0.02431 C09-170 recip_rank 0.04545 C09-170 ndcg 0.06798 C09-170 ndcg5 0.00000 C09-170 ndcg10 0.00000 C09-170 ndcg20 0.00419 C09-170 ERR 0.01838 C09-170 ERR10 0.00000 C09-170 ERR20 0.00568 C09-170 P1 0.00000 C09-170 P5 0.00000 C09-170 P10 0.00000 C09-170 P15 0.00000 C09-170 P20 0.00000 C09-170 P30 0.03333 C09-170 P50 0.02000 C09-170 P100 0.02000 C09-170 P200 0.01000 C09-170 P500 0.00800 C09-170 P1000 0.00438 C09-171 num_ret 738.00000 C09-171 num_unjug_ret@1 0.00000 C09-171 num_unjug_ret@10 1.00000 C09-171 num_unjug_ret@100 34.00000 C09-171 num_unjug_ret@1000 689.00000 C09-171 num_rel 82.00000 C09-171 num_rel_ret 11.00000 C09-171 map 0.01449 C09-171 R-prec 0.06098 C09-171 bpref 0.10425 C09-171 recip_rank 0.14286 C09-171 ndcg 0.07366 C09-171 ndcg5 0.00875 C09-171 ndcg10 0.00598 C09-171 ndcg20 0.07313 C09-171 ERR 0.08654 C09-171 ERR10 0.01250 C09-171 ERR20 0.08640 C09-171 P1 0.00000 C09-171 P5 0.00000 C09-171 P10 0.10000 C09-171 P15 0.13333 C09-171 P20 0.25000 C09-171 P30 0.16667 C09-171 P50 0.10000 C09-171 P100 0.05000 C09-171 P200 0.04000 C09-171 P500 0.02000 C09-171 P1000 0.01491 C09-172 num_ret 993.00000 C09-172 num_unjug_ret@1 0.00000 C09-172 num_unjug_ret@10 0.00000 C09-172 num_unjug_ret@100 34.00000 C09-172 num_unjug_ret@1000 867.00000 C09-172 num_rel 174.00000 C09-172 num_rel_ret 75.00000 C09-172 map 0.15393 C09-172 R-prec 0.31034 C09-172 bpref 0.37647 C09-172 recip_rank 0.33333 C09-172 ndcg 0.29876 C09-172 ndcg5 0.01131 C09-172 ndcg10 0.09012 C09-172 ndcg20 0.17878 C09-172 ERR 0.12223 C09-172 ERR10 0.11814 C09-172 ERR20 0.12223 C09-172 P1 0.00000 C09-172 P5 0.20000 C09-172 P10 0.10000 C09-172 P15 0.40000 C09-172 P20 0.55000 C09-172 P30 0.50000 C09-172 P50 0.42000 C09-172 P100 0.39000 C09-172 P200 0.29000 C09-172 P500 0.14200 C09-172 P1000 0.07553 C09-173 num_ret 795.00000 C09-173 num_unjug_ret@1 0.00000 C09-173 num_unjug_ret@10 0.00000 C09-173 num_unjug_ret@100 43.00000 C09-173 num_unjug_ret@1000 742.00000 C09-173 num_rel 64.00000 C09-173 num_rel_ret 23.00000 C09-173 map 0.07941 C09-173 R-prec 0.21875 C09-173 bpref 0.27954 C09-173 recip_rank 0.08333 C09-173 ndcg 0.35621 C09-173 ndcg5 0.16958 C09-173 ndcg10 0.17308 C09-173 ndcg20 0.32699 C09-173 ERR 0.31816 C09-173 ERR10 0.31443 C09-173 ERR20 0.31815 C09-173 P1 0.00000 C09-173 P5 0.00000 C09-173 P10 0.00000 C09-173 P15 0.13333 C09-173 P20 0.30000 C09-173 P30 0.36667 C09-173 P50 0.28000 C09-173 P100 0.17000 C09-173 P200 0.10000 C09-173 P500 0.04200 C09-173 P1000 0.02893 C09-174 num_ret 639.00000 C09-174 num_unjug_ret@1 0.00000 C09-174 num_unjug_ret@10 1.00000 C09-174 num_unjug_ret@100 24.00000 C09-174 num_unjug_ret@1000 554.00000 C09-174 num_rel 55.00000 C09-174 num_rel_ret 15.00000 C09-174 map 0.03146 C09-174 R-prec 0.09091 C09-174 bpref 0.12926 C09-174 recip_rank 0.33333 C09-174 ndcg 0.19746 C09-174 ndcg5 0.16958 C09-174 ndcg10 0.18959 C09-174 ndcg20 0.12236 C09-174 ERR 0.32023 C09-174 ERR10 0.32011 C09-174 ERR20 0.32011 C09-174 P1 0.00000 C09-174 P5 0.20000 C09-174 P10 0.20000 C09-174 P15 0.20000 C09-174 P20 0.20000 C09-174 P30 0.13333 C09-174 P50 0.10000 C09-174 P100 0.06000 C09-174 P200 0.05500 C09-174 P500 0.02600 C09-174 P1000 0.02347 C09-175 num_ret 629.00000 C09-175 num_unjug_ret@1 0.00000 C09-175 num_unjug_ret@10 0.00000 C09-175 num_unjug_ret@100 3.00000 C09-175 num_unjug_ret@1000 590.00000 C09-175 num_rel 121.00000 C09-175 num_rel_ret 11.00000 C09-175 map 0.02577 C09-175 R-prec 0.03306 C09-175 bpref 0.06598 C09-175 recip_rank 1.00000 C09-175 ndcg 0.11593 C09-175 ndcg5 0.28021 C09-175 ndcg10 0.19509 C09-175 ndcg20 0.12590 C09-175 ERR 0.47096 C09-175 ERR10 0.47083 C09-175 ERR20 0.47083 C09-175 P1 1.00000 C09-175 P5 0.60000 C09-175 P10 0.30000 C09-175 P15 0.20000 C09-175 P20 0.15000 C09-175 P30 0.10000 C09-175 P50 0.06000 C09-175 P100 0.04000 C09-175 P200 0.02000 C09-175 P500 0.01000 C09-175 P1000 0.01749 C09-176 num_ret 964.00000 C09-176 num_unjug_ret@1 0.00000 C09-176 num_unjug_ret@10 0.00000 C09-176 num_unjug_ret@100 56.00000 C09-176 num_unjug_ret@1000 906.00000 C09-176 num_rel 17.00000 C09-176 num_rel_ret 1.00000 C09-176 map 0.00018 C09-176 R-prec 0.00000 C09-176 bpref 0.00000 C09-176 recip_rank 0.00301 C09-176 ndcg 0.00613 C09-176 ndcg5 0.00000 C09-176 ndcg10 0.00000 C09-176 ndcg20 0.00000 C09-176 ERR 0.00057 C09-176 ERR10 0.00000 C09-176 ERR20 0.00000 C09-176 P1 0.00000 C09-176 P5 0.00000 C09-176 P10 0.00000 C09-176 P15 0.00000 C09-176 P20 0.00000 C09-176 P30 0.00000 C09-176 P50 0.00000 C09-176 P100 0.00000 C09-176 P200 0.00000 C09-176 P500 0.00200 C09-176 P1000 0.00104 C09-177 num_ret 942.00000 C09-177 num_unjug_ret@1 0.00000 C09-177 num_unjug_ret@10 1.00000 C09-177 num_unjug_ret@100 66.00000 C09-177 num_unjug_ret@1000 882.00000 C09-177 num_rel 44.00000 C09-177 num_rel_ret 18.00000 C09-177 map 0.13139 C09-177 R-prec 0.15909 C09-177 bpref 0.25052 C09-177 recip_rank 1.00000 C09-177 ndcg 0.40327 C09-177 ndcg5 0.72273 C09-177 ndcg10 0.54740 C09-177 ndcg20 0.45697 C09-177 ERR 0.13017 C09-177 ERR10 0.11869 C09-177 ERR20 0.12710 C09-177 P1 1.00000 C09-177 P5 0.60000 C09-177 P10 0.40000 C09-177 P15 0.33333 C09-177 P20 0.35000 C09-177 P30 0.23333 C09-177 P50 0.14000 C09-177 P100 0.11000 C09-177 P200 0.07000 C09-177 P500 0.03200 C09-177 P1000 0.01911 C09-178 num_ret 967.00000 C09-178 num_unjug_ret@1 0.00000 C09-178 num_unjug_ret@10 1.00000 C09-178 num_unjug_ret@100 55.00000 C09-178 num_unjug_ret@1000 879.00000 C09-178 num_rel 53.00000 C09-178 num_rel_ret 29.00000 C09-178 map 0.04355 C09-178 R-prec 0.09434 C09-178 bpref 0.14881 C09-178 recip_rank 0.16667 C09-178 ndcg 0.29765 C09-178 ndcg5 0.00000 C09-178 ndcg10 0.07840 C09-178 ndcg20 0.08611 C09-178 ERR 0.16027 C09-178 ERR10 0.15625 C09-178 ERR20 0.16016 C09-178 P1 0.00000 C09-178 P5 0.00000 C09-178 P10 0.10000 C09-178 P15 0.13333 C09-178 P20 0.10000 C09-178 P30 0.06667 C09-178 P50 0.10000 C09-178 P100 0.11000 C09-178 P200 0.07000 C09-178 P500 0.04800 C09-178 P1000 0.02999 C09-179 num_ret 773.00000 C09-179 num_unjug_ret@1 1.00000 C09-179 num_unjug_ret@10 2.00000 C09-179 num_unjug_ret@100 57.00000 C09-179 num_unjug_ret@1000 699.00000 C09-179 num_rel 11.00000 C09-179 num_rel_ret 7.00000 C09-179 map 0.01605 C09-179 R-prec 0.00000 C09-179 bpref 0.00000 C09-179 recip_rank 0.02703 C09-179 ndcg 0.08254 C09-179 ndcg5 0.00000 C09-179 ndcg10 0.00000 C09-179 ndcg20 0.00000 C09-179 ERR 0.00732 C09-179 ERR10 0.00000 C09-179 ERR20 0.00000 C09-179 P1 0.00000 C09-179 P5 0.00000 C09-179 P10 0.00000 C09-179 P15 0.00000 C09-179 P20 0.00000 C09-179 P30 0.00000 C09-179 P50 0.02000 C09-179 P100 0.02000 C09-179 P200 0.02000 C09-179 P500 0.01400 C09-179 P1000 0.00906 C09-180 num_ret 1000.00000 C09-180 num_unjug_ret@1 0.00000 C09-180 num_unjug_ret@10 2.00000 C09-180 num_unjug_ret@100 62.00000 C09-180 num_unjug_ret@1000 954.00000 C09-180 num_rel 71.00000 C09-180 num_rel_ret 6.00000 C09-180 map 0.00795 C09-180 R-prec 0.04225 C09-180 bpref 0.06031 C09-180 recip_rank 0.25000 C09-180 ndcg 0.01755 C09-180 ndcg5 0.00974 C09-180 ndcg10 0.00721 C09-180 ndcg20 0.00674 C09-180 ERR 0.02098 C09-180 ERR10 0.01563 C09-180 ERR20 0.01563 C09-180 P1 0.00000 C09-180 P5 0.20000 C09-180 P10 0.10000 C09-180 P15 0.06667 C09-180 P20 0.05000 C09-180 P30 0.10000 C09-180 P50 0.06000 C09-180 P100 0.05000 C09-180 P200 0.03000 C09-180 P500 0.01200 C09-180 P1000 0.00600 C09-181 num_ret 660.00000 C09-181 num_unjug_ret@1 0.00000 C09-181 num_unjug_ret@10 0.00000 C09-181 num_unjug_ret@100 55.00000 C09-181 num_unjug_ret@1000 615.00000 C09-181 num_rel 30.00000 C09-181 num_rel_ret 4.00000 C09-181 map 0.08056 C09-181 R-prec 0.13333 C09-181 bpref 0.12556 C09-181 recip_rank 0.50000 C09-181 ndcg 0.05867 C09-181 ndcg5 0.06057 C09-181 ndcg10 0.06856 C09-181 ndcg20 0.06283 C09-181 ERR 0.07095 C09-181 ERR10 0.07095 C09-181 ERR20 0.07095 C09-181 P1 0.00000 C09-181 P5 0.60000 C09-181 P10 0.40000 C09-181 P15 0.26667 C09-181 P20 0.20000 C09-181 P30 0.13333 C09-181 P50 0.08000 C09-181 P100 0.04000 C09-181 P200 0.02000 C09-181 P500 0.00800 C09-181 P1000 0.00606 C09-182 num_ret 978.00000 C09-182 num_unjug_ret@1 0.00000 C09-182 num_unjug_ret@10 0.00000 C09-182 num_unjug_ret@100 52.00000 C09-182 num_unjug_ret@1000 879.00000 C09-182 num_rel 253.00000 C09-182 num_rel_ret 62.00000 C09-182 map 0.12897 C09-182 R-prec 0.18182 C09-182 bpref 0.23515 C09-182 recip_rank 1.00000 C09-182 ndcg 0.23860 C09-182 ndcg5 0.32597 C09-182 ndcg10 0.34478 C09-182 ndcg20 0.38454 C09-182 ERR 0.51338 C09-182 ERR10 0.51332 C09-182 ERR20 0.51338 C09-182 P1 1.00000 C09-182 P5 1.00000 C09-182 P10 1.00000 C09-182 P15 0.93333 C09-182 P20 0.95000 C09-182 P30 0.76667 C09-182 P50 0.52000 C09-182 P100 0.35000 C09-182 P200 0.21000 C09-182 P500 0.11400 C09-182 P1000 0.06339 C09-183 num_ret 911.00000 C09-183 num_unjug_ret@1 0.00000 C09-183 num_unjug_ret@10 1.00000 C09-183 num_unjug_ret@100 53.00000 C09-183 num_unjug_ret@1000 858.00000 C09-183 num_rel 31.00000 C09-183 num_rel_ret 4.00000 C09-183 map 0.00463 C09-183 R-prec 0.00000 C09-183 bpref 0.04891 C09-183 recip_rank 0.02778 C09-183 ndcg 0.01846 C09-183 ndcg5 0.00000 C09-183 ndcg10 0.00000 C09-183 ndcg20 0.00000 C09-183 ERR 0.00685 C09-183 ERR10 0.00000 C09-183 ERR20 0.00000 C09-183 P1 0.00000 C09-183 P5 0.00000 C09-183 P10 0.00000 C09-183 P15 0.00000 C09-183 P20 0.00000 C09-183 P30 0.00000 C09-183 P50 0.04000 C09-183 P100 0.03000 C09-183 P200 0.02000 C09-183 P500 0.00800 C09-183 P1000 0.00439 C09-184 num_ret 303.00000 C09-184 num_unjug_ret@1 0.00000 C09-184 num_unjug_ret@10 0.00000 C09-184 num_unjug_ret@100 15.00000 C09-184 num_unjug_ret@1000 291.00000 C09-184 num_rel 69.00000 C09-184 num_rel_ret 2.00000 C09-184 map 0.00755 C09-184 R-prec 0.01449 C09-184 bpref 0.02878 C09-184 recip_rank 0.50000 C09-184 ndcg 0.08633 C09-184 ndcg5 0.33916 C09-184 ndcg10 0.22009 C09-184 ndcg20 0.17548 C09-184 ERR 0.94076 C09-184 ERR10 0.93750 C09-184 ERR20 0.94076 C09-184 P1 0.00000 C09-184 P5 0.20000 C09-184 P10 0.10000 C09-184 P15 0.06667 C09-184 P20 0.05000 C09-184 P30 0.03333 C09-184 P50 0.02000 C09-184 P100 0.02000 C09-184 P200 0.01000 C09-184 P500 0.00660 C09-184 P1000 0.00660 C09-185 num_ret 958.00000 C09-185 num_unjug_ret@1 0.00000 C09-185 num_unjug_ret@10 0.00000 C09-185 num_unjug_ret@100 66.00000 C09-185 num_unjug_ret@1000 890.00000 C09-185 num_rel 81.00000 C09-185 num_rel_ret 26.00000 C09-185 map 0.04551 C09-185 R-prec 0.13580 C09-185 bpref 0.23411 C09-185 recip_rank 0.25000 C09-185 ndcg 0.29407 C09-185 ndcg5 0.14607 C09-185 ndcg10 0.15841 C09-185 ndcg20 0.19260 C09-185 ERR 0.24051 C09-185 ERR10 0.24023 C09-185 ERR20 0.24051 C09-185 P1 0.00000 C09-185 P5 0.20000 C09-185 P10 0.20000 C09-185 P15 0.26667 C09-185 P20 0.30000 C09-185 P30 0.20000 C09-185 P50 0.18000 C09-185 P100 0.12000 C09-185 P200 0.09000 C09-185 P500 0.04400 C09-185 P1000 0.02714 C09-186 num_ret 899.00000 C09-186 num_unjug_ret@1 0.00000 C09-186 num_unjug_ret@10 0.00000 C09-186 num_unjug_ret@100 46.00000 C09-186 num_unjug_ret@1000 813.00000 C09-186 num_rel 202.00000 C09-186 num_rel_ret 37.00000 C09-186 map 0.04593 C09-186 R-prec 0.09901 C09-186 bpref 0.16214 C09-186 recip_rank 1.00000 C09-186 ndcg 0.03832 C09-186 ndcg5 0.03136 C09-186 ndcg10 0.03934 C09-186 ndcg20 0.03728 C09-186 ERR 0.11941 C09-186 ERR10 0.10129 C09-186 ERR20 0.11426 C09-186 P1 1.00000 C09-186 P5 0.40000 C09-186 P10 0.60000 C09-186 P15 0.60000 C09-186 P20 0.55000 C09-186 P30 0.36667 C09-186 P50 0.24000 C09-186 P100 0.16000 C09-186 P200 0.10000 C09-186 P500 0.05800 C09-186 P1000 0.04116 C09-187 num_ret 838.00000 C09-187 num_unjug_ret@1 0.00000 C09-187 num_unjug_ret@10 0.00000 C09-187 num_unjug_ret@100 25.00000 C09-187 num_unjug_ret@1000 736.00000 C09-187 num_rel 45.00000 C09-187 num_rel_ret 16.00000 C09-187 map 0.03134 C09-187 R-prec 0.06667 C09-187 bpref 0.04790 C09-187 recip_rank 0.14286 C09-187 ndcg 0.19077 C09-187 ndcg5 0.00000 C09-187 ndcg10 0.01576 C09-187 ndcg20 0.01485 C09-187 ERR 0.03126 C09-187 ERR10 0.01625 C09-187 ERR20 0.01625 C09-187 P1 0.00000 C09-187 P5 0.00000 C09-187 P10 0.20000 C09-187 P15 0.13333 C09-187 P20 0.10000 C09-187 P30 0.06667 C09-187 P50 0.06000 C09-187 P100 0.10000 C09-187 P200 0.06000 C09-187 P500 0.03000 C09-187 P1000 0.01909 C09-188 num_ret 806.00000 C09-188 num_unjug_ret@1 0.00000 C09-188 num_unjug_ret@10 4.00000 C09-188 num_unjug_ret@100 38.00000 C09-188 num_unjug_ret@1000 757.00000 C09-188 num_rel 15.00000 C09-188 num_rel_ret 4.00000 C09-188 map 0.02580 C09-188 R-prec 0.13333 C09-188 bpref 0.08889 C09-188 recip_rank 0.20000 C09-188 ndcg 0.03220 C09-188 ndcg5 0.01501 C09-188 ndcg10 0.01413 C09-188 ndcg20 0.02264 C09-188 ERR 0.01771 C09-188 ERR10 0.01250 C09-188 ERR20 0.01701 C09-188 P1 0.00000 C09-188 P5 0.20000 C09-188 P10 0.10000 C09-188 P15 0.13333 C09-188 P20 0.10000 C09-188 P30 0.06667 C09-188 P50 0.04000 C09-188 P100 0.02000 C09-188 P200 0.01500 C09-188 P500 0.00800 C09-188 P1000 0.00496 C09-189 num_ret 896.00000 C09-189 num_unjug_ret@1 0.00000 C09-189 num_unjug_ret@10 0.00000 C09-189 num_unjug_ret@100 62.00000 C09-189 num_unjug_ret@1000 843.00000 C09-189 num_rel 27.00000 C09-189 num_rel_ret 9.00000 C09-189 map 0.01692 C09-189 R-prec 0.00000 C09-189 bpref 0.00000 C09-189 recip_rank 0.02857 C09-189 ndcg 0.12325 C09-189 ndcg5 0.00000 C09-189 ndcg10 0.00000 C09-189 ndcg20 0.00000 C09-189 ERR 0.01371 C09-189 ERR10 0.00000 C09-189 ERR20 0.00000 C09-189 P1 0.00000 C09-189 P5 0.00000 C09-189 P10 0.00000 C09-189 P15 0.00000 C09-189 P20 0.00000 C09-189 P30 0.00000 C09-189 P50 0.06000 C09-189 P100 0.04000 C09-189 P200 0.04500 C09-189 P500 0.01800 C09-189 P1000 0.01004 C09-190 num_ret 728.00000 C09-190 num_unjug_ret@1 0.00000 C09-190 num_unjug_ret@10 1.00000 C09-190 num_unjug_ret@100 47.00000 C09-190 num_unjug_ret@1000 666.00000 C09-190 num_rel 20.00000 C09-190 num_rel_ret 1.00000 C09-190 map 0.02500 C09-190 R-prec 0.05000 C09-190 bpref 0.04750 C09-190 recip_rank 0.50000 C09-190 ndcg 0.01011 C09-190 ndcg5 0.01427 C09-190 ndcg10 0.01053 C09-190 ndcg20 0.01011 C09-190 ERR 0.03125 C09-190 ERR10 0.03125 C09-190 ERR20 0.03125 C09-190 P1 0.00000 C09-190 P5 0.20000 C09-190 P10 0.10000 C09-190 P15 0.06667 C09-190 P20 0.05000 C09-190 P30 0.03333 C09-190 P50 0.02000 C09-190 P100 0.01000 C09-190 P200 0.00500 C09-190 P500 0.00200 C09-190 P1000 0.00137 C09-191 num_ret 767.00000 C09-191 num_unjug_ret@1 0.00000 C09-191 num_unjug_ret@10 1.00000 C09-191 num_unjug_ret@100 64.00000 C09-191 num_unjug_ret@1000 715.00000 C09-191 num_rel 30.00000 C09-191 num_rel_ret 11.00000 C09-191 map 0.09874 C09-191 R-prec 0.16667 C09-191 bpref 0.24111 C09-191 recip_rank 0.50000 C09-191 ndcg 0.18563 C09-191 ndcg5 0.18385 C09-191 ndcg10 0.18782 C09-191 ndcg20 0.14622 C09-191 ERR 0.33001 C09-191 ERR10 0.32989 C09-191 ERR20 0.32990 C09-191 P1 0.00000 C09-191 P5 0.40000 C09-191 P10 0.30000 C09-191 P15 0.26667 C09-191 P20 0.20000 C09-191 P30 0.16667 C09-191 P50 0.14000 C09-191 P100 0.09000 C09-191 P200 0.05000 C09-191 P500 0.02200 C09-191 P1000 0.01434 C09-192 num_ret 993.00000 C09-192 num_unjug_ret@1 0.00000 C09-192 num_unjug_ret@10 0.00000 C09-192 num_unjug_ret@100 71.00000 C09-192 num_unjug_ret@1000 905.00000 C09-192 num_rel 105.00000 C09-192 num_rel_ret 32.00000 C09-192 map 0.04678 C09-192 R-prec 0.14286 C09-192 bpref 0.23193 C09-192 recip_rank 0.33333 C09-192 ndcg 0.22711 C09-192 ndcg5 0.02005 C09-192 ndcg10 0.09630 C09-192 ndcg20 0.09690 C09-192 ERR 0.17344 C09-192 ERR10 0.17037 C09-192 ERR20 0.17339 C09-192 P1 0.00000 C09-192 P5 0.40000 C09-192 P10 0.40000 C09-192 P15 0.26667 C09-192 P20 0.25000 C09-192 P30 0.16667 C09-192 P50 0.10000 C09-192 P100 0.13000 C09-192 P200 0.11000 C09-192 P500 0.05200 C09-192 P1000 0.03223 C09-193 num_ret 1000.00000 C09-193 num_unjug_ret@1 0.00000 C09-193 num_unjug_ret@10 1.00000 C09-193 num_unjug_ret@100 62.00000 C09-193 num_unjug_ret@1000 941.00000 C09-193 num_rel 93.00000 C09-193 num_rel_ret 17.00000 C09-193 map 0.05953 C09-193 R-prec 0.12903 C09-193 bpref 0.13701 C09-193 recip_rank 1.00000 C09-193 ndcg 0.13076 C09-193 ndcg5 0.08183 C09-193 ndcg10 0.12899 C09-193 ndcg20 0.14843 C09-193 ERR 0.10837 C09-193 ERR10 0.09677 C09-193 ERR20 0.10471 C09-193 P1 1.00000 C09-193 P5 0.40000 C09-193 P10 0.50000 C09-193 P15 0.40000 C09-193 P20 0.40000 C09-193 P30 0.30000 C09-193 P50 0.20000 C09-193 P100 0.12000 C09-193 P200 0.07000 C09-193 P500 0.02800 C09-193 P1000 0.01700 C09-194 num_ret 556.00000 C09-194 num_unjug_ret@1 0.00000 C09-194 num_unjug_ret@10 0.00000 C09-194 num_unjug_ret@100 7.00000 C09-194 num_unjug_ret@1000 514.00000 C09-194 num_rel 47.00000 C09-194 num_rel_ret 1.00000 C09-194 map 0.00032 C09-194 R-prec 0.00000 C09-194 bpref 0.01992 C09-194 recip_rank 0.01515 C09-194 ndcg 0.00844 C09-194 ndcg5 0.00000 C09-194 ndcg10 0.01036 C09-194 ndcg20 0.00966 C09-194 ERR 0.01042 C09-194 ERR10 0.01042 C09-194 ERR20 0.01042 C09-194 P1 0.00000 C09-194 P5 0.00000 C09-194 P10 0.00000 C09-194 P15 0.00000 C09-194 P20 0.00000 C09-194 P30 0.00000 C09-194 P50 0.00000 C09-194 P100 0.01000 C09-194 P200 0.00500 C09-194 P500 0.00200 C09-194 P1000 0.00180 C09-195 num_ret 985.00000 C09-195 num_unjug_ret@1 0.00000 C09-195 num_unjug_ret@10 1.00000 C09-195 num_unjug_ret@100 63.00000 C09-195 num_unjug_ret@1000 906.00000 C09-195 num_rel 24.00000 C09-195 num_rel_ret 3.00000 C09-195 map 0.00216 C09-195 R-prec 0.00000 C09-195 bpref 0.00694 C09-195 recip_rank 0.01587 C09-195 ndcg 0.05626 C09-195 ndcg5 0.00000 C09-195 ndcg10 0.00000 C09-195 ndcg20 0.00000 C09-195 ERR 0.00196 C09-195 ERR10 0.00000 C09-195 ERR20 0.00000 C09-195 P1 0.00000 C09-195 P5 0.00000 C09-195 P10 0.00000 C09-195 P15 0.00000 C09-195 P20 0.00000 C09-195 P30 0.00000 C09-195 P50 0.00000 C09-195 P100 0.02000 C09-195 P200 0.01000 C09-195 P500 0.00600 C09-195 P1000 0.00305 C09-196 num_ret 928.00000 C09-196 num_unjug_ret@1 0.00000 C09-196 num_unjug_ret@10 0.00000 C09-196 num_unjug_ret@100 48.00000 C09-196 num_unjug_ret@1000 873.00000 C09-196 num_rel 122.00000 C09-196 num_rel_ret 37.00000 C09-196 map 0.21251 C09-196 R-prec 0.28689 C09-196 bpref 0.29494 C09-196 recip_rank 1.00000 C09-196 ndcg 0.12918 C09-196 ndcg5 0.06667 C09-196 ndcg10 0.06667 C09-196 ndcg20 0.11461 C09-196 ERR 0.19412 C09-196 ERR10 0.15886 C09-196 ERR20 0.19374 C09-196 P1 1.00000 C09-196 P5 1.00000 C09-196 P10 1.00000 C09-196 P15 0.93333 C09-196 P20 0.85000 C09-196 P30 0.63333 C09-196 P50 0.50000 C09-196 P100 0.32000 C09-196 P200 0.18000 C09-196 P500 0.07400 C09-196 P1000 0.03987 C09-197 num_ret 568.00000 C09-197 num_unjug_ret@1 0.00000 C09-197 num_unjug_ret@10 0.00000 C09-197 num_unjug_ret@100 46.00000 C09-197 num_unjug_ret@1000 525.00000 C09-197 num_rel 113.00000 C09-197 num_rel_ret 19.00000 C09-197 map 0.02099 C09-197 R-prec 0.11504 C09-197 bpref 0.15256 C09-197 recip_rank 0.04348 C09-197 ndcg 0.22309 C09-197 ndcg5 0.21330 C09-197 ndcg10 0.29018 C09-197 ndcg20 0.29389 C09-197 ERR 0.36356 C09-197 ERR10 0.36355 C09-197 ERR20 0.36356 C09-197 P1 0.00000 C09-197 P5 0.00000 C09-197 P10 0.00000 C09-197 P15 0.00000 C09-197 P20 0.00000 C09-197 P30 0.16667 C09-197 P50 0.20000 C09-197 P100 0.13000 C09-197 P200 0.06500 C09-197 P500 0.03200 C09-197 P1000 0.03345 C09-198 num_ret 736.00000 C09-198 num_unjug_ret@1 0.00000 C09-198 num_unjug_ret@10 2.00000 C09-198 num_unjug_ret@100 37.00000 C09-198 num_unjug_ret@1000 663.00000 C09-198 num_rel 58.00000 C09-198 num_rel_ret 31.00000 C09-198 map 0.16931 C09-198 R-prec 0.20690 C09-198 bpref 0.39625 C09-198 recip_rank 1.00000 C09-198 ndcg 0.37816 C09-198 ndcg5 0.36895 C09-198 ndcg10 0.34065 C09-198 ndcg20 0.33457 C09-198 ERR 0.94263 C09-198 ERR10 0.94169 C09-198 ERR20 0.94208 C09-198 P1 1.00000 C09-198 P5 0.80000 C09-198 P10 0.70000 C09-198 P15 0.46667 C09-198 P20 0.45000 C09-198 P30 0.30000 C09-198 P50 0.18000 C09-198 P100 0.16000 C09-198 P200 0.12000 C09-198 P500 0.05600 C09-198 P1000 0.04212 C09-199 num_ret 984.00000 C09-199 num_unjug_ret@1 0.00000 C09-199 num_unjug_ret@10 2.00000 C09-199 num_unjug_ret@100 58.00000 C09-199 num_unjug_ret@1000 905.00000 C09-199 num_rel 194.00000 C09-199 num_rel_ret 20.00000 C09-199 map 0.01017 C09-199 R-prec 0.10309 C09-199 bpref 0.08298 C09-199 recip_rank 0.12500 C09-199 ndcg 0.06304 C09-199 ndcg5 0.00000 C09-199 ndcg10 0.00463 C09-199 ndcg20 0.00334 C09-199 ERR 0.02710 C09-199 ERR10 0.00781 C09-199 ERR20 0.00781 C09-199 P1 0.00000 C09-199 P5 0.00000 C09-199 P10 0.10000 C09-199 P15 0.06667 C09-199 P20 0.05000 C09-199 P30 0.06667 C09-199 P50 0.06000 C09-199 P100 0.07000 C09-199 P200 0.10000 C09-199 P500 0.04000 C09-199 P1000 0.02033 C09-200 num_ret 340.00000 C09-200 num_unjug_ret@1 0.00000 C09-200 num_unjug_ret@10 0.00000 C09-200 num_unjug_ret@100 5.00000 C09-200 num_unjug_ret@1000 305.00000 C09-200 num_rel 26.00000 C09-200 num_rel_ret 4.00000 C09-200 map 0.00508 C09-200 R-prec 0.00000 C09-200 bpref 0.09467 C09-200 recip_rank 0.02564 C09-200 ndcg 0.11737 C09-200 ndcg5 0.00000 C09-200 ndcg10 0.01777 C09-200 ndcg20 0.11549 C09-200 ERR 0.06143 C09-200 ERR10 0.01280 C09-200 ERR20 0.06127 C09-200 P1 0.00000 C09-200 P5 0.00000 C09-200 P10 0.00000 C09-200 P15 0.00000 C09-200 P20 0.00000 C09-200 P30 0.00000 C09-200 P50 0.02000 C09-200 P100 0.03000 C09-200 P200 0.02000 C09-200 P500 0.01176 C09-200 P1000 0.01176 all queries 200.00000 all num_ret 156313.00000 all num_unjug_ret@1 6.00000 all num_unjug_ret@10 238.00000 all num_unjug_ret@100 8846.00000 all num_unjug_ret@1000 143054.00000 all num_rel 18771.00000 all num_rel_ret 3883.00000 all map 0.05091 all R-prec 0.10391 all bpref 0.13722 all recip_rank 0.37484 all ndcg 0.16461 all ndcg5 0.18930 all ndcg10 0.18156 all ndcg20 0.16953 all ERR 0.13297 all ERR10 0.12048 all ERR20 0.12830 all P1 0.28788 all P5 0.24242 all P10 0.22071 all P15 0.20539 all P20 0.20126 all P30 0.17710 all P50 0.14455 all P100 0.10702 all P200 0.06838 all P500 0.03566 all P1000 0.02569