301	num_ret	1000.00000
301	num_unjug_ret@1	0.00000
301	num_unjug_ret@10	0.00000
301	num_unjug_ret@20	0.00000
301	num_unjug_ret@100	12.00000
301	num_unjug_ret@1000	723.00000
301	num_rel	448.00000
301	num_rel_ret	95.00000
301	map	0.06650
301	R-prec	0.15179
301	bpref	0.17295
301	recip_rank	0.33333
301	ndcg	0.23409
301	ndcg5	0.44685
301	ndcg10	0.64105
301	ndcg20	0.58879
301	ERR	0.09612
301	ERR10	0.07630
301	ERR20	0.08713
301	P1	0.00000
301	P5	0.60000
301	P10	0.80000
301	P15	0.66667
301	P20	0.65000
301	P30	0.50000
301	P50	0.52000
301	P100	0.35000
301	P200	0.23500
301	P500	0.14400
301	P1000	0.09500
302	num_ret	1000.00000
302	num_unjug_ret@1	0.00000
302	num_unjug_ret@10	0.00000
302	num_unjug_ret@20	0.00000
302	num_unjug_ret@100	1.00000
302	num_unjug_ret@1000	827.00000
302	num_rel	65.00000
302	num_rel_ret	63.00000
302	map	0.59274
302	R-prec	0.56923
302	bpref	0.59669
302	recip_rank	1.00000
302	ndcg	0.86362
302	ndcg5	0.69921
302	ndcg10	0.72641
302	ndcg20	0.71813
302	ERR	0.15485
302	ERR10	0.12819
302	ERR20	0.14433
302	P1	1.00000
302	P5	0.60000
302	P10	0.70000
302	P15	0.66667
302	P20	0.70000
302	P30	0.63333
302	P50	0.64000
302	P100	0.52000
302	P200	0.31500
302	P500	0.12600
302	P1000	0.06300
303	num_ret	1000.00000
303	num_unjug_ret@1	0.00000
303	num_unjug_ret@10	0.00000
303	num_unjug_ret@20	0.00000
303	num_unjug_ret@100	0.00000
303	num_unjug_ret@1000	752.00000
303	num_rel	10.00000
303	num_rel_ret	10.00000
303	map	0.23028
303	R-prec	0.20000
303	bpref	0.14000
303	recip_rank	1.00000
303	ndcg	0.60916
303	ndcg5	0.33916
303	ndcg10	0.28952
303	ndcg20	0.34045
303	ERR	0.07866
303	ERR10	0.06982
303	ERR20	0.07272
303	P1	1.00000
303	P5	0.20000
303	P10	0.20000
303	P15	0.13333
303	P20	0.15000
303	P30	0.10000
303	P50	0.12000
303	P100	0.10000
303	P200	0.05000
303	P500	0.02000
303	P1000	0.01000
304	num_ret	1000.00000
304	num_unjug_ret@1	0.00000
304	num_unjug_ret@10	0.00000
304	num_unjug_ret@20	0.00000
304	num_unjug_ret@100	4.00000
304	num_unjug_ret@1000	512.00000
304	num_rel	196.00000
304	num_rel_ret	108.00000
304	map	0.08660
304	R-prec	0.16837
304	bpref	0.11560
304	recip_rank	1.00000
304	ndcg	0.43327
304	ndcg5	0.48523
304	ndcg10	0.37850
304	ndcg20	0.34958
304	ERR	0.10128
304	ERR10	0.08264
304	ERR20	0.09205
304	P1	1.00000
304	P5	0.40000
304	P10	0.30000
304	P15	0.33333
304	P20	0.30000
304	P30	0.20000
304	P50	0.24000
304	P100	0.19000
304	P200	0.17000
304	P500	0.11400
304	P1000	0.10800
305	num_ret	1000.00000
305	num_unjug_ret@1	0.00000
305	num_unjug_ret@10	3.00000
305	num_unjug_ret@20	10.00000
305	num_unjug_ret@100	61.00000
305	num_unjug_ret@1000	656.00000
305	num_rel	35.00000
305	num_rel_ret	2.00000
305	map	0.01447
305	R-prec	0.02857
305	bpref	0.02776
305	recip_rank	0.50000
305	ndcg	0.07406
305	ndcg5	0.21399
305	ndcg10	0.13886
305	ndcg20	0.08962
305	ERR	0.03144
305	ERR10	0.03125
305	ERR20	0.03125
305	P1	0.00000
305	P5	0.20000
305	P10	0.10000
305	P15	0.06667
305	P20	0.05000
305	P30	0.03333
305	P50	0.02000
305	P100	0.01000
305	P200	0.00500
305	P500	0.00400
305	P1000	0.00200
306	num_ret	1000.00000
306	num_unjug_ret@1	0.00000
306	num_unjug_ret@10	0.00000
306	num_unjug_ret@20	1.00000
306	num_unjug_ret@100	22.00000
306	num_unjug_ret@1000	685.00000
306	num_rel	332.00000
306	num_rel_ret	121.00000
306	map	0.08115
306	R-prec	0.17771
306	bpref	0.24752
306	recip_rank	0.33333
306	ndcg	0.33210
306	ndcg5	0.31565
306	ndcg10	0.34763
306	ndcg20	0.37277
306	ERR	0.07497
306	ERR10	0.04977
306	ERR20	0.06330
306	P1	0.00000
306	P5	0.40000
306	P10	0.40000
306	P15	0.46667
306	P20	0.40000
306	P30	0.33333
306	P50	0.34000
306	P100	0.29000
306	P200	0.22500
306	P500	0.16000
306	P1000	0.12100
307	num_ret	1000.00000
307	num_unjug_ret@1	0.00000
307	num_unjug_ret@10	0.00000
307	num_unjug_ret@20	0.00000
307	num_unjug_ret@100	2.00000
307	num_unjug_ret@1000	575.00000
307	num_rel	210.00000
307	num_rel_ret	171.00000
307	map	0.26436
307	R-prec	0.32381
307	bpref	0.29422
307	recip_rank	1.00000
307	ndcg	0.68857
307	ndcg5	0.86879
307	ndcg10	0.76309
307	ndcg20	0.60396
307	ERR	0.15840
307	ERR10	0.13829
307	ERR20	0.14690
307	P1	1.00000
307	P5	0.80000
307	P10	0.70000
307	P15	0.66667
307	P20	0.50000
307	P30	0.40000
307	P50	0.46000
307	P100	0.38000
307	P200	0.34000
307	P500	0.24000
307	P1000	0.17100
308	num_ret	1000.00000
308	num_unjug_ret@1	0.00000
308	num_unjug_ret@10	0.00000
308	num_unjug_ret@20	0.00000
308	num_unjug_ret@100	2.00000
308	num_unjug_ret@1000	662.00000
308	num_rel	4.00000
308	num_rel_ret	4.00000
308	map	0.61250
308	R-prec	0.75000
308	bpref	0.62500
308	recip_rank	1.00000
308	ndcg	0.81012
308	ndcg5	0.75370
308	ndcg10	0.75370
308	ndcg20	0.75370
308	ERR	0.09619
308	ERR10	0.09576
308	ERR20	0.09576
308	P1	1.00000
308	P5	0.60000
308	P10	0.30000
308	P15	0.20000
308	P20	0.15000
308	P30	0.10000
308	P50	0.06000
308	P100	0.03000
308	P200	0.02000
308	P500	0.00800
308	P1000	0.00400
309	num_ret	1000.00000
309	num_unjug_ret@1	0.00000
309	num_unjug_ret@10	0.00000
309	num_unjug_ret@20	0.00000
309	num_unjug_ret@100	5.00000
309	num_unjug_ret@1000	579.00000
309	num_rel	3.00000
309	num_rel_ret	1.00000
309	map	0.00126
309	R-prec	0.00000
309	bpref	0.00000
309	recip_rank	0.00377
309	ndcg	0.05826
309	ndcg5	0.00000
309	ndcg10	0.00000
309	ndcg20	0.00000
309	ERR	0.00024
309	ERR10	0.00000
309	ERR20	0.00000
309	P1	0.00000
309	P5	0.00000
309	P10	0.00000
309	P15	0.00000
309	P20	0.00000
309	P30	0.00000
309	P50	0.00000
309	P100	0.00000
309	P200	0.00000
309	P500	0.00200
309	P1000	0.00100
310	num_ret	1000.00000
310	num_unjug_ret@1	0.00000
310	num_unjug_ret@10	0.00000
310	num_unjug_ret@20	0.00000
310	num_unjug_ret@100	14.00000
310	num_unjug_ret@1000	737.00000
310	num_rel	13.00000
310	num_rel_ret	6.00000
310	map	0.09546
310	R-prec	0.07692
310	bpref	0.07692
310	recip_rank	1.00000
310	ndcg	0.33665
310	ndcg5	0.33916
310	ndcg10	0.22009
310	ndcg20	0.18673
310	ERR	0.06676
310	ERR10	0.06250
310	ERR20	0.06250
310	P1	1.00000
310	P5	0.20000
310	P10	0.10000
310	P15	0.06667
310	P20	0.05000
310	P30	0.06667
310	P50	0.04000
310	P100	0.05000
310	P200	0.02500
310	P500	0.01200
310	P1000	0.00600
311	num_ret	1000.00000
311	num_unjug_ret@1	0.00000
311	num_unjug_ret@10	0.00000
311	num_unjug_ret@20	0.00000
311	num_unjug_ret@100	0.00000
311	num_unjug_ret@1000	699.00000
311	num_rel	182.00000
311	num_rel_ret	141.00000
311	map	0.66177
311	R-prec	0.68681
311	bpref	0.70390
311	recip_rank	1.00000
311	ndcg	0.80119
311	ndcg5	0.86879
311	ndcg10	0.91486
311	ndcg20	0.94505
311	ERR	0.17855
311	ERR10	0.15095
311	ERR20	0.16937
311	P1	1.00000
311	P5	0.80000
311	P10	0.90000
311	P15	0.93333
311	P20	0.95000
311	P30	0.96667
311	P50	0.92000
311	P100	0.88000
311	P200	0.64000
311	P500	0.28000
311	P1000	0.14100
312	num_ret	1000.00000
312	num_unjug_ret@1	0.00000
312	num_unjug_ret@10	0.00000
312	num_unjug_ret@20	1.00000
312	num_unjug_ret@100	29.00000
312	num_unjug_ret@1000	767.00000
312	num_rel	11.00000
312	num_rel_ret	9.00000
312	map	0.38227
312	R-prec	0.45455
312	bpref	0.36364
312	recip_rank	1.00000
312	ndcg	0.68141
312	ndcg5	0.65481
312	ndcg10	0.49829
312	ndcg20	0.52731
312	ERR	0.11231
312	ERR10	0.10312
312	ERR20	0.10751
312	P1	1.00000
312	P5	0.60000
312	P10	0.40000
312	P15	0.33333
312	P20	0.25000
312	P30	0.23333
312	P50	0.14000
312	P100	0.08000
312	P200	0.04500
312	P500	0.01800
312	P1000	0.00900
313	num_ret	1000.00000
313	num_unjug_ret@1	0.00000
313	num_unjug_ret@10	0.00000
313	num_unjug_ret@20	0.00000
313	num_unjug_ret@100	6.00000
313	num_unjug_ret@1000	696.00000
313	num_rel	93.00000
313	num_rel_ret	87.00000
313	map	0.79544
313	R-prec	0.82796
313	bpref	0.80298
313	recip_rank	1.00000
313	ndcg	0.92173
313	ndcg5	1.00000
313	ndcg10	1.00000
313	ndcg20	1.00000
313	ERR	0.18415
313	ERR10	0.15886
313	ERR20	0.17613
313	P1	1.00000
313	P5	1.00000
313	P10	1.00000
313	P15	1.00000
313	P20	1.00000
313	P30	0.93333
313	P50	0.88000
313	P100	0.77000
313	P200	0.39500
313	P500	0.17000
313	P1000	0.08700
314	num_ret	1000.00000
314	num_unjug_ret@1	0.00000
314	num_unjug_ret@10	1.00000
314	num_unjug_ret@20	3.00000
314	num_unjug_ret@100	55.00000
314	num_unjug_ret@1000	814.00000
314	num_rel	44.00000
314	num_rel_ret	2.00000
314	map	0.00008
314	R-prec	0.00000
314	bpref	0.00000
314	recip_rank	0.00124
314	ndcg	0.01739
314	ndcg5	0.00000
314	ndcg10	0.00000
314	ndcg20	0.00000
314	ERR	0.00014
314	ERR10	0.00000
314	ERR20	0.00000
314	P1	0.00000
314	P5	0.00000
314	P10	0.00000
314	P15	0.00000
314	P20	0.00000
314	P30	0.00000
314	P50	0.00000
314	P100	0.00000
314	P200	0.00000
314	P500	0.00000
314	P1000	0.00200
315	num_ret	1000.00000
315	num_unjug_ret@1	0.00000
315	num_unjug_ret@10	5.00000
315	num_unjug_ret@20	13.00000
315	num_unjug_ret@100	87.00000
315	num_unjug_ret@1000	633.00000
315	num_rel	67.00000
315	num_rel_ret	30.00000
315	map	0.01351
315	R-prec	0.01493
315	bpref	0.02695
315	recip_rank	0.04000
315	ndcg	0.22165
315	ndcg5	0.00000
315	ndcg10	0.00000
315	ndcg20	0.00000
315	ERR	0.00471
315	ERR10	0.00000
315	ERR20	0.00000
315	P1	0.00000
315	P5	0.00000
315	P10	0.00000
315	P15	0.00000
315	P20	0.00000
315	P30	0.03333
315	P50	0.02000
315	P100	0.01000
315	P200	0.01000
315	P500	0.03000
315	P1000	0.03000
316	num_ret	1000.00000
316	num_unjug_ret@1	0.00000
316	num_unjug_ret@10	0.00000
316	num_unjug_ret@20	0.00000
316	num_unjug_ret@100	48.00000
316	num_unjug_ret@1000	859.00000
316	num_rel	34.00000
316	num_rel_ret	27.00000
316	map	0.66416
316	R-prec	0.73529
316	bpref	0.69291
316	recip_rank	1.00000
316	ndcg	0.81538
316	ndcg5	1.00000
316	ndcg10	0.92160
316	ndcg20	0.91465
316	ERR	0.17416
316	ERR10	0.15256
316	ERR20	0.16971
316	P1	1.00000
316	P5	1.00000
316	P10	0.90000
316	P15	0.93333
316	P20	0.90000
316	P30	0.80000
316	P50	0.50000
316	P100	0.25000
316	P200	0.12500
316	P500	0.05000
316	P1000	0.02700
317	num_ret	1000.00000
317	num_unjug_ret@1	0.00000
317	num_unjug_ret@10	1.00000
317	num_unjug_ret@20	1.00000
317	num_unjug_ret@100	25.00000
317	num_unjug_ret@1000	870.00000
317	num_rel	14.00000
317	num_rel_ret	13.00000
317	map	0.30375
317	R-prec	0.28571
317	bpref	0.25000
317	recip_rank	1.00000
317	ndcg	0.66933
317	ndcg5	0.61643
317	ndcg10	0.47339
317	ndcg20	0.38331
317	ERR	0.10416
317	ERR10	0.09549
317	ERR20	0.09549
317	P1	1.00000
317	P5	0.60000
317	P10	0.40000
317	P15	0.26667
317	P20	0.20000
317	P30	0.23333
317	P50	0.18000
317	P100	0.11000
317	P200	0.06500
317	P500	0.02600
317	P1000	0.01300
318	num_ret	1000.00000
318	num_unjug_ret@1	0.00000
318	num_unjug_ret@10	0.00000
318	num_unjug_ret@20	1.00000
318	num_unjug_ret@100	20.00000
318	num_unjug_ret@1000	716.00000
318	num_rel	113.00000
318	num_rel_ret	12.00000
318	map	0.01293
318	R-prec	0.03540
318	bpref	0.03289
318	recip_rank	0.33333
318	ndcg	0.10430
318	ndcg5	0.31565
318	ndcg10	0.20483
318	ndcg20	0.17058
318	ERR	0.04332
318	ERR10	0.03548
318	ERR20	0.04006
318	P1	0.00000
318	P5	0.40000
318	P10	0.20000
318	P15	0.20000
318	P20	0.15000
318	P30	0.13333
318	P50	0.08000
318	P100	0.04000
318	P200	0.02500
318	P500	0.02200
318	P1000	0.01200
319	num_ret	1000.00000
319	num_unjug_ret@1	0.00000
319	num_unjug_ret@10	0.00000
319	num_unjug_ret@20	0.00000
319	num_unjug_ret@100	13.00000
319	num_unjug_ret@1000	530.00000
319	num_rel	170.00000
319	num_rel_ret	80.00000
319	map	0.06933
319	R-prec	0.15294
319	bpref	0.11505
319	recip_rank	0.33333
319	ndcg	0.36641
319	ndcg5	0.31565
319	ndcg10	0.27820
319	ndcg20	0.32772
319	ERR	0.06564
319	ERR10	0.04333
319	ERR20	0.05775
319	P1	0.00000
319	P5	0.40000
319	P10	0.30000
319	P15	0.40000
319	P20	0.35000
319	P30	0.26667
319	P50	0.20000
319	P100	0.17000
319	P200	0.13000
319	P500	0.10200
319	P1000	0.08000
320	num_ret	1000.00000
320	num_unjug_ret@1	0.00000
320	num_unjug_ret@10	0.00000
320	num_unjug_ret@20	0.00000
320	num_unjug_ret@100	1.00000
320	num_unjug_ret@1000	583.00000
320	num_rel	6.00000
320	num_rel_ret	6.00000
320	map	0.06185
320	R-prec	0.00000
320	bpref	0.00000
320	recip_rank	0.10000
320	ndcg	0.33709
320	ndcg5	0.00000
320	ndcg10	0.08747
320	ndcg20	0.08747
320	ERR	0.01068
320	ERR10	0.00625
320	ERR20	0.00625
320	P1	0.00000
320	P5	0.00000
320	P10	0.10000
320	P15	0.06667
320	P20	0.05000
320	P30	0.03333
320	P50	0.06000
320	P100	0.05000
320	P200	0.03000
320	P500	0.01200
320	P1000	0.00600
321	num_ret	1000.00000
321	num_unjug_ret@1	0.00000
321	num_unjug_ret@10	0.00000
321	num_unjug_ret@20	0.00000
321	num_unjug_ret@100	15.00000
321	num_unjug_ret@1000	635.00000
321	num_rel	203.00000
321	num_rel_ret	113.00000
321	map	0.24922
321	R-prec	0.34483
321	bpref	0.34509
321	recip_rank	1.00000
321	ndcg	0.55174
321	ndcg5	1.00000
321	ndcg10	0.86695
321	ndcg20	0.73864
321	ERR	0.17362
321	ERR10	0.15066
321	ERR20	0.16216
321	P1	1.00000
321	P5	1.00000
321	P10	0.80000
321	P15	0.73333
321	P20	0.65000
321	P30	0.63333
321	P50	0.60000
321	P100	0.46000
321	P200	0.35000
321	P500	0.19200
321	P1000	0.11300
322	num_ret	1000.00000
322	num_unjug_ret@1	0.00000
322	num_unjug_ret@10	0.00000
322	num_unjug_ret@20	2.00000
322	num_unjug_ret@100	28.00000
322	num_unjug_ret@1000	689.00000
322	num_rel	34.00000
322	num_rel_ret	8.00000
322	map	0.00450
322	R-prec	0.02941
322	bpref	0.01990
322	recip_rank	0.08333
322	ndcg	0.10719
322	ndcg5	0.00000
322	ndcg10	0.00000
322	ndcg20	0.03838
322	ERR	0.00613
322	ERR10	0.00000
322	ERR20	0.00521
322	P1	0.00000
322	P5	0.00000
322	P10	0.00000
322	P15	0.06667
322	P20	0.05000
322	P30	0.03333
322	P50	0.02000
322	P100	0.01000
322	P200	0.00500
322	P500	0.00800
322	P1000	0.00800
323	num_ret	1000.00000
323	num_unjug_ret@1	0.00000
323	num_unjug_ret@10	0.00000
323	num_unjug_ret@20	0.00000
323	num_unjug_ret@100	13.00000
323	num_unjug_ret@1000	674.00000
323	num_rel	61.00000
323	num_rel_ret	27.00000
323	map	0.28239
323	R-prec	0.39344
323	bpref	0.33862
323	recip_rank	1.00000
323	ndcg	0.50818
323	ndcg5	0.83042
323	ndcg10	0.82370
323	ndcg20	0.77779
323	ERR	0.15915
323	ERR10	0.13962
323	ERR20	0.15410
323	P1	1.00000
323	P5	0.80000
323	P10	0.80000
323	P15	0.80000
323	P20	0.75000
323	P30	0.60000
323	P50	0.46000
323	P100	0.24000
323	P200	0.12000
323	P500	0.04800
323	P1000	0.02700
324	num_ret	1000.00000
324	num_unjug_ret@1	0.00000
324	num_unjug_ret@10	0.00000
324	num_unjug_ret@20	0.00000
324	num_unjug_ret@100	12.00000
324	num_unjug_ret@1000	600.00000
324	num_rel	161.00000
324	num_rel_ret	141.00000
324	map	0.47348
324	R-prec	0.47205
324	bpref	0.53729
324	recip_rank	1.00000
324	ndcg	0.80574
324	ndcg5	1.00000
324	ndcg10	0.93375
324	ndcg20	0.85036
324	ERR	0.17918
324	ERR10	0.15495
324	ERR20	0.16887
324	P1	1.00000
324	P5	1.00000
324	P10	0.90000
324	P15	0.80000
324	P20	0.80000
324	P30	0.83333
324	P50	0.72000
324	P100	0.57000
324	P200	0.45000
324	P500	0.25200
324	P1000	0.14100
325	num_ret	1000.00000
325	num_unjug_ret@1	0.00000
325	num_unjug_ret@10	0.00000
325	num_unjug_ret@20	6.00000
325	num_unjug_ret@100	79.00000
325	num_unjug_ret@1000	918.00000
325	num_rel	24.00000
325	num_rel_ret	5.00000
325	map	0.00090
325	R-prec	0.00000
325	bpref	0.00000
325	recip_rank	0.00385
325	ndcg	0.06858
325	ndcg5	0.00000
325	ndcg10	0.00000
325	ndcg20	0.00000
325	ERR	0.00053
325	ERR10	0.00000
325	ERR20	0.00000
325	P1	0.00000
325	P5	0.00000
325	P10	0.00000
325	P15	0.00000
325	P20	0.00000
325	P30	0.00000
325	P50	0.00000
325	P100	0.00000
325	P200	0.00000
325	P500	0.00200
325	P1000	0.00500
326	num_ret	1000.00000
326	num_unjug_ret@1	0.00000
326	num_unjug_ret@10	0.00000
326	num_unjug_ret@20	0.00000
326	num_unjug_ret@100	3.00000
326	num_unjug_ret@1000	621.00000
326	num_rel	46.00000
326	num_rel_ret	44.00000
326	map	0.70649
326	R-prec	0.69565
326	bpref	0.68667
326	recip_rank	1.00000
326	ndcg	0.90427
326	ndcg5	1.00000
326	ndcg10	0.93375
326	ndcg20	0.92318
326	ERR	0.17938
326	ERR10	0.15495
326	ERR20	0.17219
326	P1	1.00000
326	P5	1.00000
326	P10	0.90000
326	P15	0.93333
326	P20	0.90000
326	P30	0.83333
326	P50	0.66000
326	P100	0.38000
326	P200	0.20000
326	P500	0.08600
326	P1000	0.04400
327	num_ret	1000.00000
327	num_unjug_ret@1	0.00000
327	num_unjug_ret@10	0.00000
327	num_unjug_ret@20	0.00000
327	num_unjug_ret@100	4.00000
327	num_unjug_ret@1000	675.00000
327	num_rel	11.00000
327	num_rel_ret	11.00000
327	map	0.11099
327	R-prec	0.18182
327	bpref	0.08264
327	recip_rank	0.25000
327	ndcg	0.45108
327	ndcg5	0.14607
327	ndcg10	0.09479
327	ndcg20	0.14715
327	ERR	0.02780
327	ERR10	0.01563
327	ERR20	0.02095
327	P1	0.00000
327	P5	0.20000
327	P10	0.10000
327	P15	0.13333
327	P20	0.10000
327	P30	0.10000
327	P50	0.08000
327	P100	0.08000
327	P200	0.05000
327	P500	0.02200
327	P1000	0.01100
328	num_ret	1000.00000
328	num_unjug_ret@1	0.00000
328	num_unjug_ret@10	0.00000
328	num_unjug_ret@20	2.00000
328	num_unjug_ret@100	71.00000
328	num_unjug_ret@1000	717.00000
328	num_rel	8.00000
328	num_rel_ret	8.00000
328	map	0.71954
328	R-prec	0.75000
328	bpref	0.76563
328	recip_rank	1.00000
328	ndcg	0.87385
328	ndcg5	0.78601
328	ndcg10	0.83676
328	ndcg20	0.83676
328	ERR	0.12565
328	ERR10	0.12529
328	ERR20	0.12529
328	P1	1.00000
328	P5	0.80000
328	P10	0.70000
328	P15	0.46667
328	P20	0.35000
328	P30	0.23333
328	P50	0.14000
328	P100	0.07000
328	P200	0.04000
328	P500	0.01600
328	P1000	0.00800
329	num_ret	1000.00000
329	num_unjug_ret@1	0.00000
329	num_unjug_ret@10	1.00000
329	num_unjug_ret@20	4.00000
329	num_unjug_ret@100	21.00000
329	num_unjug_ret@1000	742.00000
329	num_rel	35.00000
329	num_rel_ret	17.00000
329	map	0.04463
329	R-prec	0.11429
329	bpref	0.07592
329	recip_rank	0.50000
329	ndcg	0.29568
329	ndcg5	0.21399
329	ndcg10	0.13886
329	ndcg20	0.12196
329	ERR	0.04188
329	ERR10	0.03125
329	ERR20	0.03418
329	P1	0.00000
329	P5	0.20000
329	P10	0.10000
329	P15	0.06667
329	P20	0.10000
329	P30	0.13333
329	P50	0.08000
329	P100	0.07000
329	P200	0.04000
329	P500	0.03000
329	P1000	0.01700
330	num_ret	1000.00000
330	num_unjug_ret@1	0.00000
330	num_unjug_ret@10	0.00000
330	num_unjug_ret@20	0.00000
330	num_unjug_ret@100	5.00000
330	num_unjug_ret@1000	486.00000
330	num_rel	60.00000
330	num_rel_ret	53.00000
330	map	0.19213
330	R-prec	0.23333
330	bpref	0.17889
330	recip_rank	1.00000
330	ndcg	0.63402
330	ndcg5	0.48523
330	ndcg10	0.60233
330	ndcg20	0.45947
330	ERR	0.11820
330	ERR10	0.10472
330	ERR20	0.11020
330	P1	1.00000
330	P5	0.40000
330	P10	0.60000
330	P15	0.46667
330	P20	0.40000
330	P30	0.30000
330	P50	0.22000
330	P100	0.21000
330	P200	0.14000
330	P500	0.08400
330	P1000	0.05300
331	num_ret	1000.00000
331	num_unjug_ret@1	0.00000
331	num_unjug_ret@10	0.00000
331	num_unjug_ret@20	0.00000
331	num_unjug_ret@100	18.00000
331	num_unjug_ret@1000	609.00000
331	num_rel	213.00000
331	num_rel_ret	144.00000
331	map	0.31385
331	R-prec	0.35211
331	bpref	0.40808
331	recip_rank	1.00000
331	ndcg	0.64657
331	ndcg5	1.00000
331	ndcg10	1.00000
331	ndcg20	0.96766
331	ERR	0.18205
331	ERR10	0.15886
331	ERR20	0.17521
331	P1	1.00000
331	P5	1.00000
331	P10	1.00000
331	P15	1.00000
331	P20	0.95000
331	P30	0.80000
331	P50	0.64000
331	P100	0.49000
331	P200	0.37000
331	P500	0.23600
331	P1000	0.14400
332	num_ret	1000.00000
332	num_unjug_ret@1	0.00000
332	num_unjug_ret@10	0.00000
332	num_unjug_ret@20	0.00000
332	num_unjug_ret@100	13.00000
332	num_unjug_ret@1000	605.00000
332	num_rel	254.00000
332	num_rel_ret	69.00000
332	map	0.02315
332	R-prec	0.10236
332	bpref	0.07871
332	recip_rank	0.05882
332	ndcg	0.20581
332	ndcg5	0.00000
332	ndcg10	0.00000
332	ndcg20	0.03406
332	ERR	0.01366
332	ERR10	0.00000
332	ERR20	0.00368
332	P1	0.00000
332	P5	0.00000
332	P10	0.00000
332	P15	0.00000
332	P20	0.05000
332	P30	0.06667
332	P50	0.04000
332	P100	0.10000
332	P200	0.09500
332	P500	0.08400
332	P1000	0.06900
333	num_ret	1000.00000
333	num_unjug_ret@1	0.00000
333	num_unjug_ret@10	0.00000
333	num_unjug_ret@20	0.00000
333	num_unjug_ret@100	0.00000
333	num_unjug_ret@1000	561.00000
333	num_rel	65.00000
333	num_rel_ret	65.00000
333	map	0.51526
333	R-prec	0.47692
333	bpref	0.46130
333	recip_rank	1.00000
333	ndcg	0.86525
333	ndcg5	1.00000
333	ndcg10	0.92664
333	ndcg20	0.85084
333	ERR	0.17588
333	ERR10	0.15364
333	ERR20	0.16833
333	P1	1.00000
333	P5	1.00000
333	P10	0.90000
333	P15	0.86667
333	P20	0.80000
333	P30	0.66667
333	P50	0.50000
333	P100	0.42000
333	P200	0.26500
333	P500	0.11800
333	P1000	0.06500
334	num_ret	1000.00000
334	num_unjug_ret@1	0.00000
334	num_unjug_ret@10	1.00000
334	num_unjug_ret@20	4.00000
334	num_unjug_ret@100	17.00000
334	num_unjug_ret@1000	698.00000
334	num_rel	9.00000
334	num_rel_ret	5.00000
334	map	0.31089
334	R-prec	0.33333
334	bpref	0.32099
334	recip_rank	1.00000
334	ndcg	0.54519
334	ndcg5	0.69921
334	ndcg10	0.48457
334	ndcg20	0.48457
334	ERR	0.10612
334	ERR10	0.10553
334	ERR20	0.10553
334	P1	1.00000
334	P5	0.60000
334	P10	0.30000
334	P15	0.20000
334	P20	0.15000
334	P30	0.10000
334	P50	0.06000
334	P100	0.04000
334	P200	0.02000
334	P500	0.00800
334	P1000	0.00500
335	num_ret	1000.00000
335	num_unjug_ret@1	0.00000
335	num_unjug_ret@10	0.00000
335	num_unjug_ret@20	0.00000
335	num_unjug_ret@100	4.00000
335	num_unjug_ret@1000	658.00000
335	num_rel	66.00000
335	num_rel_ret	53.00000
335	map	0.38805
335	R-prec	0.45455
335	bpref	0.41965
335	recip_rank	1.00000
335	ndcg	0.70840
335	ndcg5	0.63995
335	ndcg10	0.76635
335	ndcg20	0.70967
335	ERR	0.14603
335	ERR10	0.12285
335	ERR20	0.13634
335	P1	1.00000
335	P5	0.60000
335	P10	0.80000
335	P15	0.80000
335	P20	0.70000
335	P30	0.73333
335	P50	0.52000
335	P100	0.36000
335	P200	0.19500
335	P500	0.09200
335	P1000	0.05300
336	num_ret	1000.00000
336	num_unjug_ret@1	0.00000
336	num_unjug_ret@10	0.00000
336	num_unjug_ret@20	0.00000
336	num_unjug_ret@100	2.00000
336	num_unjug_ret@1000	622.00000
336	num_rel	12.00000
336	num_rel_ret	10.00000
336	map	0.10490
336	R-prec	0.08333
336	bpref	0.08333
336	recip_rank	1.00000
336	ndcg	0.43399
336	ndcg5	0.33916
336	ndcg10	0.22009
336	ndcg20	0.19636
336	ERR	0.06580
336	ERR10	0.06250
336	ERR20	0.06250
336	P1	1.00000
336	P5	0.20000
336	P10	0.10000
336	P15	0.06667
336	P20	0.05000
336	P30	0.03333
336	P50	0.04000
336	P100	0.03000
336	P200	0.03000
336	P500	0.01800
336	P1000	0.01000
337	num_ret	1000.00000
337	num_unjug_ret@1	0.00000
337	num_unjug_ret@10	0.00000
337	num_unjug_ret@20	0.00000
337	num_unjug_ret@100	0.00000
337	num_unjug_ret@1000	597.00000
337	num_rel	93.00000
337	num_rel_ret	92.00000
337	map	0.32858
337	R-prec	0.36559
337	bpref	0.28385
337	recip_rank	1.00000
337	ndcg	0.76778
337	ndcg5	0.63995
337	ndcg10	0.48864
337	ndcg20	0.48789
337	ERR	0.12525
337	ERR10	0.10037
337	ERR20	0.11373
337	P1	1.00000
337	P5	0.60000
337	P10	0.40000
337	P15	0.40000
337	P20	0.45000
337	P30	0.40000
337	P50	0.34000
337	P100	0.36000
337	P200	0.29000
337	P500	0.17400
337	P1000	0.09200
338	num_ret	1000.00000
338	num_unjug_ret@1	0.00000
338	num_unjug_ret@10	0.00000
338	num_unjug_ret@20	0.00000
338	num_unjug_ret@100	1.00000
338	num_unjug_ret@1000	796.00000
338	num_rel	4.00000
338	num_rel_ret	4.00000
338	map	0.51521
338	R-prec	0.50000
338	bpref	0.50000
338	recip_rank	1.00000
338	ndcg	0.75077
338	ndcg5	0.63668
338	ndcg10	0.63668
338	ndcg20	0.63668
338	ERR	0.09279
338	ERR10	0.09180
338	ERR20	0.09180
338	P1	1.00000
338	P5	0.40000
338	P10	0.20000
338	P15	0.13333
338	P20	0.10000
338	P30	0.06667
338	P50	0.04000
338	P100	0.03000
338	P200	0.02000
338	P500	0.00800
338	P1000	0.00400
339	num_ret	1000.00000
339	num_unjug_ret@1	0.00000
339	num_unjug_ret@10	0.00000
339	num_unjug_ret@20	0.00000
339	num_unjug_ret@100	1.00000
339	num_unjug_ret@1000	594.00000
339	num_rel	10.00000
339	num_rel_ret	10.00000
339	map	0.29982
339	R-prec	0.30000
339	bpref	0.29000
339	recip_rank	0.33333
339	ndcg	0.60117
339	ndcg5	0.31565
339	ndcg10	0.28323
339	ndcg20	0.45688
339	ERR	0.05880
339	ERR10	0.04464
339	ERR20	0.05600
339	P1	0.00000
339	P5	0.40000
339	P10	0.30000
339	P15	0.33333
339	P20	0.30000
339	P30	0.23333
339	P50	0.14000
339	P100	0.08000
339	P200	0.05000
339	P500	0.02000
339	P1000	0.01000
340	num_ret	1000.00000
340	num_unjug_ret@1	0.00000
340	num_unjug_ret@10	0.00000
340	num_unjug_ret@20	0.00000
340	num_unjug_ret@100	15.00000
340	num_unjug_ret@1000	699.00000
340	num_rel	69.00000
340	num_rel_ret	49.00000
340	map	0.24563
340	R-prec	0.26087
340	bpref	0.23777
340	recip_rank	1.00000
340	ndcg	0.61728
340	ndcg5	1.00000
340	ndcg10	0.87012
340	ndcg20	0.66514
340	ERR	0.16496
340	ERR10	0.15122
340	ERR20	0.15780
340	P1	1.00000
340	P5	1.00000
340	P10	0.80000
340	P15	0.60000
340	P20	0.55000
340	P30	0.43333
340	P50	0.34000
340	P100	0.23000
340	P200	0.15500
340	P500	0.08200
340	P1000	0.04900
341	num_ret	1000.00000
341	num_unjug_ret@1	0.00000
341	num_unjug_ret@10	0.00000
341	num_unjug_ret@20	1.00000
341	num_unjug_ret@100	24.00000
341	num_unjug_ret@1000	703.00000
341	num_rel	78.00000
341	num_rel_ret	57.00000
341	map	0.32741
341	R-prec	0.37179
341	bpref	0.37442
341	recip_rank	1.00000
341	ndcg	0.67040
341	ndcg5	0.86879
341	ndcg10	0.91486
341	ndcg20	0.73714
341	ERR	0.16956
341	ERR10	0.15095
341	ERR20	0.16044
341	P1	1.00000
341	P5	0.80000
341	P10	0.90000
341	P15	0.80000
341	P20	0.65000
341	P30	0.60000
341	P50	0.48000
341	P100	0.31000
341	P200	0.22000
341	P500	0.10000
341	P1000	0.05700
342	num_ret	1000.00000
342	num_unjug_ret@1	0.00000
342	num_unjug_ret@10	0.00000
342	num_unjug_ret@20	1.00000
342	num_unjug_ret@100	35.00000
342	num_unjug_ret@1000	860.00000
342	num_rel	20.00000
342	num_rel_ret	10.00000
342	map	0.08748
342	R-prec	0.25000
342	bpref	0.14500
342	recip_rank	0.33333
342	ndcg	0.32702
342	ndcg5	0.31565
342	ndcg10	0.20483
342	ndcg20	0.23495
342	ERR	0.04623
342	ERR10	0.03548
342	ERR20	0.04485
342	P1	0.00000
342	P5	0.40000
342	P10	0.20000
342	P15	0.20000
342	P20	0.25000
342	P30	0.16667
342	P50	0.10000
342	P100	0.06000
342	P200	0.03000
342	P500	0.01600
342	P1000	0.01000
343	num_ret	1000.00000
343	num_unjug_ret@1	0.00000
343	num_unjug_ret@10	6.00000
343	num_unjug_ret@20	8.00000
343	num_unjug_ret@100	50.00000
343	num_unjug_ret@1000	775.00000
343	num_rel	258.00000
343	num_rel_ret	50.00000
343	map	0.01940
343	R-prec	0.09302
343	bpref	0.13204
343	recip_rank	0.09091
343	ndcg	0.16423
343	ndcg5	0.00000
343	ndcg10	0.00000
343	ndcg20	0.14879
343	ERR	0.02657
343	ERR10	0.00000
343	ERR20	0.01755
343	P1	0.00000
343	P5	0.00000
343	P10	0.00000
343	P15	0.26667
343	P20	0.20000
343	P30	0.16667
343	P50	0.18000
343	P100	0.12000
343	P200	0.10500
343	P500	0.06600
343	P1000	0.05000
344	num_ret	1000.00000
344	num_unjug_ret@1	1.00000
344	num_unjug_ret@10	2.00000
344	num_unjug_ret@20	9.00000
344	num_unjug_ret@100	53.00000
344	num_unjug_ret@1000	810.00000
344	num_rel	5.00000
344	num_rel_ret	1.00000
344	map	0.00400
344	R-prec	0.00000
344	bpref	0.00000
344	recip_rank	0.02000
344	ndcg	0.05979
344	ndcg5	0.00000
344	ndcg10	0.00000
344	ndcg20	0.00000
344	ERR	0.00125
344	ERR10	0.00000
344	ERR20	0.00000
344	P1	0.00000
344	P5	0.00000
344	P10	0.00000
344	P15	0.00000
344	P20	0.00000
344	P30	0.00000
344	P50	0.02000
344	P100	0.01000
344	P200	0.00500
344	P500	0.00200
344	P1000	0.00100
345	num_ret	1000.00000
345	num_unjug_ret@1	0.00000
345	num_unjug_ret@10	0.00000
345	num_unjug_ret@20	0.00000
345	num_unjug_ret@100	5.00000
345	num_unjug_ret@1000	531.00000
345	num_rel	38.00000
345	num_rel_ret	35.00000
345	map	0.13956
345	R-prec	0.21053
345	bpref	0.14404
345	recip_rank	0.33333
345	ndcg	0.55378
345	ndcg5	0.44685
345	ndcg10	0.35623
345	ndcg20	0.22990
345	ERR	0.06231
345	ERR10	0.05219
345	ERR20	0.05219
345	P1	0.00000
345	P5	0.60000
345	P10	0.40000
345	P15	0.26667
345	P20	0.20000
345	P30	0.20000
345	P50	0.18000
345	P100	0.10000
345	P200	0.10000
345	P500	0.06000
345	P1000	0.03500
346	num_ret	1000.00000
346	num_unjug_ret@1	0.00000
346	num_unjug_ret@10	0.00000
346	num_unjug_ret@20	1.00000
346	num_unjug_ret@100	27.00000
346	num_unjug_ret@1000	704.00000
346	num_rel	105.00000
346	num_rel_ret	32.00000
346	map	0.03819
346	R-prec	0.11429
346	bpref	0.09760
346	recip_rank	0.33333
346	ndcg	0.24283
346	ndcg5	0.30079
346	ndcg10	0.26144
346	ndcg20	0.20107
346	ERR	0.05037
346	ERR10	0.03866
346	ERR20	0.04123
346	P1	0.00000
346	P5	0.40000
346	P10	0.30000
346	P15	0.20000
346	P20	0.20000
346	P30	0.20000
346	P50	0.16000
346	P100	0.12000
346	P200	0.09000
346	P500	0.05000
346	P1000	0.03200
347	num_ret	1000.00000
347	num_unjug_ret@1	0.00000
347	num_unjug_ret@10	0.00000
347	num_unjug_ret@20	0.00000
347	num_unjug_ret@100	9.00000
347	num_unjug_ret@1000	632.00000
347	num_rel	152.00000
347	num_rel_ret	89.00000
347	map	0.07461
347	R-prec	0.14474
347	bpref	0.11028
347	recip_rank	0.20000
347	ndcg	0.40715
347	ndcg5	0.13121
347	ndcg10	0.08514
347	ndcg20	0.05495
347	ERR	0.02809
347	ERR10	0.01250
347	ERR20	0.01250
347	P1	0.00000
347	P5	0.20000
347	P10	0.10000
347	P15	0.06667
347	P20	0.05000
347	P30	0.10000
347	P50	0.16000
347	P100	0.17000
347	P200	0.15000
347	P500	0.10800
347	P1000	0.08900
348	num_ret	1000.00000
348	num_unjug_ret@1	0.00000
348	num_unjug_ret@10	2.00000
348	num_unjug_ret@20	11.00000
348	num_unjug_ret@100	85.00000
348	num_unjug_ret@1000	925.00000
348	num_rel	5.00000
348	num_rel_ret	5.00000
348	map	0.81000
348	R-prec	0.80000
348	bpref	0.84000
348	recip_rank	1.00000
348	ndcg	0.90683
348	ndcg5	0.78601
348	ndcg10	0.90683
348	ndcg20	0.90683
348	ERR	0.11411
348	ERR10	0.11411
348	ERR20	0.11411
348	P1	1.00000
348	P5	0.80000
348	P10	0.50000
348	P15	0.33333
348	P20	0.25000
348	P30	0.16667
348	P50	0.10000
348	P100	0.05000
348	P200	0.02500
348	P500	0.01000
348	P1000	0.00500
349	num_ret	1000.00000
349	num_unjug_ret@1	0.00000
349	num_unjug_ret@10	0.00000
349	num_unjug_ret@20	0.00000
349	num_unjug_ret@100	14.00000
349	num_unjug_ret@1000	691.00000
349	num_rel	73.00000
349	num_rel_ret	32.00000
349	map	0.19551
349	R-prec	0.24658
349	bpref	0.21036
349	recip_rank	1.00000
349	ndcg	0.46601
349	ndcg5	1.00000
349	ndcg10	0.86038
349	ndcg20	0.69928
349	ERR	0.16379
349	ERR10	0.14946
349	ERR20	0.15913
349	P1	1.00000
349	P5	1.00000
349	P10	0.80000
349	P15	0.66667
349	P20	0.60000
349	P30	0.43333
349	P50	0.32000
349	P100	0.19000
349	P200	0.11500
349	P500	0.06000
349	P1000	0.03200
350	num_ret	1000.00000
350	num_unjug_ret@1	0.00000
350	num_unjug_ret@10	0.00000
350	num_unjug_ret@20	0.00000
350	num_unjug_ret@100	12.00000
350	num_unjug_ret@1000	627.00000
350	num_rel	68.00000
350	num_rel_ret	19.00000
350	map	0.04541
350	R-prec	0.05882
350	bpref	0.05342
350	recip_rank	1.00000
350	ndcg	0.25163
350	ndcg5	0.55315
350	ndcg10	0.35895
350	ndcg20	0.26641
350	ERR	0.10044
350	ERR10	0.09180
350	ERR20	0.09523
350	P1	1.00000
350	P5	0.40000
350	P10	0.20000
350	P15	0.13333
350	P20	0.15000
350	P30	0.13333
350	P50	0.08000
350	P100	0.08000
350	P200	0.05500
350	P500	0.03200
350	P1000	0.01900
351	num_ret	1000.00000
351	num_unjug_ret@1	0.00000
351	num_unjug_ret@10	0.00000
351	num_unjug_ret@20	0.00000
351	num_unjug_ret@100	8.00000
351	num_unjug_ret@1000	644.00000
351	num_rel	48.00000
351	num_rel_ret	26.00000
351	map	0.05857
351	R-prec	0.18750
351	bpref	0.10069
351	recip_rank	0.09091
351	ndcg	0.32696
351	ndcg5	0.00000
351	ndcg10	0.00000
351	ndcg20	0.14130
351	ERR	0.02367
351	ERR10	0.00000
351	ERR20	0.01529
351	P1	0.00000
351	P5	0.00000
351	P10	0.00000
351	P15	0.06667
351	P20	0.20000
351	P30	0.16667
351	P50	0.20000
351	P100	0.12000
351	P200	0.08000
351	P500	0.04200
351	P1000	0.02600
352	num_ret	1000.00000
352	num_unjug_ret@1	0.00000
352	num_unjug_ret@10	0.00000
352	num_unjug_ret@20	0.00000
352	num_unjug_ret@100	0.00000
352	num_unjug_ret@1000	412.00000
352	num_rel	246.00000
352	num_rel_ret	227.00000
352	map	0.43863
352	R-prec	0.47154
352	bpref	0.45884
352	recip_rank	1.00000
352	ndcg	0.81487
352	ndcg5	0.86879
352	ndcg10	0.77524
352	ndcg20	0.63989
352	ERR	0.16348
352	ERR10	0.14093
352	ERR20	0.15036
352	P1	1.00000
352	P5	0.80000
352	P10	0.70000
352	P15	0.53333
352	P20	0.55000
352	P30	0.56667
352	P50	0.62000
352	P100	0.59000
352	P200	0.49000
352	P500	0.36600
352	P1000	0.22700
353	num_ret	1000.00000
353	num_unjug_ret@1	0.00000
353	num_unjug_ret@10	0.00000
353	num_unjug_ret@20	0.00000
353	num_unjug_ret@100	11.00000
353	num_unjug_ret@1000	701.00000
353	num_rel	122.00000
353	num_rel_ret	70.00000
353	map	0.21356
353	R-prec	0.37705
353	bpref	0.34003
353	recip_rank	1.00000
353	ndcg	0.52012
353	ndcg5	0.47037
353	ndcg10	0.45700
353	ndcg20	0.40334
353	ERR	0.11479
353	ERR10	0.09073
353	ERR20	0.10033
353	P1	1.00000
353	P5	0.40000
353	P10	0.40000
353	P15	0.40000
353	P20	0.35000
353	P30	0.36667
353	P50	0.36000
353	P100	0.42000
353	P200	0.30500
353	P500	0.13400
353	P1000	0.07000
354	num_ret	1000.00000
354	num_unjug_ret@1	0.00000
354	num_unjug_ret@10	0.00000
354	num_unjug_ret@20	0.00000
354	num_unjug_ret@100	1.00000
354	num_unjug_ret@1000	484.00000
354	num_rel	361.00000
354	num_rel_ret	140.00000
354	map	0.09368
354	R-prec	0.21884
354	bpref	0.19177
354	recip_rank	0.25000
354	ndcg	0.35058
354	ndcg5	0.14607
354	ndcg10	0.29803
354	ndcg20	0.36535
354	ERR	0.05867
354	ERR10	0.03525
354	ERR20	0.04857
354	P1	0.00000
354	P5	0.20000
354	P10	0.40000
354	P15	0.40000
354	P20	0.45000
354	P30	0.36667
354	P50	0.30000
354	P100	0.29000
354	P200	0.26500
354	P500	0.18400
354	P1000	0.14000
355	num_ret	1000.00000
355	num_unjug_ret@1	0.00000
355	num_unjug_ret@10	0.00000
355	num_unjug_ret@20	0.00000
355	num_unjug_ret@100	1.00000
355	num_unjug_ret@1000	610.00000
355	num_rel	45.00000
355	num_rel_ret	20.00000
355	map	0.12088
355	R-prec	0.17778
355	bpref	0.15556
355	recip_rank	1.00000
355	ndcg	0.39711
355	ndcg5	0.47037
355	ndcg10	0.52325
355	ndcg20	0.40894
355	ERR	0.10668
355	ERR10	0.09610
355	ERR20	0.10210
355	P1	1.00000
355	P5	0.40000
355	P10	0.50000
355	P15	0.40000
355	P20	0.35000
355	P30	0.23333
355	P50	0.20000
355	P100	0.13000
355	P200	0.07000
355	P500	0.03800
355	P1000	0.02000
356	num_ret	1000.00000
356	num_unjug_ret@1	0.00000
356	num_unjug_ret@10	0.00000
356	num_unjug_ret@20	0.00000
356	num_unjug_ret@100	0.00000
356	num_unjug_ret@1000	727.00000
356	num_rel	17.00000
356	num_rel_ret	9.00000
356	map	0.04909
356	R-prec	0.00000
356	bpref	0.00000
356	recip_rank	0.04762
356	ndcg	0.25837
356	ndcg5	0.00000
356	ndcg10	0.00000
356	ndcg20	0.00000
356	ERR	0.01134
356	ERR10	0.00000
356	ERR20	0.00000
356	P1	0.00000
356	P5	0.00000
356	P10	0.00000
356	P15	0.00000
356	P20	0.00000
356	P30	0.06667
356	P50	0.10000
356	P100	0.09000
356	P200	0.04500
356	P500	0.01800
356	P1000	0.00900
357	num_ret	1000.00000
357	num_unjug_ret@1	0.00000
357	num_unjug_ret@10	0.00000
357	num_unjug_ret@20	0.00000
357	num_unjug_ret@100	0.00000
357	num_unjug_ret@1000	514.00000
357	num_rel	270.00000
357	num_rel_ret	195.00000
357	map	0.39917
357	R-prec	0.44074
357	bpref	0.46609
357	recip_rank	1.00000
357	ndcg	0.69657
357	ndcg5	0.83042
357	ndcg10	0.82370
357	ndcg20	0.81374
357	ERR	0.16631
357	ERR10	0.13962
357	ERR20	0.15579
357	P1	1.00000
357	P5	0.80000
357	P10	0.80000
357	P15	0.80000
357	P20	0.80000
357	P30	0.83333
357	P50	0.80000
357	P100	0.70000
357	P200	0.50500
357	P500	0.32000
357	P1000	0.19500
358	num_ret	1000.00000
358	num_unjug_ret@1	0.00000
358	num_unjug_ret@10	0.00000
358	num_unjug_ret@20	0.00000
358	num_unjug_ret@100	0.00000
358	num_unjug_ret@1000	502.00000
358	num_rel	51.00000
358	num_rel_ret	50.00000
358	map	0.17861
358	R-prec	0.21569
358	bpref	0.13033
358	recip_rank	0.10000
358	ndcg	0.59331
358	ndcg5	0.00000
358	ndcg10	0.06362
358	ndcg20	0.18165
358	ERR	0.03139
358	ERR10	0.00625
358	ERR20	0.02025
358	P1	0.00000
358	P5	0.00000
358	P10	0.10000
358	P15	0.20000
358	P20	0.25000
358	P30	0.23333
358	P50	0.22000
358	P100	0.17000
358	P200	0.18500
358	P500	0.09400
358	P1000	0.05000
359	num_ret	1000.00000
359	num_unjug_ret@1	0.00000
359	num_unjug_ret@10	0.00000
359	num_unjug_ret@20	0.00000
359	num_unjug_ret@100	2.00000
359	num_unjug_ret@1000	494.00000
359	num_rel	28.00000
359	num_rel_ret	14.00000
359	map	0.03636
359	R-prec	0.07143
359	bpref	0.05102
359	recip_rank	0.33333
359	ndcg	0.27119
359	ndcg5	0.16958
359	ndcg10	0.11005
359	ndcg20	0.10577
359	ERR	0.02938
359	ERR10	0.02083
359	ERR20	0.02450
359	P1	0.00000
359	P5	0.20000
359	P10	0.10000
359	P15	0.06667
359	P20	0.10000
359	P30	0.06667
359	P50	0.08000
359	P100	0.06000
359	P200	0.03000
359	P500	0.02200
359	P1000	0.01400
360	num_ret	1000.00000
360	num_unjug_ret@1	0.00000
360	num_unjug_ret@10	0.00000
360	num_unjug_ret@20	0.00000
360	num_unjug_ret@100	0.00000
360	num_unjug_ret@1000	461.00000
360	num_rel	151.00000
360	num_rel_ret	134.00000
360	map	0.65896
360	R-prec	0.66887
360	bpref	0.66563
360	recip_rank	1.00000
360	ndcg	0.86484
360	ndcg5	1.00000
360	ndcg10	0.93375
360	ndcg20	0.95724
360	ERR	0.18194
360	ERR10	0.15495
360	ERR20	0.17337
360	P1	1.00000
360	P5	1.00000
360	P10	0.90000
360	P15	0.93333
360	P20	0.95000
360	P30	0.90000
360	P50	0.90000
360	P100	0.77000
360	P200	0.56000
360	P500	0.25800
360	P1000	0.13400
361	num_ret	1000.00000
361	num_unjug_ret@1	0.00000
361	num_unjug_ret@10	0.00000
361	num_unjug_ret@20	0.00000
361	num_unjug_ret@100	1.00000
361	num_unjug_ret@1000	563.00000
361	num_rel	9.00000
361	num_rel_ret	7.00000
361	map	0.39903
361	R-prec	0.55556
361	bpref	0.44444
361	recip_rank	0.50000
361	ndcg	0.60739
361	ndcg5	0.49126
361	ndcg10	0.49295
361	ndcg20	0.55469
361	ERR	0.07578
361	ERR10	0.07028
361	ERR20	0.07376
361	P1	0.00000
361	P5	0.60000
361	P10	0.50000
361	P15	0.40000
361	P20	0.30000
361	P30	0.23333
361	P50	0.14000
361	P100	0.07000
361	P200	0.03500
361	P500	0.01400
361	P1000	0.00700
362	num_ret	1000.00000
362	num_unjug_ret@1	0.00000
362	num_unjug_ret@10	0.00000
362	num_unjug_ret@20	0.00000
362	num_unjug_ret@100	0.00000
362	num_unjug_ret@1000	386.00000
362	num_rel	39.00000
362	num_rel_ret	28.00000
362	map	0.30328
362	R-prec	0.35897
362	bpref	0.30835
362	recip_rank	1.00000
362	ndcg	0.64256
362	ndcg5	1.00000
362	ndcg10	0.72230
362	ndcg20	0.60431
362	ERR	0.15548
362	ERR10	0.13910
362	ERR20	0.14870
362	P1	1.00000
362	P5	1.00000
362	P10	0.60000
362	P15	0.53333
362	P20	0.50000
362	P30	0.43333
362	P50	0.30000
362	P100	0.19000
362	P200	0.10500
362	P500	0.05000
362	P1000	0.02800
363	num_ret	1000.00000
363	num_unjug_ret@1	0.00000
363	num_unjug_ret@10	0.00000
363	num_unjug_ret@20	0.00000
363	num_unjug_ret@100	2.00000
363	num_unjug_ret@1000	396.00000
363	num_rel	16.00000
363	num_rel_ret	15.00000
363	map	0.06986
363	R-prec	0.12500
363	bpref	0.06250
363	recip_rank	0.33333
363	ndcg	0.41609
363	ndcg5	0.16958
363	ndcg10	0.11005
363	ndcg20	0.12195
363	ERR	0.03032
363	ERR10	0.02083
363	ERR20	0.02450
363	P1	0.00000
363	P5	0.20000
363	P10	0.10000
363	P15	0.06667
363	P20	0.10000
363	P30	0.10000
363	P50	0.08000
363	P100	0.04000
363	P200	0.03500
363	P500	0.02600
363	P1000	0.01500
364	num_ret	1000.00000
364	num_unjug_ret@1	0.00000
364	num_unjug_ret@10	0.00000
364	num_unjug_ret@20	0.00000
364	num_unjug_ret@100	11.00000
364	num_unjug_ret@1000	842.00000
364	num_rel	35.00000
364	num_rel_ret	33.00000
364	map	0.53855
364	R-prec	0.48571
364	bpref	0.48653
364	recip_rank	1.00000
364	ndcg	0.83004
364	ndcg5	0.72273
364	ndcg10	0.67727
364	ndcg20	0.65500
364	ERR	0.15389
364	ERR10	0.12858
364	ERR20	0.14454
364	P1	1.00000
364	P5	0.60000
364	P10	0.60000
364	P15	0.66667
364	P20	0.60000
364	P30	0.50000
364	P50	0.46000
364	P100	0.33000
364	P200	0.16500
364	P500	0.06600
364	P1000	0.03300
365	num_ret	1000.00000
365	num_unjug_ret@1	0.00000
365	num_unjug_ret@10	0.00000
365	num_unjug_ret@20	0.00000
365	num_unjug_ret@100	4.00000
365	num_unjug_ret@1000	626.00000
365	num_rel	35.00000
365	num_rel_ret	35.00000
365	map	0.91850
365	R-prec	0.82857
365	bpref	0.92000
365	recip_rank	1.00000
365	ndcg	0.98202
365	ndcg5	1.00000
365	ndcg10	1.00000
365	ndcg20	0.96269
365	ERR	0.18111
365	ERR10	0.15886
365	ERR20	0.17455
365	P1	1.00000
365	P5	1.00000
365	P10	1.00000
365	P15	0.93333
365	P20	0.95000
365	P30	0.83333
365	P50	0.70000
365	P100	0.35000
365	P200	0.17500
365	P500	0.07000
365	P1000	0.03500
366	num_ret	1000.00000
366	num_unjug_ret@1	0.00000
366	num_unjug_ret@10	0.00000
366	num_unjug_ret@20	0.00000
366	num_unjug_ret@100	1.00000
366	num_unjug_ret@1000	664.00000
366	num_rel	99.00000
366	num_rel_ret	96.00000
366	map	0.53598
366	R-prec	0.51515
366	bpref	0.49056
366	recip_rank	1.00000
366	ndcg	0.85916
366	ndcg5	0.86879
366	ndcg10	0.76309
366	ndcg20	0.77892
366	ERR	0.16519
366	ERR10	0.13829
366	ERR20	0.15648
366	P1	1.00000
366	P5	0.80000
366	P10	0.70000
366	P15	0.80000
366	P20	0.75000
366	P30	0.60000
366	P50	0.56000
366	P100	0.51000
366	P200	0.45500
366	P500	0.19200
366	P1000	0.09600
367	num_ret	1000.00000
367	num_unjug_ret@1	0.00000
367	num_unjug_ret@10	0.00000
367	num_unjug_ret@20	0.00000
367	num_unjug_ret@100	0.00000
367	num_unjug_ret@1000	576.00000
367	num_rel	189.00000
367	num_rel_ret	94.00000
367	map	0.08186
367	R-prec	0.13757
367	bpref	0.08149
367	recip_rank	0.33333
367	ndcg	0.38493
367	ndcg5	0.31565
367	ndcg10	0.28323
367	ndcg20	0.18279
367	ERR	0.05494
367	ERR10	0.04464
367	ERR20	0.04464
367	P1	0.00000
367	P5	0.40000
367	P10	0.30000
367	P15	0.20000
367	P20	0.15000
367	P30	0.16667
367	P50	0.10000
367	P100	0.13000
367	P200	0.14500
367	P500	0.15800
367	P1000	0.09400
368	num_ret	1000.00000
368	num_unjug_ret@1	0.00000
368	num_unjug_ret@10	0.00000
368	num_unjug_ret@20	0.00000
368	num_unjug_ret@100	0.00000
368	num_unjug_ret@1000	682.00000
368	num_rel	61.00000
368	num_rel_ret	43.00000
368	map	0.54892
368	R-prec	0.52459
368	bpref	0.53185
368	recip_rank	1.00000
368	ndcg	0.74194
368	ndcg5	1.00000
368	ndcg10	1.00000
368	ndcg20	1.00000
368	ERR	0.18198
368	ERR10	0.15886
368	ERR20	0.17613
368	P1	1.00000
368	P5	1.00000
368	P10	1.00000
368	P15	1.00000
368	P20	1.00000
368	P30	0.86667
368	P50	0.64000
368	P100	0.37000
368	P200	0.19000
368	P500	0.08200
368	P1000	0.04300
369	num_ret	1000.00000
369	num_unjug_ret@1	0.00000
369	num_unjug_ret@10	0.00000
369	num_unjug_ret@20	0.00000
369	num_unjug_ret@100	32.00000
369	num_unjug_ret@1000	884.00000
369	num_rel	13.00000
369	num_rel_ret	10.00000
369	map	0.30870
369	R-prec	0.23077
369	bpref	0.20710
369	recip_rank	1.00000
369	ndcg	0.62958
369	ndcg5	0.55315
369	ndcg10	0.42521
369	ndcg20	0.49315
369	ERR	0.11039
369	ERR10	0.09790
369	ERR20	0.10614
369	P1	1.00000
369	P5	0.40000
369	P10	0.30000
369	P15	0.26667
369	P20	0.30000
369	P30	0.23333
369	P50	0.18000
369	P100	0.09000
369	P200	0.04500
369	P500	0.02000
369	P1000	0.01000
370	num_ret	1000.00000
370	num_unjug_ret@1	0.00000
370	num_unjug_ret@10	0.00000
370	num_unjug_ret@20	0.00000
370	num_unjug_ret@100	0.00000
370	num_unjug_ret@1000	350.00000
370	num_rel	336.00000
370	num_rel_ret	186.00000
370	map	0.15289
370	R-prec	0.33036
370	bpref	0.25586
370	recip_rank	0.11111
370	ndcg	0.45794
370	ndcg5	0.00000
370	ndcg10	0.06625
370	ndcg20	0.04276
370	ERR	0.02148
370	ERR10	0.00694
370	ERR20	0.00694
370	P1	0.00000
370	P5	0.00000
370	P10	0.10000
370	P15	0.06667
370	P20	0.05000
370	P30	0.06667
370	P50	0.10000
370	P100	0.15000
370	P200	0.33500
370	P500	0.28200
370	P1000	0.18600
371	num_ret	1000.00000
371	num_unjug_ret@1	0.00000
371	num_unjug_ret@10	0.00000
371	num_unjug_ret@20	0.00000
371	num_unjug_ret@100	0.00000
371	num_unjug_ret@1000	513.00000
371	num_rel	17.00000
371	num_rel_ret	5.00000
371	map	0.00435
371	R-prec	0.00000
371	bpref	0.00000
371	recip_rank	0.01515
371	ndcg	0.10697
371	ndcg5	0.00000
371	ndcg10	0.00000
371	ndcg20	0.00000
371	ERR	0.00209
371	ERR10	0.00000
371	ERR20	0.00000
371	P1	0.00000
371	P5	0.00000
371	P10	0.00000
371	P15	0.00000
371	P20	0.00000
371	P30	0.00000
371	P50	0.00000
371	P100	0.01000
371	P200	0.01500
371	P500	0.01000
371	P1000	0.00500
372	num_ret	1000.00000
372	num_unjug_ret@1	0.00000
372	num_unjug_ret@10	0.00000
372	num_unjug_ret@20	0.00000
372	num_unjug_ret@100	3.00000
372	num_unjug_ret@1000	675.00000
372	num_rel	49.00000
372	num_rel_ret	9.00000
372	map	0.00763
372	R-prec	0.04082
372	bpref	0.02541
372	recip_rank	0.20000
372	ndcg	0.11091
372	ndcg5	0.13121
372	ndcg10	0.08514
372	ndcg20	0.05495
372	ERR	0.01555
372	ERR10	0.01250
372	ERR20	0.01250
372	P1	0.00000
372	P5	0.20000
372	P10	0.10000
372	P15	0.06667
372	P20	0.05000
372	P30	0.03333
372	P50	0.04000
372	P100	0.03000
372	P200	0.02000
372	P500	0.01000
372	P1000	0.00900
373	num_ret	1000.00000
373	num_unjug_ret@1	0.00000
373	num_unjug_ret@10	0.00000
373	num_unjug_ret@20	0.00000
373	num_unjug_ret@100	0.00000
373	num_unjug_ret@1000	570.00000
373	num_rel	33.00000
373	num_rel_ret	25.00000
373	map	0.34069
373	R-prec	0.48485
373	bpref	0.39761
373	recip_rank	1.00000
373	ndcg	0.65729
373	ndcg5	0.65481
373	ndcg10	0.56958
373	ndcg20	0.61806
373	ERR	0.13343
373	ERR10	0.10971
373	ERR20	0.12815
373	P1	1.00000
373	P5	0.60000
373	P10	0.50000
373	P15	0.60000
373	P20	0.60000
373	P30	0.53333
373	P50	0.34000
373	P100	0.18000
373	P200	0.11000
373	P500	0.04600
373	P1000	0.02500
374	num_ret	1000.00000
374	num_unjug_ret@1	0.00000
374	num_unjug_ret@10	0.00000
374	num_unjug_ret@20	0.00000
374	num_unjug_ret@100	0.00000
374	num_unjug_ret@1000	347.00000
374	num_rel	204.00000
374	num_rel_ret	199.00000
374	map	0.37249
374	R-prec	0.34804
374	bpref	0.28816
374	recip_rank	1.00000
374	ndcg	0.80643
374	ndcg5	0.48523
374	ndcg10	0.59652
374	ndcg20	0.59946
374	ERR	0.13170
374	ERR10	0.10355
374	ERR20	0.11869
374	P1	1.00000
374	P5	0.40000
374	P10	0.60000
374	P15	0.66667
374	P20	0.60000
374	P30	0.66667
374	P50	0.64000
374	P100	0.44000
374	P200	0.35500
374	P500	0.31200
374	P1000	0.19900
375	num_ret	1000.00000
375	num_unjug_ret@1	0.00000
375	num_unjug_ret@10	0.00000
375	num_unjug_ret@20	0.00000
375	num_unjug_ret@100	0.00000
375	num_unjug_ret@1000	522.00000
375	num_rel	80.00000
375	num_rel_ret	48.00000
375	map	0.22820
375	R-prec	0.35000
375	bpref	0.27422
375	recip_rank	1.00000
375	ndcg	0.55039
375	ndcg5	0.65481
375	ndcg10	0.70263
375	ndcg20	0.56065
375	ERR	0.13814
375	ERR10	0.11965
375	ERR20	0.12736
375	P1	1.00000
375	P5	0.60000
375	P10	0.70000
375	P15	0.53333
375	P20	0.50000
375	P30	0.50000
375	P50	0.44000
375	P100	0.28000
375	P200	0.18000
375	P500	0.09200
375	P1000	0.04800
376	num_ret	1000.00000
376	num_unjug_ret@1	0.00000
376	num_unjug_ret@10	0.00000
376	num_unjug_ret@20	0.00000
376	num_unjug_ret@100	4.00000
376	num_unjug_ret@1000	510.00000
376	num_rel	102.00000
376	num_rel_ret	36.00000
376	map	0.08192
376	R-prec	0.14706
376	bpref	0.12409
376	recip_rank	0.50000
376	ndcg	0.31856
376	ndcg5	0.51477
376	ndcg10	0.61887
376	ndcg20	0.43575
376	ERR	0.09613
376	ERR10	0.08715
376	ERR20	0.08999
376	P1	0.00000
376	P5	0.60000
376	P10	0.70000
376	P15	0.53333
376	P20	0.40000
376	P30	0.26667
376	P50	0.26000
376	P100	0.15000
376	P200	0.08500
376	P500	0.05800
376	P1000	0.03600
377	num_ret	1000.00000
377	num_unjug_ret@1	0.00000
377	num_unjug_ret@10	0.00000
377	num_unjug_ret@20	0.00000
377	num_unjug_ret@100	0.00000
377	num_unjug_ret@1000	377.00000
377	num_rel	39.00000
377	num_rel_ret	39.00000
377	map	0.36803
377	R-prec	0.30769
377	bpref	0.26561
377	recip_rank	1.00000
377	ndcg	0.77996
377	ndcg5	0.69921
377	ndcg10	0.66783
377	ndcg20	0.50573
377	ERR	0.14192
377	ERR10	0.12518
377	ERR20	0.13155
377	P1	1.00000
377	P5	0.60000
377	P10	0.60000
377	P15	0.53333
377	P20	0.40000
377	P30	0.33333
377	P50	0.30000
377	P100	0.26000
377	P200	0.18500
377	P500	0.07600
377	P1000	0.03900
378	num_ret	1000.00000
378	num_unjug_ret@1	0.00000
378	num_unjug_ret@10	0.00000
378	num_unjug_ret@20	0.00000
378	num_unjug_ret@100	0.00000
378	num_unjug_ret@1000	373.00000
378	num_rel	98.00000
378	num_rel_ret	20.00000
378	map	0.00547
378	R-prec	0.02041
378	bpref	0.00927
378	recip_rank	0.02128
378	ndcg	0.11923
378	ndcg5	0.00000
378	ndcg10	0.00000
378	ndcg20	0.00000
378	ERR	0.00438
378	ERR10	0.00000
378	ERR20	0.00000
378	P1	0.00000
378	P5	0.00000
378	P10	0.00000
378	P15	0.00000
378	P20	0.00000
378	P30	0.00000
378	P50	0.02000
378	P100	0.02000
378	P200	0.02000
378	P500	0.03000
378	P1000	0.02000
379	num_ret	1000.00000
379	num_unjug_ret@1	0.00000
379	num_unjug_ret@10	0.00000
379	num_unjug_ret@20	0.00000
379	num_unjug_ret@100	3.00000
379	num_unjug_ret@1000	707.00000
379	num_rel	16.00000
379	num_rel_ret	5.00000
379	map	0.02805
379	R-prec	0.06250
379	bpref	0.05469
379	recip_rank	0.33333
379	ndcg	0.17743
379	ndcg5	0.16958
379	ndcg10	0.11005
379	ndcg20	0.08189
379	ERR	0.02299
379	ERR10	0.02083
379	ERR20	0.02083
379	P1	0.00000
379	P5	0.20000
379	P10	0.10000
379	P15	0.06667
379	P20	0.05000
379	P30	0.03333
379	P50	0.02000
379	P100	0.03000
379	P200	0.02000
379	P500	0.01000
379	P1000	0.00500
380	num_ret	1000.00000
380	num_unjug_ret@1	0.00000
380	num_unjug_ret@10	0.00000
380	num_unjug_ret@20	0.00000
380	num_unjug_ret@100	0.00000
380	num_unjug_ret@1000	434.00000
380	num_rel	7.00000
380	num_rel_ret	7.00000
380	map	0.33644
380	R-prec	0.28571
380	bpref	0.26531
380	recip_rank	1.00000
380	ndcg	0.68125
380	ndcg5	0.50874
380	ndcg10	0.41231
380	ndcg20	0.54427
380	ERR	0.09055
380	ERR10	0.08203
380	ERR20	0.08833
380	P1	1.00000
380	P5	0.40000
380	P10	0.20000
380	P15	0.13333
380	P20	0.20000
380	P30	0.13333
380	P50	0.10000
380	P100	0.06000
380	P200	0.03500
380	P500	0.01400
380	P1000	0.00700
381	num_ret	1000.00000
381	num_unjug_ret@1	0.00000
381	num_unjug_ret@10	0.00000
381	num_unjug_ret@20	0.00000
381	num_unjug_ret@100	1.00000
381	num_unjug_ret@1000	475.00000
381	num_rel	28.00000
381	num_rel_ret	10.00000
381	map	0.05113
381	R-prec	0.07143
381	bpref	0.05357
381	recip_rank	1.00000
381	ndcg	0.26632
381	ndcg5	0.33916
381	ndcg10	0.22009
381	ndcg20	0.17679
381	ERR	0.06962
381	ERR10	0.06250
381	ERR20	0.06616
381	P1	1.00000
381	P5	0.20000
381	P10	0.10000
381	P15	0.06667
381	P20	0.10000
381	P30	0.06667
381	P50	0.08000
381	P100	0.05000
381	P200	0.03000
381	P500	0.01600
381	P1000	0.01000
382	num_ret	1000.00000
382	num_unjug_ret@1	0.00000
382	num_unjug_ret@10	0.00000
382	num_unjug_ret@20	0.00000
382	num_unjug_ret@100	0.00000
382	num_unjug_ret@1000	557.00000
382	num_rel	22.00000
382	num_rel_ret	21.00000
382	map	0.55952
382	R-prec	0.63636
382	bpref	0.57231
382	recip_rank	1.00000
382	ndcg	0.83406
382	ndcg5	0.85393
382	ndcg10	0.76242
382	ndcg20	0.70344
382	ERR	0.15496
382	ERR10	0.13773
382	ERR20	0.15133
382	P1	1.00000
382	P5	0.80000
382	P10	0.70000
382	P15	0.66667
382	P20	0.65000
382	P30	0.50000
382	P50	0.32000
382	P100	0.17000
382	P200	0.08500
382	P500	0.04000
382	P1000	0.02100
383	num_ret	1000.00000
383	num_unjug_ret@1	0.00000
383	num_unjug_ret@10	0.00000
383	num_unjug_ret@20	0.00000
383	num_unjug_ret@100	3.00000
383	num_unjug_ret@1000	557.00000
383	num_rel	146.00000
383	num_rel_ret	28.00000
383	map	0.01349
383	R-prec	0.05479
383	bpref	0.03969
383	recip_rank	0.09091
383	ndcg	0.14585
383	ndcg5	0.00000
383	ndcg10	0.00000
383	ndcg20	0.14435
383	ERR	0.02106
383	ERR10	0.00000
383	ERR20	0.01624
383	P1	0.00000
383	P5	0.00000
383	P10	0.00000
383	P15	0.20000
383	P20	0.20000
383	P30	0.16667
383	P50	0.12000
383	P100	0.06000
383	P200	0.05500
383	P500	0.04400
383	P1000	0.02800
384	num_ret	1000.00000
384	num_unjug_ret@1	0.00000
384	num_unjug_ret@10	0.00000
384	num_unjug_ret@20	0.00000
384	num_unjug_ret@100	2.00000
384	num_unjug_ret@1000	562.00000
384	num_rel	51.00000
384	num_rel_ret	50.00000
384	map	0.26449
384	R-prec	0.27451
384	bpref	0.20377
384	recip_rank	1.00000
384	ndcg	0.71017
384	ndcg5	0.61643
384	ndcg10	0.47339
384	ndcg20	0.41176
384	ERR	0.11582
384	ERR10	0.09549
384	ERR20	0.10458
384	P1	1.00000
384	P5	0.60000
384	P10	0.40000
384	P15	0.40000
384	P20	0.35000
384	P30	0.33333
384	P50	0.28000
384	P100	0.22000
384	P200	0.19000
384	P500	0.09800
384	P1000	0.05000
385	num_ret	1000.00000
385	num_unjug_ret@1	0.00000
385	num_unjug_ret@10	0.00000
385	num_unjug_ret@20	0.00000
385	num_unjug_ret@100	4.00000
385	num_unjug_ret@1000	757.00000
385	num_rel	86.00000
385	num_rel_ret	45.00000
385	map	0.23369
385	R-prec	0.31395
385	bpref	0.28015
385	recip_rank	1.00000
385	ndcg	0.51672
385	ndcg5	0.83042
385	ndcg10	0.82633
385	ndcg20	0.75292
385	ERR	0.16110
385	ERR10	0.14007
385	ERR20	0.15433
385	P1	1.00000
385	P5	0.80000
385	P10	0.80000
385	P15	0.80000
385	P20	0.70000
385	P30	0.56667
385	P50	0.48000
385	P100	0.29000
385	P200	0.15000
385	P500	0.06000
385	P1000	0.04500
386	num_ret	1000.00000
386	num_unjug_ret@1	0.00000
386	num_unjug_ret@10	0.00000
386	num_unjug_ret@20	0.00000
386	num_unjug_ret@100	11.00000
386	num_unjug_ret@1000	503.00000
386	num_rel	19.00000
386	num_rel_ret	9.00000
386	map	0.02275
386	R-prec	0.10526
386	bpref	0.05817
386	recip_rank	0.20000
386	ndcg	0.21254
386	ndcg5	0.13121
386	ndcg10	0.08514
386	ndcg20	0.09348
386	ERR	0.01746
386	ERR10	0.01250
386	ERR20	0.01641
386	P1	0.00000
386	P5	0.20000
386	P10	0.10000
386	P15	0.13333
386	P20	0.10000
386	P30	0.06667
386	P50	0.04000
386	P100	0.02000
386	P200	0.01500
386	P500	0.01200
386	P1000	0.00900
387	num_ret	1000.00000
387	num_unjug_ret@1	0.00000
387	num_unjug_ret@10	0.00000
387	num_unjug_ret@20	0.00000
387	num_unjug_ret@100	0.00000
387	num_unjug_ret@1000	414.00000
387	num_rel	85.00000
387	num_rel_ret	70.00000
387	map	0.15550
387	R-prec	0.21176
387	bpref	0.13841
387	recip_rank	0.50000
387	ndcg	0.57178
387	ndcg5	0.21399
387	ndcg10	0.29062
387	ndcg20	0.26005
387	ERR	0.06785
387	ERR10	0.04886
387	ERR20	0.05609
387	P1	0.00000
387	P5	0.20000
387	P10	0.30000
387	P15	0.26667
387	P20	0.25000
387	P30	0.20000
387	P50	0.20000
387	P100	0.20000
387	P200	0.17500
387	P500	0.12000
387	P1000	0.07000
388	num_ret	1000.00000
388	num_unjug_ret@1	0.00000
388	num_unjug_ret@10	0.00000
388	num_unjug_ret@20	0.00000
388	num_unjug_ret@100	0.00000
388	num_unjug_ret@1000	530.00000
388	num_rel	51.00000
388	num_rel_ret	27.00000
388	map	0.05225
388	R-prec	0.11765
388	bpref	0.07536
388	recip_rank	0.25000
388	ndcg	0.33012
388	ndcg5	0.27727
388	ndcg10	0.17993
388	ndcg20	0.15018
388	ERR	0.03862
388	ERR10	0.02734
388	ERR20	0.03058
388	P1	0.00000
388	P5	0.40000
388	P10	0.20000
388	P15	0.13333
388	P20	0.15000
388	P30	0.13333
388	P50	0.12000
388	P100	0.09000
388	P200	0.07000
388	P500	0.04200
388	P1000	0.02700
389	num_ret	1000.00000
389	num_unjug_ret@1	0.00000
389	num_unjug_ret@10	0.00000
389	num_unjug_ret@20	0.00000
389	num_unjug_ret@100	6.00000
389	num_unjug_ret@1000	508.00000
389	num_rel	194.00000
389	num_rel_ret	20.00000
389	map	0.00312
389	R-prec	0.03093
389	bpref	0.01804
389	recip_rank	0.07143
389	ndcg	0.07555
389	ndcg5	0.00000
389	ndcg10	0.00000
389	ndcg20	0.03636
389	ERR	0.00855
389	ERR10	0.00000
389	ERR20	0.00446
389	P1	0.00000
389	P5	0.00000
389	P10	0.00000
389	P15	0.06667
389	P20	0.05000
389	P30	0.03333
389	P50	0.04000
389	P100	0.03000
389	P200	0.03000
389	P500	0.02600
389	P1000	0.02000
390	num_ret	1000.00000
390	num_unjug_ret@1	0.00000
390	num_unjug_ret@10	0.00000
390	num_unjug_ret@20	0.00000
390	num_unjug_ret@100	0.00000
390	num_unjug_ret@1000	498.00000
390	num_rel	134.00000
390	num_rel_ret	51.00000
390	map	0.12672
390	R-prec	0.11940
390	bpref	0.11879
390	recip_rank	1.00000
390	ndcg	0.37697
390	ndcg5	1.00000
390	ndcg10	1.00000
390	ndcg20	0.85870
390	ERR	0.17093
390	ERR10	0.15886
390	ERR20	0.17040
390	P1	1.00000
390	P5	1.00000
390	P10	1.00000
390	P15	0.93333
390	P20	0.80000
390	P30	0.53333
390	P50	0.32000
390	P100	0.16000
390	P200	0.08000
390	P500	0.03400
390	P1000	0.05100
391	num_ret	1000.00000
391	num_unjug_ret@1	0.00000
391	num_unjug_ret@10	0.00000
391	num_unjug_ret@20	0.00000
391	num_unjug_ret@100	2.00000
391	num_unjug_ret@1000	493.00000
391	num_rel	178.00000
391	num_rel_ret	76.00000
391	map	0.11503
391	R-prec	0.21910
391	bpref	0.17087
391	recip_rank	1.00000
391	ndcg	0.39874
391	ndcg5	0.50874
391	ndcg10	0.54159
391	ndcg20	0.55985
391	ERR	0.12626
391	ERR10	0.10245
391	ERR20	0.11764
391	P1	1.00000
391	P5	0.40000
391	P10	0.50000
391	P15	0.53333
391	P20	0.55000
391	P30	0.46667
391	P50	0.38000
391	P100	0.28000
391	P200	0.21000
391	P500	0.12400
391	P1000	0.07600
392	num_ret	1000.00000
392	num_unjug_ret@1	0.00000
392	num_unjug_ret@10	0.00000
392	num_unjug_ret@20	0.00000
392	num_unjug_ret@100	0.00000
392	num_unjug_ret@1000	552.00000
392	num_rel	105.00000
392	num_rel_ret	103.00000
392	map	0.47186
392	R-prec	0.46667
392	bpref	0.42413
392	recip_rank	1.00000
392	ndcg	0.85018
392	ndcg5	1.00000
392	ndcg10	0.92664
392	ndcg20	0.77844
392	ERR	0.17447
392	ERR10	0.15364
392	ERR20	0.16461
392	P1	1.00000
392	P5	1.00000
392	P10	0.90000
392	P15	0.86667
392	P20	0.70000
392	P30	0.63333
392	P50	0.54000
392	P100	0.47000
392	P200	0.37000
392	P500	0.19200
392	P1000	0.10300
393	num_ret	1000.00000
393	num_unjug_ret@1	0.00000
393	num_unjug_ret@10	0.00000
393	num_unjug_ret@20	0.00000
393	num_unjug_ret@100	0.00000
393	num_unjug_ret@1000	539.00000
393	num_rel	71.00000
393	num_rel_ret	21.00000
393	map	0.19341
393	R-prec	0.23944
393	bpref	0.21543
393	recip_rank	1.00000
393	ndcg	0.39524
393	ndcg5	1.00000
393	ndcg10	0.92664
393	ndcg20	0.73836
393	ERR	0.16532
393	ERR10	0.15364
393	ERR20	0.16206
393	P1	1.00000
393	P5	1.00000
393	P10	0.90000
393	P15	0.73333
393	P20	0.65000
393	P30	0.46667
393	P50	0.30000
393	P100	0.18000
393	P200	0.10000
393	P500	0.04000
393	P1000	0.02100
394	num_ret	1000.00000
394	num_unjug_ret@1	0.00000
394	num_unjug_ret@10	0.00000
394	num_unjug_ret@20	0.00000
394	num_unjug_ret@100	2.00000
394	num_unjug_ret@1000	591.00000
394	num_rel	17.00000
394	num_rel_ret	7.00000
394	map	0.14519
394	R-prec	0.17647
394	bpref	0.13149
394	recip_rank	1.00000
394	ndcg	0.39240
394	ndcg5	0.55315
394	ndcg10	0.35895
394	ndcg20	0.29556
394	ERR	0.09835
394	ERR10	0.09180
394	ERR20	0.09523
394	P1	1.00000
394	P5	0.40000
394	P10	0.20000
394	P15	0.13333
394	P20	0.15000
394	P30	0.13333
394	P50	0.08000
394	P100	0.05000
394	P200	0.02500
394	P500	0.01200
394	P1000	0.00700
395	num_ret	1000.00000
395	num_unjug_ret@1	0.00000
395	num_unjug_ret@10	0.00000
395	num_unjug_ret@20	0.00000
395	num_unjug_ret@100	1.00000
395	num_unjug_ret@1000	461.00000
395	num_rel	213.00000
395	num_rel_ret	127.00000
395	map	0.14682
395	R-prec	0.26291
395	bpref	0.18442
395	recip_rank	0.25000
395	ndcg	0.48612
395	ndcg5	0.14607
395	ndcg10	0.23758
395	ndcg20	0.32943
395	ERR	0.05759
395	ERR10	0.03086
395	ERR20	0.04588
395	P1	0.00000
395	P5	0.20000
395	P10	0.30000
395	P15	0.40000
395	P20	0.40000
395	P30	0.40000
395	P50	0.28000
395	P100	0.27000
395	P200	0.26000
395	P500	0.19800
395	P1000	0.12700
396	num_ret	1000.00000
396	num_unjug_ret@1	0.00000
396	num_unjug_ret@10	0.00000
396	num_unjug_ret@20	0.00000
396	num_unjug_ret@100	0.00000
396	num_unjug_ret@1000	583.00000
396	num_rel	59.00000
396	num_rel_ret	25.00000
396	map	0.36533
396	R-prec	0.35593
396	bpref	0.35852
396	recip_rank	1.00000
396	ndcg	0.54131
396	ndcg5	1.00000
396	ndcg10	1.00000
396	ndcg20	1.00000
396	ERR	0.17725
396	ERR10	0.15886
396	ERR20	0.17613
396	P1	1.00000
396	P5	1.00000
396	P10	1.00000
396	P15	1.00000
396	P20	1.00000
396	P30	0.66667
396	P50	0.42000
396	P100	0.24000
396	P200	0.12000
396	P500	0.04800
396	P1000	0.02500
397	num_ret	1000.00000
397	num_unjug_ret@1	0.00000
397	num_unjug_ret@10	0.00000
397	num_unjug_ret@20	0.00000
397	num_unjug_ret@100	1.00000
397	num_unjug_ret@1000	344.00000
397	num_rel	27.00000
397	num_rel_ret	26.00000
397	map	0.07442
397	R-prec	0.07407
397	bpref	0.07133
397	recip_rank	0.50000
397	ndcg	0.46403
397	ndcg5	0.38357
397	ndcg10	0.24891
397	ndcg20	0.16064
397	ERR	0.05329
397	ERR10	0.05078
397	ERR20	0.05078
397	P1	0.00000
397	P5	0.40000
397	P10	0.20000
397	P15	0.13333
397	P20	0.10000
397	P30	0.06667
397	P50	0.04000
397	P100	0.02000
397	P200	0.02500
397	P500	0.04200
397	P1000	0.02600
398	num_ret	1000.00000
398	num_unjug_ret@1	0.00000
398	num_unjug_ret@10	0.00000
398	num_unjug_ret@20	0.00000
398	num_unjug_ret@100	11.00000
398	num_unjug_ret@1000	703.00000
398	num_rel	145.00000
398	num_rel_ret	14.00000
398	map	0.00259
398	R-prec	0.02759
398	bpref	0.01660
398	recip_rank	0.02778
398	ndcg	0.06706
398	ndcg5	0.00000
398	ndcg10	0.00000
398	ndcg20	0.00000
398	ERR	0.00521
398	ERR10	0.00000
398	ERR20	0.00000
398	P1	0.00000
398	P5	0.00000
398	P10	0.00000
398	P15	0.00000
398	P20	0.00000
398	P30	0.00000
398	P50	0.04000
398	P100	0.02000
398	P200	0.03000
398	P500	0.02000
398	P1000	0.01400
399	num_ret	1000.00000
399	num_unjug_ret@1	0.00000
399	num_unjug_ret@10	0.00000
399	num_unjug_ret@20	0.00000
399	num_unjug_ret@100	0.00000
399	num_unjug_ret@1000	372.00000
399	num_rel	102.00000
399	num_rel_ret	52.00000
399	map	0.16263
399	R-prec	0.35294
399	bpref	0.26490
399	recip_rank	0.14286
399	ndcg	0.42446
399	ndcg5	0.00000
399	ndcg10	0.14280
399	ndcg20	0.20080
399	ERR	0.04576
399	ERR10	0.01625
399	ERR20	0.02728
399	P1	0.00000
399	P5	0.00000
399	P10	0.20000
399	P15	0.26667
399	P20	0.25000
399	P30	0.40000
399	P50	0.44000
399	P100	0.36000
399	P200	0.21000
399	P500	0.09400
399	P1000	0.05200
400	num_ret	1000.00000
400	num_unjug_ret@1	0.00000
400	num_unjug_ret@10	0.00000
400	num_unjug_ret@20	1.00000
400	num_unjug_ret@100	11.00000
400	num_unjug_ret@1000	527.00000
400	num_rel	125.00000
400	num_rel_ret	103.00000
400	map	0.33447
400	R-prec	0.40800
400	bpref	0.38112
400	recip_rank	1.00000
400	ndcg	0.70911
400	ndcg5	0.78601
400	ndcg10	0.64705
400	ndcg20	0.58982
400	ERR	0.14254
400	ERR10	0.11749
400	ERR20	0.12903
400	P1	1.00000
400	P5	0.80000
400	P10	0.60000
400	P15	0.53333
400	P20	0.55000
400	P30	0.60000
400	P50	0.62000
400	P100	0.49000
400	P200	0.30000
400	P500	0.16800
400	P1000	0.10300
401	num_ret	1000.00000
401	num_unjug_ret@1	0.00000
401	num_unjug_ret@10	0.00000
401	num_unjug_ret@20	1.00000
401	num_unjug_ret@100	25.00000
401	num_unjug_ret@1000	599.00000
401	num_rel	300.00000
401	num_rel_ret	64.00000
401	map	0.01785
401	R-prec	0.08000
401	bpref	0.08356
401	recip_rank	0.11111
401	ndcg	0.17221
401	ndcg5	0.00000
401	ndcg10	0.06625
401	ndcg20	0.04276
401	ERR	0.02042
401	ERR10	0.00694
401	ERR20	0.00694
401	P1	0.00000
401	P5	0.00000
401	P10	0.10000
401	P15	0.06667
401	P20	0.05000
401	P30	0.10000
401	P50	0.12000
401	P100	0.10000
401	P200	0.09500
401	P500	0.07000
401	P1000	0.06400
402	num_ret	1000.00000
402	num_unjug_ret@1	0.00000
402	num_unjug_ret@10	0.00000
402	num_unjug_ret@20	0.00000
402	num_unjug_ret@100	5.00000
402	num_unjug_ret@1000	707.00000
402	num_rel	80.00000
402	num_rel_ret	31.00000
402	map	0.05692
402	R-prec	0.15000
402	bpref	0.09672
402	recip_rank	1.00000
402	ndcg	0.31552
402	ndcg5	0.48523
402	ndcg10	0.31488
402	ndcg20	0.27394
402	ERR	0.09295
402	ERR10	0.07715
402	ERR20	0.08430
402	P1	1.00000
402	P5	0.40000
402	P10	0.20000
402	P15	0.20000
402	P20	0.20000
402	P30	0.16667
402	P50	0.16000
402	P100	0.13000
402	P200	0.08000
402	P500	0.05200
402	P1000	0.03100
403	num_ret	1000.00000
403	num_unjug_ret@1	0.00000
403	num_unjug_ret@10	0.00000
403	num_unjug_ret@20	0.00000
403	num_unjug_ret@100	14.00000
403	num_unjug_ret@1000	906.00000
403	num_rel	21.00000
403	num_rel_ret	21.00000
403	map	0.78168
403	R-prec	0.66667
403	bpref	0.74830
403	recip_rank	1.00000
403	ndcg	0.94008
403	ndcg5	1.00000
403	ndcg10	0.92160
403	ndcg20	0.77275
403	ERR	0.16810
403	ERR10	0.15256
403	ERR20	0.16320
403	P1	1.00000
403	P5	1.00000
403	P10	0.90000
403	P15	0.73333
403	P20	0.70000
403	P30	0.60000
403	P50	0.40000
403	P100	0.21000
403	P200	0.10500
403	P500	0.04200
403	P1000	0.02100
404	num_ret	1000.00000
404	num_unjug_ret@1	0.00000
404	num_unjug_ret@10	0.00000
404	num_unjug_ret@20	2.00000
404	num_unjug_ret@100	20.00000
404	num_unjug_ret@1000	556.00000
404	num_rel	142.00000
404	num_rel_ret	81.00000
404	map	0.08661
404	R-prec	0.18310
404	bpref	0.13182
404	recip_rank	0.25000
404	ndcg	0.41588
404	ndcg5	0.14607
404	ndcg10	0.15841
404	ndcg20	0.20704
404	ERR	0.04224
404	ERR10	0.02148
404	ERR20	0.03142
404	P1	0.00000
404	P5	0.20000
404	P10	0.20000
404	P15	0.20000
404	P20	0.25000
404	P30	0.23333
404	P50	0.18000
404	P100	0.18000
404	P200	0.15500
404	P500	0.11800
404	P1000	0.08100
405	num_ret	1000.00000
405	num_unjug_ret@1	0.00000
405	num_unjug_ret@10	0.00000
405	num_unjug_ret@20	0.00000
405	num_unjug_ret@100	5.00000
405	num_unjug_ret@1000	729.00000
405	num_rel	38.00000
405	num_rel_ret	13.00000
405	map	0.07105
405	R-prec	0.13158
405	bpref	0.11634
405	recip_rank	0.50000
405	ndcg	0.28360
405	ndcg5	0.21399
405	ndcg10	0.34528
405	ndcg20	0.25834
405	ERR	0.05880
405	ERR10	0.05164
405	ERR20	0.05486
405	P1	0.00000
405	P5	0.20000
405	P10	0.40000
405	P15	0.33333
405	P20	0.25000
405	P30	0.16667
405	P50	0.14000
405	P100	0.10000
405	P200	0.05500
405	P500	0.02400
405	P1000	0.01300
406	num_ret	1000.00000
406	num_unjug_ret@1	0.00000
406	num_unjug_ret@10	0.00000
406	num_unjug_ret@20	0.00000
406	num_unjug_ret@100	1.00000
406	num_unjug_ret@1000	648.00000
406	num_rel	13.00000
406	num_rel_ret	13.00000
406	map	0.43933
406	R-prec	0.38462
406	bpref	0.33136
406	recip_rank	1.00000
406	ndcg	0.77933
406	ndcg5	0.55315
406	ndcg10	0.51072
406	ndcg20	0.53013
406	ERR	0.12249
406	ERR10	0.10831
406	ERR20	0.11526
406	P1	1.00000
406	P5	0.40000
406	P10	0.40000
406	P15	0.40000
406	P20	0.30000
406	P30	0.26667
406	P50	0.24000
406	P100	0.13000
406	P200	0.06500
406	P500	0.02600
406	P1000	0.01300
407	num_ret	1000.00000
407	num_unjug_ret@1	0.00000
407	num_unjug_ret@10	0.00000
407	num_unjug_ret@20	0.00000
407	num_unjug_ret@100	4.00000
407	num_unjug_ret@1000	514.00000
407	num_rel	68.00000
407	num_rel_ret	62.00000
407	map	0.38282
407	R-prec	0.38235
407	bpref	0.34991
407	recip_rank	1.00000
407	ndcg	0.76727
407	ndcg5	0.83042
407	ndcg10	0.88995
407	ndcg20	0.78467
407	ERR	0.16276
407	ERR10	0.14380
407	ERR20	0.15553
407	P1	1.00000
407	P5	0.80000
407	P10	0.90000
407	P15	0.80000
407	P20	0.75000
407	P30	0.60000
407	P50	0.46000
407	P100	0.32000
407	P200	0.20500
407	P500	0.10000
407	P1000	0.06200
408	num_ret	1000.00000
408	num_unjug_ret@1	0.00000
408	num_unjug_ret@10	0.00000
408	num_unjug_ret@20	0.00000
408	num_unjug_ret@100	0.00000
408	num_unjug_ret@1000	758.00000
408	num_rel	118.00000
408	num_rel_ret	45.00000
408	map	0.14409
408	R-prec	0.33898
408	bpref	0.24713
408	recip_rank	1.00000
408	ndcg	0.39026
408	ndcg5	0.69921
408	ndcg10	0.45374
408	ndcg20	0.33122
408	ERR	0.12809
408	ERR10	0.10553
408	ERR20	0.10982
408	P1	1.00000
408	P5	0.60000
408	P10	0.30000
408	P15	0.26667
408	P20	0.20000
408	P30	0.30000
408	P50	0.36000
408	P100	0.39000
408	P200	0.20000
408	P500	0.08600
408	P1000	0.04500
409	num_ret	1000.00000
409	num_unjug_ret@1	0.00000
409	num_unjug_ret@10	0.00000
409	num_unjug_ret@20	0.00000
409	num_unjug_ret@100	0.00000
409	num_unjug_ret@1000	635.00000
409	num_rel	22.00000
409	num_rel_ret	18.00000
409	map	0.13192
409	R-prec	0.18182
409	bpref	0.11364
409	recip_rank	1.00000
409	ndcg	0.50593
409	ndcg5	0.33916
409	ndcg10	0.22009
409	ndcg20	0.21641
409	ERR	0.08101
409	ERR10	0.06250
409	ERR20	0.07126
409	P1	1.00000
409	P5	0.20000
409	P10	0.10000
409	P15	0.13333
409	P20	0.15000
409	P30	0.20000
409	P50	0.14000
409	P100	0.10000
409	P200	0.05500
409	P500	0.03000
409	P1000	0.01800
410	num_ret	1000.00000
410	num_unjug_ret@1	0.00000
410	num_unjug_ret@10	0.00000
410	num_unjug_ret@20	0.00000
410	num_unjug_ret@100	0.00000
410	num_unjug_ret@1000	814.00000
410	num_rel	65.00000
410	num_rel_ret	62.00000
410	map	0.79667
410	R-prec	0.76923
410	bpref	0.83503
410	recip_rank	1.00000
410	ndcg	0.92725
410	ndcg5	1.00000
410	ndcg10	0.85720
410	ndcg20	0.90784
410	ERR	0.17748
410	ERR10	0.14887
410	ERR20	0.16853
410	P1	1.00000
410	P5	1.00000
410	P10	0.80000
410	P15	0.86667
410	P20	0.90000
410	P30	0.83333
410	P50	0.84000
410	P100	0.62000
410	P200	0.31000
410	P500	0.12400
410	P1000	0.06200
411	num_ret	1000.00000
411	num_unjug_ret@1	0.00000
411	num_unjug_ret@10	0.00000
411	num_unjug_ret@20	0.00000
411	num_unjug_ret@100	12.00000
411	num_unjug_ret@1000	561.00000
411	num_rel	27.00000
411	num_rel_ret	19.00000
411	map	0.31485
411	R-prec	0.37037
411	bpref	0.32785
411	recip_rank	1.00000
411	ndcg	0.63306
411	ndcg5	0.86879
411	ndcg10	0.69947
411	ndcg20	0.55999
411	ERR	0.14677
411	ERR10	0.13405
411	ERR20	0.14263
411	P1	1.00000
411	P5	0.80000
411	P10	0.60000
411	P15	0.53333
411	P20	0.45000
411	P30	0.36667
411	P50	0.24000
411	P100	0.12000
411	P200	0.07500
411	P500	0.03200
411	P1000	0.01900
412	num_ret	1000.00000
412	num_unjug_ret@1	0.00000
412	num_unjug_ret@10	0.00000
412	num_unjug_ret@20	0.00000
412	num_unjug_ret@100	0.00000
412	num_unjug_ret@1000	395.00000
412	num_rel	123.00000
412	num_rel_ret	90.00000
412	map	0.29607
412	R-prec	0.40650
412	bpref	0.33294
412	recip_rank	1.00000
412	ndcg	0.64560
412	ndcg5	0.50874
412	ndcg10	0.68121
412	ndcg20	0.58574
412	ERR	0.13658
412	ERR10	0.11385
412	ERR20	0.12446
412	P1	1.00000
412	P5	0.40000
412	P10	0.70000
412	P15	0.66667
412	P20	0.55000
412	P30	0.56667
412	P50	0.50000
412	P100	0.45000
412	P200	0.31000
412	P500	0.15400
412	P1000	0.09000
413	num_ret	1000.00000
413	num_unjug_ret@1	0.00000
413	num_unjug_ret@10	0.00000
413	num_unjug_ret@20	0.00000
413	num_unjug_ret@100	3.00000
413	num_unjug_ret@1000	365.00000
413	num_rel	69.00000
413	num_rel_ret	51.00000
413	map	0.09155
413	R-prec	0.14493
413	bpref	0.09536
413	recip_rank	0.50000
413	ndcg	0.47609
413	ndcg5	0.34519
413	ndcg10	0.22401
413	ndcg20	0.21931
413	ERR	0.06078
413	ERR10	0.04297
413	ERR20	0.05122
413	P1	0.00000
413	P5	0.40000
413	P10	0.20000
413	P15	0.26667
413	P20	0.20000
413	P30	0.20000
413	P50	0.14000
413	P100	0.12000
413	P200	0.10500
413	P500	0.07000
413	P1000	0.05100
414	num_ret	1000.00000
414	num_unjug_ret@1	0.00000
414	num_unjug_ret@10	0.00000
414	num_unjug_ret@20	0.00000
414	num_unjug_ret@100	4.00000
414	num_unjug_ret@1000	691.00000
414	num_rel	39.00000
414	num_rel_ret	30.00000
414	map	0.29012
414	R-prec	0.35897
414	bpref	0.29191
414	recip_rank	1.00000
414	ndcg	0.64454
414	ndcg5	0.78601
414	ndcg10	0.72415
414	ndcg20	0.50285
414	ERR	0.13730
414	ERR10	0.12448
414	ERR20	0.12714
414	P1	1.00000
414	P5	0.80000
414	P10	0.70000
414	P15	0.53333
414	P20	0.40000
414	P30	0.40000
414	P50	0.30000
414	P100	0.20000
414	P200	0.11000
414	P500	0.05400
414	P1000	0.03000
415	num_ret	1000.00000
415	num_unjug_ret@1	0.00000
415	num_unjug_ret@10	0.00000
415	num_unjug_ret@20	0.00000
415	num_unjug_ret@100	0.00000
415	num_unjug_ret@1000	681.00000
415	num_rel	136.00000
415	num_rel_ret	52.00000
415	map	0.23963
415	R-prec	0.37500
415	bpref	0.30374
415	recip_rank	1.00000
415	ndcg	0.45778
415	ndcg5	1.00000
415	ndcg10	1.00000
415	ndcg20	0.85426
415	ERR	0.17658
415	ERR10	0.15886
415	ERR20	0.16972
415	P1	1.00000
415	P5	1.00000
415	P10	1.00000
415	P15	0.86667
415	P20	0.80000
415	P30	0.60000
415	P50	0.50000
415	P100	0.45000
415	P200	0.26000
415	P500	0.10400
415	P1000	0.05200
416	num_ret	1000.00000
416	num_unjug_ret@1	0.00000
416	num_unjug_ret@10	0.00000
416	num_unjug_ret@20	0.00000
416	num_unjug_ret@100	0.00000
416	num_unjug_ret@1000	720.00000
416	num_rel	42.00000
416	num_rel_ret	41.00000
416	map	0.36718
416	R-prec	0.42857
416	bpref	0.35431
416	recip_rank	0.50000
416	ndcg	0.72329
416	ndcg5	0.34519
416	ndcg10	0.36866
416	ndcg20	0.49140
416	ERR	0.08712
416	ERR10	0.05785
416	ERR20	0.07827
416	P1	0.00000
416	P5	0.40000
416	P10	0.40000
416	P15	0.60000
416	P20	0.55000
416	P30	0.50000
416	P50	0.40000
416	P100	0.26000
416	P200	0.19000
416	P500	0.08200
416	P1000	0.04100
417	num_ret	1000.00000
417	num_unjug_ret@1	0.00000
417	num_unjug_ret@10	0.00000
417	num_unjug_ret@20	0.00000
417	num_unjug_ret@100	0.00000
417	num_unjug_ret@1000	525.00000
417	num_rel	75.00000
417	num_rel_ret	61.00000
417	map	0.40650
417	R-prec	0.45333
417	bpref	0.40533
417	recip_rank	1.00000
417	ndcg	0.73994
417	ndcg5	0.86879
417	ndcg10	0.77524
417	ndcg20	0.78855
417	ERR	0.16774
417	ERR10	0.14093
417	ERR20	0.15937
417	P1	1.00000
417	P5	0.80000
417	P10	0.70000
417	P15	0.80000
417	P20	0.75000
417	P30	0.63333
417	P50	0.50000
417	P100	0.42000
417	P200	0.24000
417	P500	0.11400
417	P1000	0.06100
418	num_ret	1000.00000
418	num_unjug_ret@1	0.00000
418	num_unjug_ret@10	0.00000
418	num_unjug_ret@20	0.00000
418	num_unjug_ret@100	0.00000
418	num_unjug_ret@1000	712.00000
418	num_rel	116.00000
418	num_rel_ret	50.00000
418	map	0.16476
418	R-prec	0.27586
418	bpref	0.20749
418	recip_rank	1.00000
418	ndcg	0.44192
418	ndcg5	0.86879
418	ndcg10	0.70658
418	ndcg20	0.52121
418	ERR	0.15215
418	ERR10	0.13554
418	ERR20	0.13976
418	P1	1.00000
418	P5	0.80000
418	P10	0.60000
418	P15	0.40000
418	P20	0.40000
418	P30	0.40000
418	P50	0.34000
418	P100	0.29000
418	P200	0.24000
418	P500	0.10000
418	P1000	0.05000
419	num_ret	1000.00000
419	num_unjug_ret@1	0.00000
419	num_unjug_ret@10	0.00000
419	num_unjug_ret@20	0.00000
419	num_unjug_ret@100	0.00000
419	num_unjug_ret@1000	631.00000
419	num_rel	16.00000
419	num_rel_ret	7.00000
419	map	0.08995
419	R-prec	0.12500
419	bpref	0.07813
419	recip_rank	1.00000
419	ndcg	0.32875
419	ndcg5	0.33916
419	ndcg10	0.22009
419	ndcg20	0.24312
419	ERR	0.07098
419	ERR10	0.06250
419	ERR20	0.06939
419	P1	1.00000
419	P5	0.20000
419	P10	0.10000
419	P15	0.06667
419	P20	0.15000
419	P30	0.10000
419	P50	0.08000
419	P100	0.04000
419	P200	0.02000
419	P500	0.01200
419	P1000	0.00700
420	num_ret	1000.00000
420	num_unjug_ret@1	0.00000
420	num_unjug_ret@10	0.00000
420	num_unjug_ret@20	0.00000
420	num_unjug_ret@100	0.00000
420	num_unjug_ret@1000	462.00000
420	num_rel	33.00000
420	num_rel_ret	32.00000
420	map	0.43912
420	R-prec	0.39394
420	bpref	0.37557
420	recip_rank	1.00000
420	ndcg	0.79937
420	ndcg5	1.00000
420	ndcg10	1.00000
420	ndcg20	0.68499
420	ERR	0.16690
420	ERR10	0.15886
420	ERR20	0.16184
420	P1	1.00000
420	P5	1.00000
420	P10	1.00000
420	P15	0.73333
420	P20	0.55000
420	P30	0.43333
420	P50	0.26000
420	P100	0.18000
420	P200	0.11000
420	P500	0.06400
420	P1000	0.03200
421	num_ret	1000.00000
421	num_unjug_ret@1	0.00000
421	num_unjug_ret@10	0.00000
421	num_unjug_ret@20	0.00000
421	num_unjug_ret@100	0.00000
421	num_unjug_ret@1000	283.00000
421	num_rel	83.00000
421	num_rel_ret	51.00000
421	map	0.04203
421	R-prec	0.10843
421	bpref	0.05777
421	recip_rank	0.10000
421	ndcg	0.35564
421	ndcg5	0.00000
421	ndcg10	0.06362
421	ndcg20	0.04106
421	ERR	0.01785
421	ERR10	0.00625
421	ERR20	0.00625
421	P1	0.00000
421	P5	0.00000
421	P10	0.10000
421	P15	0.06667
421	P20	0.05000
421	P30	0.10000
421	P50	0.12000
421	P100	0.10000
421	P200	0.06000
421	P500	0.05000
421	P1000	0.05100
422	num_ret	1000.00000
422	num_unjug_ret@1	0.00000
422	num_unjug_ret@10	0.00000
422	num_unjug_ret@20	0.00000
422	num_unjug_ret@100	2.00000
422	num_unjug_ret@1000	489.00000
422	num_rel	152.00000
422	num_rel_ret	117.00000
422	map	0.48623
422	R-prec	0.49342
422	bpref	0.48749
422	recip_rank	1.00000
422	ndcg	0.75242
422	ndcg5	1.00000
422	ndcg10	0.93057
422	ndcg20	0.91884
422	ERR	0.18045
422	ERR10	0.15439
422	ERR20	0.17130
422	P1	1.00000
422	P5	1.00000
422	P10	0.90000
422	P15	0.86667
422	P20	0.90000
422	P30	0.86667
422	P50	0.84000
422	P100	0.65000
422	P200	0.41000
422	P500	0.20400
422	P1000	0.11700
423	num_ret	1000.00000
423	num_unjug_ret@1	0.00000
423	num_unjug_ret@10	0.00000
423	num_unjug_ret@20	0.00000
423	num_unjug_ret@100	0.00000
423	num_unjug_ret@1000	517.00000
423	num_rel	21.00000
423	num_rel_ret	19.00000
423	map	0.58347
423	R-prec	0.61905
423	bpref	0.59864
423	recip_rank	1.00000
423	ndcg	0.81053
423	ndcg5	0.78601
423	ndcg10	0.86114
423	ndcg20	0.70194
423	ERR	0.14573
423	ERR10	0.13403
423	ERR20	0.14346
423	P1	1.00000
423	P5	0.80000
423	P10	0.90000
423	P15	0.73333
423	P20	0.65000
423	P30	0.46667
423	P50	0.28000
423	P100	0.17000
423	P200	0.08500
423	P500	0.03800
423	P1000	0.01900
424	num_ret	1000.00000
424	num_unjug_ret@1	0.00000
424	num_unjug_ret@10	0.00000
424	num_unjug_ret@20	0.00000
424	num_unjug_ret@100	3.00000
424	num_unjug_ret@1000	460.00000
424	num_rel	171.00000
424	num_rel_ret	121.00000
424	map	0.13658
424	R-prec	0.22807
424	bpref	0.16723
424	recip_rank	0.10000
424	ndcg	0.51808
424	ndcg5	0.00000
424	ndcg10	0.06362
424	ndcg20	0.14963
424	ERR	0.03330
424	ERR10	0.00625
424	ERR20	0.01810
424	P1	0.00000
424	P5	0.00000
424	P10	0.10000
424	P15	0.20000
424	P20	0.20000
424	P30	0.20000
424	P50	0.28000
424	P100	0.26000
424	P200	0.21000
424	P500	0.16000
424	P1000	0.12100
425	num_ret	1000.00000
425	num_unjug_ret@1	0.00000
425	num_unjug_ret@10	0.00000
425	num_unjug_ret@20	0.00000
425	num_unjug_ret@100	0.00000
425	num_unjug_ret@1000	556.00000
425	num_rel	162.00000
425	num_rel_ret	140.00000
425	map	0.56293
425	R-prec	0.53704
425	bpref	0.52728
425	recip_rank	1.00000
425	ndcg	0.82982
425	ndcg5	1.00000
425	ndcg10	1.00000
425	ndcg20	1.00000
425	ERR	0.18409
425	ERR10	0.15886
425	ERR20	0.17613
425	P1	1.00000
425	P5	1.00000
425	P10	1.00000
425	P15	1.00000
425	P20	1.00000
425	P30	0.96667
425	P50	0.82000
425	P100	0.67000
425	P200	0.48000
425	P500	0.26600
425	P1000	0.14000
426	num_ret	1000.00000
426	num_unjug_ret@1	0.00000
426	num_unjug_ret@10	0.00000
426	num_unjug_ret@20	0.00000
426	num_unjug_ret@100	3.00000
426	num_unjug_ret@1000	585.00000
426	num_rel	202.00000
426	num_rel_ret	28.00000
426	map	0.01153
426	R-prec	0.05446
426	bpref	0.02995
426	recip_rank	1.00000
426	ndcg	0.12756
426	ndcg5	0.33916
426	ndcg10	0.22009
426	ndcg20	0.14204
426	ERR	0.07035
426	ERR10	0.06250
426	ERR20	0.06250
426	P1	1.00000
426	P5	0.20000
426	P10	0.10000
426	P15	0.06667
426	P20	0.05000
426	P30	0.06667
426	P50	0.08000
426	P100	0.04000
426	P200	0.05500
426	P500	0.04400
426	P1000	0.02800
427	num_ret	1000.00000
427	num_unjug_ret@1	0.00000
427	num_unjug_ret@10	0.00000
427	num_unjug_ret@20	0.00000
427	num_unjug_ret@100	4.00000
427	num_unjug_ret@1000	783.00000
427	num_rel	50.00000
427	num_rel_ret	17.00000
427	map	0.11613
427	R-prec	0.20000
427	bpref	0.16960
427	recip_rank	1.00000
427	ndcg	0.34862
427	ndcg5	0.48523
427	ndcg10	0.60233
427	ndcg20	0.45898
427	ERR	0.11321
427	ERR10	0.10472
427	ERR20	0.11004
427	P1	1.00000
427	P5	0.40000
427	P10	0.60000
427	P15	0.46667
427	P20	0.40000
427	P30	0.30000
427	P50	0.20000
427	P100	0.10000
427	P200	0.06000
427	P500	0.03000
427	P1000	0.01700
428	num_ret	1000.00000
428	num_unjug_ret@1	0.00000
428	num_unjug_ret@10	0.00000
428	num_unjug_ret@20	0.00000
428	num_unjug_ret@100	0.00000
428	num_unjug_ret@1000	478.00000
428	num_rel	118.00000
428	num_rel_ret	105.00000
428	map	0.31134
428	R-prec	0.42373
428	bpref	0.33080
428	recip_rank	1.00000
428	ndcg	0.72397
428	ndcg5	0.72273
428	ndcg10	0.46900
428	ndcg20	0.40320
428	ERR	0.13657
428	ERR10	0.11011
428	ERR20	0.11827
428	P1	1.00000
428	P5	0.60000
428	P10	0.30000
428	P15	0.20000
428	P20	0.30000
428	P30	0.40000
428	P50	0.52000
428	P100	0.45000
428	P200	0.30000
428	P500	0.18000
428	P1000	0.10500
429	num_ret	1000.00000
429	num_unjug_ret@1	0.00000
429	num_unjug_ret@10	0.00000
429	num_unjug_ret@20	0.00000
429	num_unjug_ret@100	0.00000
429	num_unjug_ret@1000	508.00000
429	num_rel	11.00000
429	num_rel_ret	11.00000
429	map	0.27676
429	R-prec	0.18182
429	bpref	0.11570
429	recip_rank	0.33333
429	ndcg	0.57523
429	ndcg5	0.16958
429	ndcg10	0.17948
429	ndcg20	0.32071
429	ERR	0.04614
429	ERR10	0.02816
429	ERR20	0.03779
429	P1	0.00000
429	P5	0.20000
429	P10	0.20000
429	P15	0.20000
429	P20	0.25000
429	P30	0.23333
429	P50	0.22000
429	P100	0.11000
429	P200	0.05500
429	P500	0.02200
429	P1000	0.01100
430	num_ret	1000.00000
430	num_unjug_ret@1	0.00000
430	num_unjug_ret@10	0.00000
430	num_unjug_ret@20	0.00000
430	num_unjug_ret@100	12.00000
430	num_unjug_ret@1000	509.00000
430	num_rel	6.00000
430	num_rel_ret	6.00000
430	map	0.68175
430	R-prec	0.50000
430	bpref	0.50000
430	recip_rank	1.00000
430	ndcg	0.87970
430	ndcg5	0.72273
430	ndcg10	0.64482
430	ndcg20	0.87970
430	ERR	0.12086
430	ERR10	0.11011
430	ERR20	0.12086
430	P1	1.00000
430	P5	0.60000
430	P10	0.30000
430	P15	0.40000
430	P20	0.30000
430	P30	0.20000
430	P50	0.12000
430	P100	0.06000
430	P200	0.03000
430	P500	0.01200
430	P1000	0.00600
431	num_ret	1000.00000
431	num_unjug_ret@1	0.00000
431	num_unjug_ret@10	0.00000
431	num_unjug_ret@20	0.00000
431	num_unjug_ret@100	0.00000
431	num_unjug_ret@1000	486.00000
431	num_rel	130.00000
431	num_rel_ret	128.00000
431	map	0.54215
431	R-prec	0.53846
431	bpref	0.48355
431	recip_rank	1.00000
431	ndcg	0.88089
431	ndcg5	1.00000
431	ndcg10	0.93638
431	ndcg20	0.92608
431	ERR	0.18117
431	ERR10	0.15536
431	ERR20	0.17275
431	P1	1.00000
431	P5	1.00000
431	P10	0.90000
431	P15	0.93333
431	P20	0.90000
431	P30	0.80000
431	P50	0.70000
431	P100	0.60000
431	P200	0.38500
431	P500	0.23200
431	P1000	0.12800
432	num_ret	1000.00000
432	num_unjug_ret@1	0.00000
432	num_unjug_ret@10	1.00000
432	num_unjug_ret@20	2.00000
432	num_unjug_ret@100	23.00000
432	num_unjug_ret@1000	609.00000
432	num_rel	28.00000
432	num_rel_ret	6.00000
432	map	0.00329
432	R-prec	0.03571
432	bpref	0.01020
432	recip_rank	0.04348
432	ndcg	0.09180
432	ndcg5	0.00000
432	ndcg10	0.00000
432	ndcg20	0.00000
432	ERR	0.00358
432	ERR10	0.00000
432	ERR20	0.00000
432	P1	0.00000
432	P5	0.00000
432	P10	0.00000
432	P15	0.00000
432	P20	0.00000
432	P30	0.03333
432	P50	0.02000
432	P100	0.01000
432	P200	0.01000
432	P500	0.00800
432	P1000	0.00600
433	num_ret	1000.00000
433	num_unjug_ret@1	0.00000
433	num_unjug_ret@10	0.00000
433	num_unjug_ret@20	0.00000
433	num_unjug_ret@100	15.00000
433	num_unjug_ret@1000	514.00000
433	num_rel	13.00000
433	num_rel_ret	11.00000
433	map	0.24691
433	R-prec	0.30769
433	bpref	0.23077
433	recip_rank	1.00000
433	ndcg	0.60449
433	ndcg5	0.48523
433	ndcg10	0.39328
433	ndcg20	0.38412
433	ERR	0.09583
433	ERR10	0.08630
433	ERR20	0.09060
433	P1	1.00000
433	P5	0.40000
433	P10	0.30000
433	P15	0.26667
433	P20	0.20000
433	P30	0.16667
433	P50	0.12000
433	P100	0.10000
433	P200	0.05500
433	P500	0.02200
433	P1000	0.01100
434	num_ret	1000.00000
434	num_unjug_ret@1	0.00000
434	num_unjug_ret@10	0.00000
434	num_unjug_ret@20	0.00000
434	num_unjug_ret@100	0.00000
434	num_unjug_ret@1000	318.00000
434	num_rel	347.00000
434	num_rel_ret	251.00000
434	map	0.37980
434	R-prec	0.40346
434	bpref	0.38928
434	recip_rank	1.00000
434	ndcg	0.69229
434	ndcg5	0.83042
434	ndcg10	0.82370
434	ndcg20	0.81580
434	ERR	0.16735
434	ERR10	0.13962
434	ERR20	0.15632
434	P1	1.00000
434	P5	0.80000
434	P10	0.80000
434	P15	0.80000
434	P20	0.80000
434	P30	0.83333
434	P50	0.84000
434	P100	0.77000
434	P200	0.51000
434	P500	0.35200
434	P1000	0.25100
435	num_ret	1000.00000
435	num_unjug_ret@1	0.00000
435	num_unjug_ret@10	0.00000
435	num_unjug_ret@20	0.00000
435	num_unjug_ret@100	8.00000
435	num_unjug_ret@1000	534.00000
435	num_rel	117.00000
435	num_rel_ret	75.00000
435	map	0.17423
435	R-prec	0.28205
435	bpref	0.21674
435	recip_rank	1.00000
435	ndcg	0.53739
435	ndcg5	0.61643
435	ndcg10	0.60326
435	ndcg20	0.49100
435	ERR	0.12336
435	ERR10	0.10538
435	ERR20	0.11234
435	P1	1.00000
435	P5	0.60000
435	P10	0.60000
435	P15	0.40000
435	P20	0.45000
435	P30	0.43333
435	P50	0.32000
435	P100	0.30000
435	P200	0.22000
435	P500	0.12000
435	P1000	0.07500
436	num_ret	1000.00000
436	num_unjug_ret@1	0.00000
436	num_unjug_ret@10	0.00000
436	num_unjug_ret@20	0.00000
436	num_unjug_ret@100	3.00000
436	num_unjug_ret@1000	504.00000
436	num_rel	180.00000
436	num_rel_ret	84.00000
436	map	0.14578
436	R-prec	0.20556
436	bpref	0.17738
436	recip_rank	0.50000
436	ndcg	0.43077
436	ndcg5	0.52963
436	ndcg10	0.61637
436	ndcg20	0.64809
436	ERR	0.11209
436	ERR10	0.08718
436	ERR20	0.10351
436	P1	0.00000
436	P5	0.60000
436	P10	0.70000
436	P15	0.73333
436	P20	0.70000
436	P30	0.63333
436	P50	0.50000
436	P100	0.31000
436	P200	0.19500
436	P500	0.12400
436	P1000	0.08400
437	num_ret	1000.00000
437	num_unjug_ret@1	0.00000
437	num_unjug_ret@10	0.00000
437	num_unjug_ret@20	4.00000
437	num_unjug_ret@100	29.00000
437	num_unjug_ret@1000	580.00000
437	num_rel	72.00000
437	num_rel_ret	8.00000
437	map	0.00120
437	R-prec	0.00000
437	bpref	0.00019
437	recip_rank	0.00990
437	ndcg	0.05767
437	ndcg5	0.00000
437	ndcg10	0.00000
437	ndcg20	0.00000
437	ERR	0.00155
437	ERR10	0.00000
437	ERR20	0.00000
437	P1	0.00000
437	P5	0.00000
437	P10	0.00000
437	P15	0.00000
437	P20	0.00000
437	P30	0.00000
437	P50	0.00000
437	P100	0.00000
437	P200	0.00500
437	P500	0.01000
437	P1000	0.00800
438	num_ret	1000.00000
438	num_unjug_ret@1	0.00000
438	num_unjug_ret@10	0.00000
438	num_unjug_ret@20	0.00000
438	num_unjug_ret@100	0.00000
438	num_unjug_ret@1000	433.00000
438	num_rel	173.00000
438	num_rel_ret	132.00000
438	map	0.23055
438	R-prec	0.30058
438	bpref	0.23709
438	recip_rank	0.33333
438	ndcg	0.61720
438	ndcg5	0.31565
438	ndcg10	0.40414
438	ndcg20	0.43704
438	ERR	0.07829
438	ERR10	0.05290
438	ERR20	0.06624
438	P1	0.00000
438	P5	0.40000
438	P10	0.50000
438	P15	0.46667
438	P20	0.50000
438	P30	0.50000
438	P50	0.46000
438	P100	0.34000
438	P200	0.30500
438	P500	0.21200
438	P1000	0.13200
439	num_ret	1000.00000
439	num_unjug_ret@1	0.00000
439	num_unjug_ret@10	0.00000
439	num_unjug_ret@20	0.00000
439	num_unjug_ret@100	1.00000
439	num_unjug_ret@1000	450.00000
439	num_rel	219.00000
439	num_rel_ret	27.00000
439	map	0.00655
439	R-prec	0.05023
439	bpref	0.02817
439	recip_rank	0.07143
439	ndcg	0.09786
439	ndcg5	0.00000
439	ndcg10	0.00000
439	ndcg20	0.03636
439	ERR	0.01161
439	ERR10	0.00000
439	ERR20	0.00446
439	P1	0.00000
439	P5	0.00000
439	P10	0.00000
439	P15	0.06667
439	P20	0.05000
439	P30	0.06667
439	P50	0.06000
439	P100	0.04000
439	P200	0.05500
439	P500	0.04600
439	P1000	0.02700
440	num_ret	1000.00000
440	num_unjug_ret@1	0.00000
440	num_unjug_ret@10	0.00000
440	num_unjug_ret@20	0.00000
440	num_unjug_ret@100	2.00000
440	num_unjug_ret@1000	518.00000
440	num_rel	54.00000
440	num_rel_ret	38.00000
440	map	0.14358
440	R-prec	0.24074
440	bpref	0.17181
440	recip_rank	0.50000
440	ndcg	0.49599
440	ndcg5	0.36005
440	ndcg10	0.23365
440	ndcg20	0.25339
440	ERR	0.06793
440	ERR10	0.04590
440	ERR20	0.05519
440	P1	0.00000
440	P5	0.40000
440	P10	0.20000
440	P15	0.20000
440	P20	0.25000
440	P30	0.23333
440	P50	0.26000
440	P100	0.20000
440	P200	0.13500
440	P500	0.06400
440	P1000	0.03800
441	num_ret	1000.00000
441	num_unjug_ret@1	0.00000
441	num_unjug_ret@10	0.00000
441	num_unjug_ret@20	0.00000
441	num_unjug_ret@100	0.00000
441	num_unjug_ret@1000	454.00000
441	num_rel	17.00000
441	num_rel_ret	17.00000
441	map	0.67915
441	R-prec	0.52941
441	bpref	0.57439
441	recip_rank	1.00000
441	ndcg	0.90074
441	ndcg5	0.86879
441	ndcg10	0.77524
441	ndcg20	0.70751
441	ERR	0.15538
441	ERR10	0.14093
441	ERR20	0.14977
441	P1	1.00000
441	P5	0.80000
441	P10	0.70000
441	P15	0.53333
441	P20	0.55000
441	P30	0.46667
441	P50	0.34000
441	P100	0.17000
441	P200	0.08500
441	P500	0.03400
441	P1000	0.01700
442	num_ret	1000.00000
442	num_unjug_ret@1	0.00000
442	num_unjug_ret@10	0.00000
442	num_unjug_ret@20	0.00000
442	num_unjug_ret@100	5.00000
442	num_unjug_ret@1000	531.00000
442	num_rel	94.00000
442	num_rel_ret	25.00000
442	map	0.01295
442	R-prec	0.03191
442	bpref	0.02196
442	recip_rank	0.25000
442	ndcg	0.17260
442	ndcg5	0.14607
442	ndcg10	0.16104
442	ndcg20	0.10393
442	ERR	0.02520
442	ERR10	0.02214
442	ERR20	0.02214
442	P1	0.00000
442	P5	0.20000
442	P10	0.20000
442	P15	0.13333
442	P20	0.10000
442	P30	0.06667
442	P50	0.04000
442	P100	0.03000
442	P200	0.03500
442	P500	0.02800
442	P1000	0.02500
443	num_ret	1000.00000
443	num_unjug_ret@1	0.00000
443	num_unjug_ret@10	1.00000
443	num_unjug_ret@20	2.00000
443	num_unjug_ret@100	8.00000
443	num_unjug_ret@1000	527.00000
443	num_rel	102.00000
443	num_rel_ret	68.00000
443	map	0.22478
443	R-prec	0.32353
443	bpref	0.27662
443	recip_rank	0.33333
443	ndcg	0.55631
443	ndcg5	0.44685
443	ndcg10	0.48928
443	ndcg20	0.53478
443	ERR	0.08840
443	ERR10	0.06280
443	ERR20	0.07892
443	P1	0.00000
443	P5	0.60000
443	P10	0.60000
443	P15	0.66667
443	P20	0.60000
443	P30	0.46667
443	P50	0.46000
443	P100	0.31000
443	P200	0.22500
443	P500	0.11800
443	P1000	0.06800
444	num_ret	1000.00000
444	num_unjug_ret@1	0.00000
444	num_unjug_ret@10	0.00000
444	num_unjug_ret@20	0.00000
444	num_unjug_ret@100	0.00000
444	num_unjug_ret@1000	537.00000
444	num_rel	17.00000
444	num_rel_ret	17.00000
444	map	0.92285
444	R-prec	0.88235
444	bpref	0.93426
444	recip_rank	1.00000
444	ndcg	0.97894
444	ndcg5	1.00000
444	ndcg10	0.92664
444	ndcg20	0.94360
444	ERR	0.16932
444	ERR10	0.15364
444	ERR20	0.16826
444	P1	1.00000
444	P5	1.00000
444	P10	0.90000
444	P15	0.86667
444	P20	0.80000
444	P30	0.56667
444	P50	0.34000
444	P100	0.17000
444	P200	0.08500
444	P500	0.03400
444	P1000	0.01700
445	num_ret	1000.00000
445	num_unjug_ret@1	0.00000
445	num_unjug_ret@10	0.00000
445	num_unjug_ret@20	0.00000
445	num_unjug_ret@100	0.00000
445	num_unjug_ret@1000	549.00000
445	num_rel	62.00000
445	num_rel_ret	49.00000
445	map	0.20196
445	R-prec	0.29032
445	bpref	0.22399
445	recip_rank	1.00000
445	ndcg	0.60608
445	ndcg5	0.78601
445	ndcg10	0.72545
445	ndcg20	0.54387
445	ERR	0.13890
445	ERR10	0.12482
445	ERR20	0.13100
445	P1	1.00000
445	P5	0.80000
445	P10	0.70000
445	P15	0.60000
445	P20	0.45000
445	P30	0.40000
445	P50	0.32000
445	P100	0.19000
445	P200	0.09500
445	P500	0.08000
445	P1000	0.04900
446	num_ret	1000.00000
446	num_unjug_ret@1	0.00000
446	num_unjug_ret@10	0.00000
446	num_unjug_ret@20	0.00000
446	num_unjug_ret@100	4.00000
446	num_unjug_ret@1000	512.00000
446	num_rel	162.00000
446	num_rel_ret	126.00000
446	map	0.30511
446	R-prec	0.33951
446	bpref	0.31988
446	recip_rank	1.00000
446	ndcg	0.69165
446	ndcg5	1.00000
446	ndcg10	0.86302
446	ndcg20	0.73919
446	ERR	0.17222
446	ERR10	0.14991
446	ERR20	0.16198
446	P1	1.00000
446	P5	1.00000
446	P10	0.80000
446	P15	0.80000
446	P20	0.65000
446	P30	0.60000
446	P50	0.52000
446	P100	0.42000
446	P200	0.31000
446	P500	0.21200
446	P1000	0.12600
447	num_ret	1000.00000
447	num_unjug_ret@1	0.00000
447	num_unjug_ret@10	0.00000
447	num_unjug_ret@20	0.00000
447	num_unjug_ret@100	0.00000
447	num_unjug_ret@1000	418.00000
447	num_rel	16.00000
447	num_rel_ret	16.00000
447	map	0.33448
447	R-prec	0.25000
447	bpref	0.21094
447	recip_rank	1.00000
447	ndcg	0.72648
447	ndcg5	0.69921
447	ndcg10	0.45374
447	ndcg20	0.38065
447	ERR	0.11879
447	ERR10	0.10553
447	ERR20	0.10949
447	P1	1.00000
447	P5	0.60000
447	P10	0.30000
447	P15	0.26667
447	P20	0.20000
447	P30	0.16667
447	P50	0.16000
447	P100	0.16000
447	P200	0.08000
447	P500	0.03200
447	P1000	0.01600
448	num_ret	1000.00000
448	num_unjug_ret@1	0.00000
448	num_unjug_ret@10	0.00000
448	num_unjug_ret@20	1.00000
448	num_unjug_ret@100	18.00000
448	num_unjug_ret@1000	524.00000
448	num_rel	46.00000
448	num_rel_ret	14.00000
448	map	0.00938
448	R-prec	0.02174
448	bpref	0.01796
448	recip_rank	0.11111
448	ndcg	0.15727
448	ndcg5	0.00000
448	ndcg10	0.06625
448	ndcg20	0.04276
448	ERR	0.00967
448	ERR10	0.00694
448	ERR20	0.00694
448	P1	0.00000
448	P5	0.00000
448	P10	0.10000
448	P15	0.06667
448	P20	0.05000
448	P30	0.03333
448	P50	0.02000
448	P100	0.02000
448	P200	0.02500
448	P500	0.02200
448	P1000	0.01400
449	num_ret	1000.00000
449	num_unjug_ret@1	0.00000
449	num_unjug_ret@10	0.00000
449	num_unjug_ret@20	0.00000
449	num_unjug_ret@100	1.00000
449	num_unjug_ret@1000	522.00000
449	num_rel	67.00000
449	num_rel_ret	32.00000
449	map	0.09389
449	R-prec	0.14925
449	bpref	0.12297
449	recip_rank	0.50000
449	ndcg	0.37984
449	ndcg5	0.38357
449	ndcg10	0.45215
449	ndcg20	0.33142
449	ERR	0.08091
449	ERR10	0.06918
449	ERR20	0.07329
449	P1	0.00000
449	P5	0.40000
449	P10	0.50000
449	P15	0.40000
449	P20	0.30000
449	P30	0.23333
449	P50	0.20000
449	P100	0.12000
449	P200	0.09500
449	P500	0.06200
449	P1000	0.03200
450	num_ret	1000.00000
450	num_unjug_ret@1	0.00000
450	num_unjug_ret@10	0.00000
450	num_unjug_ret@20	0.00000
450	num_unjug_ret@100	3.00000
450	num_unjug_ret@1000	490.00000
450	num_rel	293.00000
450	num_rel_ret	199.00000
450	map	0.28065
450	R-prec	0.36519
450	bpref	0.32006
450	recip_rank	0.50000
450	ndcg	0.62085
450	ndcg5	0.66084
450	ndcg10	0.71365
450	ndcg20	0.71192
450	ERR	0.12424
450	ERR10	0.09861
450	ERR20	0.11405
450	P1	0.00000
450	P5	0.80000
450	P10	0.80000
450	P15	0.80000
450	P20	0.75000
450	P30	0.70000
450	P50	0.66000
450	P100	0.54000
450	P200	0.43500
450	P500	0.24400
450	P1000	0.19900
601	num_ret	1000.00000
601	num_unjug_ret@1	0.00000
601	num_unjug_ret@10	0.00000
601	num_unjug_ret@20	0.00000
601	num_unjug_ret@100	0.00000
601	num_unjug_ret@1000	607.00000
601	num_rel	5.00000
601	num_rel_ret	5.00000
601	map	0.41426
601	R-prec	0.60000
601	bpref	0.48000
601	recip_rank	0.50000
601	ndcg	0.52975
601	ndcg5	0.41248
601	ndcg10	0.41248
601	ndcg20	0.41248
601	ERR	0.10675
601	ERR10	0.10175
601	ERR20	0.10175
601	P1	0.00000
601	P5	0.60000
601	P10	0.30000
601	P15	0.20000
601	P20	0.15000
601	P30	0.13333
601	P50	0.08000
601	P100	0.04000
601	P200	0.02000
601	P500	0.00800
601	P1000	0.00500
602	num_ret	1000.00000
602	num_unjug_ret@1	0.00000
602	num_unjug_ret@10	0.00000
602	num_unjug_ret@20	0.00000
602	num_unjug_ret@100	5.00000
602	num_unjug_ret@1000	585.00000
602	num_rel	84.00000
602	num_rel_ret	82.00000
602	map	0.30275
602	R-prec	0.34524
602	bpref	0.27041
602	recip_rank	1.00000
602	ndcg	0.62556
602	ndcg5	0.17182
602	ndcg10	0.14347
602	ndcg20	0.17537
602	ERR	0.10353
602	ERR10	0.07422
602	ERR20	0.08456
602	P1	1.00000
602	P5	0.40000
602	P10	0.20000
602	P15	0.20000
602	P20	0.25000
602	P30	0.30000
602	P50	0.32000
602	P100	0.35000
602	P200	0.29500
602	P500	0.15600
602	P1000	0.08200
603	num_ret	1000.00000
603	num_unjug_ret@1	0.00000
603	num_unjug_ret@10	0.00000
603	num_unjug_ret@20	0.00000
603	num_unjug_ret@100	0.00000
603	num_unjug_ret@1000	564.00000
603	num_rel	16.00000
603	num_rel_ret	16.00000
603	map	0.21966
603	R-prec	0.25000
603	bpref	0.21094
603	recip_rank	1.00000
603	ndcg	0.62576
603	ndcg5	0.33916
603	ndcg10	0.30235
603	ndcg20	0.48962
603	ERR	0.23459
603	ERR10	0.20654
603	ERR20	0.23304
603	P1	1.00000
603	P5	0.20000
603	P10	0.20000
603	P15	0.26667
603	P20	0.35000
603	P30	0.26667
603	P50	0.16000
603	P100	0.08000
603	P200	0.06000
603	P500	0.02400
603	P1000	0.01600
604	num_ret	1000.00000
604	num_unjug_ret@1	0.00000
604	num_unjug_ret@10	0.00000
604	num_unjug_ret@20	0.00000
604	num_unjug_ret@100	3.00000
604	num_unjug_ret@1000	608.00000
604	num_rel	8.00000
604	num_rel_ret	8.00000
604	map	0.84491
604	R-prec	0.75000
604	bpref	0.76563
604	recip_rank	1.00000
604	ndcg	0.98092
604	ndcg5	1.00000
604	ndcg10	0.93181
604	ndcg20	0.95848
604	ERR	0.35206
604	ERR10	0.34958
604	ERR20	0.35117
604	P1	1.00000
604	P5	1.00000
604	P10	0.60000
604	P15	0.46667
604	P20	0.35000
604	P30	0.26667
604	P50	0.16000
604	P100	0.08000
604	P200	0.04000
604	P500	0.01600
604	P1000	0.00800
605	num_ret	1000.00000
605	num_unjug_ret@1	0.00000
605	num_unjug_ret@10	0.00000
605	num_unjug_ret@20	0.00000
605	num_unjug_ret@100	1.00000
605	num_unjug_ret@1000	483.00000
605	num_rel	72.00000
605	num_rel_ret	48.00000
605	map	0.04128
605	R-prec	0.04167
605	bpref	0.01871
605	recip_rank	0.14286
605	ndcg	0.36357
605	ndcg5	0.00000
605	ndcg10	0.07336
605	ndcg20	0.04735
605	ERR	0.01509
605	ERR10	0.00893
605	ERR20	0.00893
605	P1	0.00000
605	P5	0.00000
605	P10	0.10000
605	P15	0.06667
605	P20	0.05000
605	P30	0.03333
605	P50	0.02000
605	P100	0.05000
605	P200	0.05500
605	P500	0.06400
605	P1000	0.04800
606	num_ret	1000.00000
606	num_unjug_ret@1	0.00000
606	num_unjug_ret@10	0.00000
606	num_unjug_ret@20	0.00000
606	num_unjug_ret@100	2.00000
606	num_unjug_ret@1000	627.00000
606	num_rel	14.00000
606	num_rel_ret	13.00000
606	map	0.52928
606	R-prec	0.50000
606	bpref	0.45408
606	recip_rank	1.00000
606	ndcg	0.79869
606	ndcg5	0.76940
606	ndcg10	0.64244
606	ndcg20	0.65020
606	ERR	0.30599
606	ERR10	0.29435
606	ERR20	0.30138
606	P1	1.00000
606	P5	1.00000
606	P10	0.50000
606	P15	0.46667
606	P20	0.40000
606	P30	0.26667
606	P50	0.20000
606	P100	0.12000
606	P200	0.06500
606	P500	0.02600
606	P1000	0.01300
607	num_ret	1000.00000
607	num_unjug_ret@1	0.00000
607	num_unjug_ret@10	0.00000
607	num_unjug_ret@20	0.00000
607	num_unjug_ret@100	3.00000
607	num_unjug_ret@1000	614.00000
607	num_rel	11.00000
607	num_rel_ret	9.00000
607	map	0.14287
607	R-prec	0.27273
607	bpref	0.14050
607	recip_rank	0.25000
607	ndcg	0.43563
607	ndcg5	0.14607
607	ndcg10	0.22784
607	ndcg20	0.26264
607	ERR	0.03521
607	ERR10	0.02844
607	ERR20	0.03115
607	P1	0.00000
607	P5	0.20000
607	P10	0.30000
607	P15	0.20000
607	P20	0.20000
607	P30	0.13333
607	P50	0.14000
607	P100	0.07000
607	P200	0.04500
607	P500	0.01800
607	P1000	0.00900
608	num_ret	1000.00000
608	num_unjug_ret@1	0.00000
608	num_unjug_ret@10	0.00000
608	num_unjug_ret@20	0.00000
608	num_unjug_ret@100	4.00000
608	num_unjug_ret@1000	521.00000
608	num_rel	27.00000
608	num_rel_ret	20.00000
608	map	0.03568
608	R-prec	0.03704
608	bpref	0.02469
608	recip_rank	0.10000
608	ndcg	0.28582
608	ndcg5	0.00000
608	ndcg10	0.03283
608	ndcg20	0.02558
608	ERR	0.01316
608	ERR10	0.00625
608	ERR20	0.00625
608	P1	0.00000
608	P5	0.00000
608	P10	0.10000
608	P15	0.06667
608	P20	0.05000
608	P30	0.03333
608	P50	0.04000
608	P100	0.06000
608	P200	0.04500
608	P500	0.03400
608	P1000	0.02000
609	num_ret	1000.00000
609	num_unjug_ret@1	0.00000
609	num_unjug_ret@10	0.00000
609	num_unjug_ret@20	0.00000
609	num_unjug_ret@100	9.00000
609	num_unjug_ret@1000	567.00000
609	num_rel	30.00000
609	num_rel_ret	24.00000
609	map	0.15463
609	R-prec	0.23333
609	bpref	0.19111
609	recip_rank	0.50000
609	ndcg	0.50956
609	ndcg5	0.36005
609	ndcg10	0.31936
609	ndcg20	0.35347
609	ERR	0.16429
609	ERR10	0.14802
609	ERR20	0.16067
609	P1	0.00000
609	P5	0.40000
609	P10	0.40000
609	P15	0.33333
609	P20	0.30000
609	P30	0.23333
609	P50	0.22000
609	P100	0.13000
609	P200	0.07500
609	P500	0.03600
609	P1000	0.02400
610	num_ret	1000.00000
610	num_unjug_ret@1	0.00000
610	num_unjug_ret@10	0.00000
610	num_unjug_ret@20	0.00000
610	num_unjug_ret@100	0.00000
610	num_unjug_ret@1000	586.00000
610	num_rel	6.00000
610	num_rel_ret	6.00000
610	map	0.04697
610	R-prec	0.00000
610	bpref	0.00000
610	recip_rank	0.06250
610	ndcg	0.31150
610	ndcg5	0.00000
610	ndcg10	0.00000
610	ndcg20	0.07403
610	ERR	0.00817
610	ERR10	0.00000
610	ERR20	0.00391
610	P1	0.00000
610	P5	0.00000
610	P10	0.00000
610	P15	0.00000
610	P20	0.05000
610	P30	0.06667
610	P50	0.04000
610	P100	0.02000
610	P200	0.03000
610	P500	0.01200
610	P1000	0.00600
611	num_ret	1000.00000
611	num_unjug_ret@1	0.00000
611	num_unjug_ret@10	0.00000
611	num_unjug_ret@20	0.00000
611	num_unjug_ret@100	22.00000
611	num_unjug_ret@1000	660.00000
611	num_rel	49.00000
611	num_rel_ret	39.00000
611	map	0.18626
611	R-prec	0.18367
611	bpref	0.16785
611	recip_rank	1.00000
611	ndcg	0.55063
611	ndcg5	0.62876
611	ndcg10	0.43415
611	ndcg20	0.29340
611	ERR	0.28797
611	ERR10	0.27621
611	ERR20	0.27930
611	P1	1.00000
611	P5	0.80000
611	P10	0.50000
611	P15	0.40000
611	P20	0.30000
611	P30	0.23333
611	P50	0.18000
611	P100	0.15000
611	P200	0.11000
611	P500	0.05600
611	P1000	0.03900
612	num_ret	1000.00000
612	num_unjug_ret@1	0.00000
612	num_unjug_ret@10	0.00000
612	num_unjug_ret@20	0.00000
612	num_unjug_ret@100	0.00000
612	num_unjug_ret@1000	647.00000
612	num_rel	17.00000
612	num_rel_ret	16.00000
612	map	0.50255
612	R-prec	0.58824
612	bpref	0.51211
612	recip_rank	1.00000
612	ndcg	0.62568
612	ndcg5	0.47244
612	ndcg10	0.42429
612	ndcg20	0.47571
612	ERR	0.20125
612	ERR10	0.18652
612	ERR20	0.19864
612	P1	1.00000
612	P5	0.80000
612	P10	0.70000
612	P15	0.60000
612	P20	0.50000
612	P30	0.33333
612	P50	0.24000
612	P100	0.13000
612	P200	0.07000
612	P500	0.03200
612	P1000	0.01600
613	num_ret	1000.00000
613	num_unjug_ret@1	0.00000
613	num_unjug_ret@10	0.00000
613	num_unjug_ret@20	0.00000
613	num_unjug_ret@100	0.00000
613	num_unjug_ret@1000	632.00000
613	num_rel	47.00000
613	num_rel_ret	40.00000
613	map	0.21027
613	R-prec	0.23404
613	bpref	0.18742
613	recip_rank	1.00000
613	ndcg	0.60187
613	ndcg5	0.25912
613	ndcg10	0.38354
613	ndcg20	0.35476
613	ERR	0.17398
613	ERR10	0.15626
613	ERR20	0.16977
613	P1	1.00000
613	P5	0.40000
613	P10	0.50000
613	P15	0.40000
613	P20	0.40000
613	P30	0.30000
613	P50	0.24000
613	P100	0.22000
613	P200	0.13500
613	P500	0.06800
613	P1000	0.04000
614	num_ret	1000.00000
614	num_unjug_ret@1	0.00000
614	num_unjug_ret@10	0.00000
614	num_unjug_ret@20	0.00000
614	num_unjug_ret@100	0.00000
614	num_unjug_ret@1000	600.00000
614	num_rel	30.00000
614	num_rel_ret	26.00000
614	map	0.27751
614	R-prec	0.26667
614	bpref	0.22556
614	recip_rank	1.00000
614	ndcg	0.64127
614	ndcg5	0.53167
614	ndcg10	0.55449
614	ndcg20	0.50101
614	ERR	0.20239
614	ERR10	0.19164
614	ERR20	0.19716
614	P1	1.00000
614	P5	0.80000
614	P10	0.50000
614	P15	0.33333
614	P20	0.30000
614	P30	0.26667
614	P50	0.24000
614	P100	0.15000
614	P200	0.09500
614	P500	0.04800
614	P1000	0.02600
615	num_ret	1000.00000
615	num_unjug_ret@1	0.00000
615	num_unjug_ret@10	0.00000
615	num_unjug_ret@20	0.00000
615	num_unjug_ret@100	12.00000
615	num_unjug_ret@1000	671.00000
615	num_rel	12.00000
615	num_rel_ret	7.00000
615	map	0.08052
615	R-prec	0.16667
615	bpref	0.09722
615	recip_rank	0.33333
615	ndcg	0.24285
615	ndcg5	0.08051
615	ndcg10	0.10109
615	ndcg20	0.12437
615	ERR	0.03541
615	ERR10	0.02669
615	ERR20	0.03035
615	P1	0.00000
615	P5	0.20000
615	P10	0.20000
615	P15	0.20000
615	P20	0.15000
615	P30	0.10000
615	P50	0.08000
615	P100	0.05000
615	P200	0.03000
615	P500	0.01400
615	P1000	0.00700
616	num_ret	1000.00000
616	num_unjug_ret@1	0.00000
616	num_unjug_ret@10	0.00000
616	num_unjug_ret@20	5.00000
616	num_unjug_ret@100	14.00000
616	num_unjug_ret@1000	543.00000
616	num_rel	41.00000
616	num_rel_ret	41.00000
616	map	0.37077
616	R-prec	0.36585
616	bpref	0.53302
616	recip_rank	1.00000
616	ndcg	0.61817
616	ndcg5	0.11305
616	ndcg10	0.23839
616	ndcg20	0.28283
616	ERR	0.12487
616	ERR10	0.10155
616	ERR20	0.11318
616	P1	1.00000
616	P5	0.20000
616	P10	0.40000
616	P15	0.33333
616	P20	0.35000
616	P30	0.36667
616	P50	0.46000
616	P100	0.33000
616	P200	0.19000
616	P500	0.07800
616	P1000	0.04100
617	num_ret	1000.00000
617	num_unjug_ret@1	0.00000
617	num_unjug_ret@10	0.00000
617	num_unjug_ret@20	0.00000
617	num_unjug_ret@100	0.00000
617	num_unjug_ret@1000	428.00000
617	num_rel	68.00000
617	num_rel_ret	61.00000
617	map	0.30525
617	R-prec	0.35294
617	bpref	0.30125
617	recip_rank	1.00000
617	ndcg	0.57367
617	ndcg5	0.21332
617	ndcg10	0.21331
617	ndcg20	0.29841
617	ERR	0.13513
617	ERR10	0.10574
617	ERR20	0.12398
617	P1	1.00000
617	P5	0.60000
617	P10	0.50000
617	P15	0.53333
617	P20	0.60000
617	P30	0.53333
617	P50	0.46000
617	P100	0.30000
617	P200	0.20000
617	P500	0.11000
617	P1000	0.06100
618	num_ret	1000.00000
618	num_unjug_ret@1	0.00000
618	num_unjug_ret@10	0.00000
618	num_unjug_ret@20	0.00000
618	num_unjug_ret@100	0.00000
618	num_unjug_ret@1000	703.00000
618	num_rel	27.00000
618	num_rel_ret	27.00000
618	map	0.16819
618	R-prec	0.18519
618	bpref	0.12346
618	recip_rank	0.33333
618	ndcg	0.48289
618	ndcg5	0.10104
618	ndcg10	0.07641
618	ndcg20	0.11202
618	ERR	0.04320
618	ERR10	0.02083
618	ERR20	0.02900
618	P1	0.00000
618	P5	0.20000
618	P10	0.10000
618	P15	0.20000
618	P20	0.15000
618	P30	0.23333
618	P50	0.22000
618	P100	0.15000
618	P200	0.11000
618	P500	0.05400
618	P1000	0.02700
619	num_ret	1000.00000
619	num_unjug_ret@1	0.00000
619	num_unjug_ret@10	0.00000
619	num_unjug_ret@20	0.00000
619	num_unjug_ret@100	0.00000
619	num_unjug_ret@1000	656.00000
619	num_rel	21.00000
619	num_rel_ret	21.00000
619	map	0.58466
619	R-prec	0.57143
619	bpref	0.54875
619	recip_rank	1.00000
619	ndcg	0.77489
619	ndcg5	0.50291
619	ndcg10	0.53887
619	ndcg20	0.59705
619	ERR	0.28582
619	ERR10	0.26873
619	ERR20	0.28135
619	P1	1.00000
619	P5	0.80000
619	P10	0.70000
619	P15	0.60000
619	P20	0.60000
619	P30	0.50000
619	P50	0.32000
619	P100	0.21000
619	P200	0.10500
619	P500	0.04200
619	P1000	0.02100
620	num_ret	1000.00000
620	num_unjug_ret@1	0.00000
620	num_unjug_ret@10	0.00000
620	num_unjug_ret@20	0.00000
620	num_unjug_ret@100	2.00000
620	num_unjug_ret@1000	624.00000
620	num_rel	9.00000
620	num_rel_ret	9.00000
620	map	0.07826
620	R-prec	0.11111
620	bpref	0.08642
620	recip_rank	0.33333
620	ndcg	0.30828
620	ndcg5	0.06195
620	ndcg10	0.05332
620	ndcg20	0.05332
620	ERR	0.03216
620	ERR10	0.02083
620	ERR20	0.02083
620	P1	0.00000
620	P5	0.20000
620	P10	0.10000
620	P15	0.06667
620	P20	0.05000
620	P30	0.10000
620	P50	0.06000
620	P100	0.03000
620	P200	0.03000
620	P500	0.01800
620	P1000	0.00900
621	num_ret	1000.00000
621	num_unjug_ret@1	0.00000
621	num_unjug_ret@10	0.00000
621	num_unjug_ret@20	0.00000
621	num_unjug_ret@100	6.00000
621	num_unjug_ret@1000	668.00000
621	num_rel	51.00000
621	num_rel_ret	50.00000
621	map	0.42961
621	R-prec	0.37255
621	bpref	0.35525
621	recip_rank	1.00000
621	ndcg	0.78477
621	ndcg5	0.85734
621	ndcg10	0.72046
621	ndcg20	0.62175
621	ERR	0.33853
621	ERR10	0.32927
621	ERR20	0.33522
621	P1	1.00000
621	P5	1.00000
621	P10	0.80000
621	P15	0.80000
621	P20	0.70000
621	P30	0.60000
621	P50	0.38000
621	P100	0.25000
621	P200	0.19500
621	P500	0.09200
621	P1000	0.05000
622	num_ret	1000.00000
622	num_unjug_ret@1	0.00000
622	num_unjug_ret@10	0.00000
622	num_unjug_ret@20	0.00000
622	num_unjug_ret@100	2.00000
622	num_unjug_ret@1000	662.00000
622	num_rel	59.00000
622	num_rel_ret	54.00000
622	map	0.29087
622	R-prec	0.40678
622	bpref	0.30997
622	recip_rank	0.50000
622	ndcg	0.55284
622	ndcg5	0.07133
622	ndcg10	0.08851
622	ndcg20	0.19707
622	ERR	0.07569
622	ERR10	0.04102
622	ERR20	0.06156
622	P1	0.00000
622	P5	0.20000
622	P10	0.20000
622	P15	0.26667
622	P20	0.35000
622	P30	0.46667
622	P50	0.44000
622	P100	0.31000
622	P200	0.21000
622	P500	0.10600
622	P1000	0.05400
623	num_ret	1000.00000
623	num_unjug_ret@1	0.00000
623	num_unjug_ret@10	0.00000
623	num_unjug_ret@20	0.00000
623	num_unjug_ret@100	0.00000
623	num_unjug_ret@1000	574.00000
623	num_rel	38.00000
623	num_rel_ret	31.00000
623	map	0.32295
623	R-prec	0.39474
623	bpref	0.34834
623	recip_rank	1.00000
623	ndcg	0.56145
623	ndcg5	0.39919
623	ndcg10	0.39437
623	ndcg20	0.43879
623	ERR	0.16382
623	ERR10	0.14500
623	ERR20	0.15857
623	P1	1.00000
623	P5	0.80000
623	P10	0.60000
623	P15	0.60000
623	P20	0.60000
623	P30	0.50000
623	P50	0.32000
623	P100	0.18000
623	P200	0.10000
623	P500	0.05600
623	P1000	0.03100
624	num_ret	1000.00000
624	num_unjug_ret@1	0.00000
624	num_unjug_ret@10	0.00000
624	num_unjug_ret@20	0.00000
624	num_unjug_ret@100	0.00000
624	num_unjug_ret@1000	677.00000
624	num_rel	18.00000
624	num_rel_ret	18.00000
624	map	0.31529
624	R-prec	0.33333
624	bpref	0.25926
624	recip_rank	1.00000
624	ndcg	0.56175
624	ndcg5	0.31559
624	ndcg10	0.29620
624	ndcg20	0.32831
624	ERR	0.14650
624	ERR10	0.12971
624	ERR20	0.14056
624	P1	1.00000
624	P5	0.60000
624	P10	0.40000
624	P15	0.33333
624	P20	0.30000
624	P30	0.20000
624	P50	0.16000
624	P100	0.16000
624	P200	0.08500
624	P500	0.03400
624	P1000	0.01800
625	num_ret	1000.00000
625	num_unjug_ret@1	0.00000
625	num_unjug_ret@10	0.00000
625	num_unjug_ret@20	0.00000
625	num_unjug_ret@100	4.00000
625	num_unjug_ret@1000	592.00000
625	num_rel	27.00000
625	num_rel_ret	20.00000
625	map	0.09528
625	R-prec	0.22222
625	bpref	0.14678
625	recip_rank	0.33333
625	ndcg	0.40436
625	ndcg5	0.16958
625	ndcg10	0.13213
625	ndcg20	0.20741
625	ERR	0.09660
625	ERR10	0.06814
625	ERR20	0.09230
625	P1	0.00000
625	P5	0.20000
625	P10	0.20000
625	P15	0.33333
625	P20	0.25000
625	P30	0.20000
625	P50	0.12000
625	P100	0.08000
625	P200	0.05500
625	P500	0.03400
625	P1000	0.02000
626	num_ret	1000.00000
626	num_unjug_ret@1	0.00000
626	num_unjug_ret@10	0.00000
626	num_unjug_ret@20	0.00000
626	num_unjug_ret@100	0.00000
626	num_unjug_ret@1000	546.00000
626	num_rel	12.00000
626	num_rel_ret	12.00000
626	map	0.31193
626	R-prec	0.25000
626	bpref	0.24306
626	recip_rank	0.50000
626	ndcg	0.64048
626	ndcg5	0.51477
626	ndcg10	0.33405
626	ndcg20	0.42485
626	ERR	0.18710
626	ERR10	0.16929
626	ERR20	0.18111
626	P1	0.00000
626	P5	0.60000
626	P10	0.30000
626	P15	0.26667
626	P20	0.25000
626	P30	0.20000
626	P50	0.22000
626	P100	0.11000
626	P200	0.06000
626	P500	0.02400
626	P1000	0.01200
627	num_ret	1000.00000
627	num_unjug_ret@1	0.00000
627	num_unjug_ret@10	0.00000
627	num_unjug_ret@20	1.00000
627	num_unjug_ret@100	19.00000
627	num_unjug_ret@1000	634.00000
627	num_rel	28.00000
627	num_rel_ret	14.00000
627	map	0.01396
627	R-prec	0.03571
627	bpref	0.02168
627	recip_rank	0.08333
627	ndcg	0.21471
627	ndcg5	0.00000
627	ndcg10	0.00000
627	ndcg20	0.03838
627	ERR	0.00826
627	ERR10	0.00000
627	ERR20	0.00521
627	P1	0.00000
627	P5	0.00000
627	P10	0.00000
627	P15	0.06667
627	P20	0.05000
627	P30	0.03333
627	P50	0.02000
627	P100	0.02000
627	P200	0.02000
627	P500	0.01800
627	P1000	0.01400
628	num_ret	1000.00000
628	num_unjug_ret@1	0.00000
628	num_unjug_ret@10	0.00000
628	num_unjug_ret@20	0.00000
628	num_unjug_ret@100	0.00000
628	num_unjug_ret@1000	577.00000
628	num_rel	26.00000
628	num_rel_ret	26.00000
628	map	0.23485
628	R-prec	0.30769
628	bpref	0.22485
628	recip_rank	1.00000
628	ndcg	0.54088
628	ndcg5	0.15679
628	ndcg10	0.13283
628	ndcg20	0.30371
628	ERR	0.11421
628	ERR10	0.07422
628	ERR20	0.10636
628	P1	1.00000
628	P5	0.40000
628	P10	0.20000
628	P15	0.26667
628	P20	0.30000
628	P30	0.36667
628	P50	0.22000
628	P100	0.15000
628	P200	0.09500
628	P500	0.05000
628	P1000	0.02600
629	num_ret	1000.00000
629	num_unjug_ret@1	0.00000
629	num_unjug_ret@10	0.00000
629	num_unjug_ret@20	0.00000
629	num_unjug_ret@100	0.00000
629	num_unjug_ret@1000	707.00000
629	num_rel	19.00000
629	num_rel_ret	19.00000
629	map	0.26145
629	R-prec	0.26316
629	bpref	0.20776
629	recip_rank	1.00000
629	ndcg	0.54783
629	ndcg5	0.32637
629	ndcg10	0.25884
629	ndcg20	0.25311
629	ERR	0.14906
629	ERR10	0.13062
629	ERR20	0.13687
629	P1	1.00000
629	P5	0.60000
629	P10	0.30000
629	P15	0.26667
629	P20	0.25000
629	P30	0.20000
629	P50	0.20000
629	P100	0.12000
629	P200	0.08500
629	P500	0.03800
629	P1000	0.01900
630	num_ret	1000.00000
630	num_unjug_ret@1	0.00000
630	num_unjug_ret@10	0.00000
630	num_unjug_ret@20	0.00000
630	num_unjug_ret@100	0.00000
630	num_unjug_ret@1000	422.00000
630	num_rel	4.00000
630	num_rel_ret	4.00000
630	map	0.71976
630	R-prec	0.75000
630	bpref	0.68750
630	recip_rank	1.00000
630	ndcg	0.94848
630	ndcg5	0.91414
630	ndcg10	0.91414
630	ndcg20	0.91414
630	ERR	0.27523
630	ERR10	0.27399
630	ERR20	0.27399
630	P1	1.00000
630	P5	0.60000
630	P10	0.30000
630	P15	0.20000
630	P20	0.15000
630	P30	0.10000
630	P50	0.08000
630	P100	0.04000
630	P200	0.02000
630	P500	0.00800
630	P1000	0.00400
631	num_ret	1000.00000
631	num_unjug_ret@1	0.00000
631	num_unjug_ret@10	0.00000
631	num_unjug_ret@20	0.00000
631	num_unjug_ret@100	7.00000
631	num_unjug_ret@1000	387.00000
631	num_rel	115.00000
631	num_rel_ret	103.00000
631	map	0.13845
631	R-prec	0.15652
631	bpref	0.10473
631	recip_rank	0.33333
631	ndcg	0.48581
631	ndcg5	0.05653
631	ndcg10	0.03668
631	ndcg20	0.04803
631	ERR	0.04665
631	ERR10	0.02083
631	ERR20	0.02921
631	P1	0.00000
631	P5	0.20000
631	P10	0.10000
631	P15	0.13333
631	P20	0.15000
631	P30	0.16667
631	P50	0.20000
631	P100	0.15000
631	P200	0.15000
631	P500	0.14200
631	P1000	0.10300
632	num_ret	1000.00000
632	num_unjug_ret@1	0.00000
632	num_unjug_ret@10	2.00000
632	num_unjug_ret@20	4.00000
632	num_unjug_ret@100	19.00000
632	num_unjug_ret@1000	626.00000
632	num_rel	71.00000
632	num_rel_ret	7.00000
632	map	0.00155
632	R-prec	0.01408
632	bpref	0.01111
632	recip_rank	0.05000
632	ndcg	0.04134
632	ndcg5	0.00000
632	ndcg10	0.00000
632	ndcg20	0.01760
632	ERR	0.00410
632	ERR10	0.00000
632	ERR20	0.00313
632	P1	0.00000
632	P5	0.00000
632	P10	0.00000
632	P15	0.00000
632	P20	0.05000
632	P30	0.03333
632	P50	0.02000
632	P100	0.01000
632	P200	0.01000
632	P500	0.00800
632	P1000	0.00700
633	num_ret	1000.00000
633	num_unjug_ret@1	0.00000
633	num_unjug_ret@10	0.00000
633	num_unjug_ret@20	0.00000
633	num_unjug_ret@100	9.00000
633	num_unjug_ret@1000	579.00000
633	num_rel	47.00000
633	num_rel_ret	44.00000
633	map	0.46520
633	R-prec	0.44681
633	bpref	0.43278
633	recip_rank	1.00000
633	ndcg	0.69486
633	ndcg5	0.47477
633	ndcg10	0.67337
633	ndcg20	0.65805
633	ERR	0.18619
633	ERR10	0.17145
633	ERR20	0.18180
633	P1	1.00000
633	P5	1.00000
633	P10	1.00000
633	P15	0.93333
633	P20	0.80000
633	P30	0.70000
633	P50	0.42000
633	P100	0.23000
633	P200	0.12000
633	P500	0.08000
633	P1000	0.04400
634	num_ret	1000.00000
634	num_unjug_ret@1	0.00000
634	num_unjug_ret@10	0.00000
634	num_unjug_ret@20	0.00000
634	num_unjug_ret@100	4.00000
634	num_unjug_ret@1000	754.00000
634	num_rel	11.00000
634	num_rel_ret	11.00000
634	map	0.83283
634	R-prec	0.72727
634	bpref	0.75207
634	recip_rank	1.00000
634	ndcg	0.95126
634	ndcg5	1.00000
634	ndcg10	0.85217
634	ndcg20	0.85892
634	ERR	0.37169
634	ERR10	0.36628
634	ERR20	0.36925
634	P1	1.00000
634	P5	1.00000
634	P10	0.80000
634	P15	0.60000
634	P20	0.45000
634	P30	0.36667
634	P50	0.22000
634	P100	0.11000
634	P200	0.05500
634	P500	0.02200
634	P1000	0.01100
635	num_ret	1000.00000
635	num_unjug_ret@1	0.00000
635	num_unjug_ret@10	0.00000
635	num_unjug_ret@20	0.00000
635	num_unjug_ret@100	8.00000
635	num_unjug_ret@1000	600.00000
635	num_rel	19.00000
635	num_rel_ret	17.00000
635	map	0.71978
635	R-prec	0.73684
635	bpref	0.72576
635	recip_rank	1.00000
635	ndcg	0.87515
635	ndcg5	1.00000
635	ndcg10	0.86695
635	ndcg20	0.80560
635	ERR	0.16639
635	ERR10	0.15066
635	ERR20	0.16503
635	P1	1.00000
635	P5	1.00000
635	P10	0.80000
635	P15	0.86667
635	P20	0.70000
635	P30	0.50000
635	P50	0.30000
635	P100	0.15000
635	P200	0.08000
635	P500	0.03400
635	P1000	0.01700
636	num_ret	1000.00000
636	num_unjug_ret@1	0.00000
636	num_unjug_ret@10	0.00000
636	num_unjug_ret@20	0.00000
636	num_unjug_ret@100	3.00000
636	num_unjug_ret@1000	461.00000
636	num_rel	14.00000
636	num_rel_ret	14.00000
636	map	0.40975
636	R-prec	0.50000
636	bpref	0.44388
636	recip_rank	1.00000
636	ndcg	0.58551
636	ndcg5	0.40646
636	ndcg10	0.43567
636	ndcg20	0.44212
636	ERR	0.15530
636	ERR10	0.14715
636	ERR20	0.15279
636	P1	1.00000
636	P5	0.60000
636	P10	0.60000
636	P15	0.53333
636	P20	0.40000
636	P30	0.26667
636	P50	0.18000
636	P100	0.10000
636	P200	0.05500
636	P500	0.02400
636	P1000	0.01400
637	num_ret	1000.00000
637	num_unjug_ret@1	0.00000
637	num_unjug_ret@10	0.00000
637	num_unjug_ret@20	0.00000
637	num_unjug_ret@100	0.00000
637	num_unjug_ret@1000	632.00000
637	num_rel	22.00000
637	num_rel_ret	22.00000
637	map	0.49179
637	R-prec	0.40909
637	bpref	0.40909
637	recip_rank	1.00000
637	ndcg	0.71088
637	ndcg5	0.51477
637	ndcg10	0.55000
637	ndcg20	0.48615
637	ERR	0.22475
637	ERR10	0.21404
637	ERR20	0.21747
637	P1	1.00000
637	P5	0.80000
637	P10	0.70000
637	P15	0.53333
637	P20	0.45000
637	P30	0.40000
637	P50	0.26000
637	P100	0.20000
637	P200	0.11000
637	P500	0.04400
637	P1000	0.02200
638	num_ret	1000.00000
638	num_unjug_ret@1	0.00000
638	num_unjug_ret@10	0.00000
638	num_unjug_ret@20	0.00000
638	num_unjug_ret@100	16.00000
638	num_unjug_ret@1000	633.00000
638	num_rel	35.00000
638	num_rel_ret	26.00000
638	map	0.05139
638	R-prec	0.11429
638	bpref	0.05714
638	recip_rank	0.14286
638	ndcg	0.32538
638	ndcg5	0.00000
638	ndcg10	0.02989
638	ndcg20	0.07937
638	ERR	0.03022
638	ERR10	0.00893
638	ERR20	0.02065
638	P1	0.00000
638	P5	0.00000
638	P10	0.10000
638	P15	0.13333
638	P20	0.10000
638	P30	0.13333
638	P50	0.12000
638	P100	0.08000
638	P200	0.05500
638	P500	0.03800
638	P1000	0.02600
639	num_ret	1000.00000
639	num_unjug_ret@1	0.00000
639	num_unjug_ret@10	0.00000
639	num_unjug_ret@20	0.00000
639	num_unjug_ret@100	4.00000
639	num_unjug_ret@1000	534.00000
639	num_rel	32.00000
639	num_rel_ret	28.00000
639	map	0.29811
639	R-prec	0.25000
639	bpref	0.24902
639	recip_rank	1.00000
639	ndcg	0.68616
639	ndcg5	1.00000
639	ndcg10	0.78592
639	ndcg20	0.54683
639	ERR	0.15193
639	ERR10	0.14335
639	ERR20	0.14696
639	P1	1.00000
639	P5	1.00000
639	P10	0.70000
639	P15	0.53333
639	P20	0.40000
639	P30	0.26667
639	P50	0.22000
639	P100	0.15000
639	P200	0.09000
639	P500	0.04200
639	P1000	0.02800
640	num_ret	1000.00000
640	num_unjug_ret@1	0.00000
640	num_unjug_ret@10	0.00000
640	num_unjug_ret@20	0.00000
640	num_unjug_ret@100	0.00000
640	num_unjug_ret@1000	661.00000
640	num_rel	43.00000
640	num_rel_ret	43.00000
640	map	0.35515
640	R-prec	0.37209
640	bpref	0.30233
640	recip_rank	0.50000
640	ndcg	0.68703
640	ndcg5	0.46032
640	ndcg10	0.37208
640	ndcg20	0.32890
640	ERR	0.19391
640	ERR10	0.16966
640	ERR20	0.18450
640	P1	0.00000
640	P5	0.80000
640	P10	0.50000
640	P15	0.53333
640	P20	0.40000
640	P30	0.46667
640	P50	0.32000
640	P100	0.28000
640	P200	0.17500
640	P500	0.08600
640	P1000	0.04300
641	num_ret	1000.00000
641	num_unjug_ret@1	0.00000
641	num_unjug_ret@10	0.00000
641	num_unjug_ret@20	0.00000
641	num_unjug_ret@100	14.00000
641	num_unjug_ret@1000	745.00000
641	num_rel	49.00000
641	num_rel_ret	24.00000
641	map	0.09513
641	R-prec	0.20408
641	bpref	0.16576
641	recip_rank	0.50000
641	ndcg	0.38897
641	ndcg5	0.21399
641	ndcg10	0.28669
641	ndcg20	0.30306
641	ERR	0.15796
641	ERR10	0.13461
641	ERR20	0.15323
641	P1	0.00000
641	P5	0.20000
641	P10	0.30000
641	P15	0.33333
641	P20	0.35000
641	P30	0.26667
641	P50	0.20000
641	P100	0.13000
641	P200	0.07000
641	P500	0.04000
641	P1000	0.02400
642	num_ret	1000.00000
642	num_unjug_ret@1	0.00000
642	num_unjug_ret@10	0.00000
642	num_unjug_ret@20	0.00000
642	num_unjug_ret@100	0.00000
642	num_unjug_ret@1000	615.00000
642	num_rel	39.00000
642	num_rel_ret	37.00000
642	map	0.17456
642	R-prec	0.28205
642	bpref	0.18014
642	recip_rank	1.00000
642	ndcg	0.55753
642	ndcg5	0.11305
642	ndcg10	0.20324
642	ndcg20	0.23556
642	ERR	0.12328
642	ERR10	0.09631
642	ERR20	0.11496
642	P1	1.00000
642	P5	0.20000
642	P10	0.30000
642	P15	0.26667
642	P20	0.30000
642	P30	0.23333
642	P50	0.24000
642	P100	0.17000
642	P200	0.10500
642	P500	0.06000
642	P1000	0.03700
643	num_ret	1000.00000
643	num_unjug_ret@1	0.00000
643	num_unjug_ret@10	0.00000
643	num_unjug_ret@20	0.00000
643	num_unjug_ret@100	8.00000
643	num_unjug_ret@1000	711.00000
643	num_rel	29.00000
643	num_rel_ret	12.00000
643	map	0.08658
643	R-prec	0.17241
643	bpref	0.14744
643	recip_rank	0.50000
643	ndcg	0.19431
643	ndcg5	0.12002
643	ndcg10	0.15701
643	ndcg20	0.14586
643	ERR	0.06622
643	ERR10	0.06241
643	ERR20	0.06525
643	P1	0.00000
643	P5	0.40000
643	P10	0.40000
643	P15	0.26667
643	P20	0.25000
643	P30	0.16667
643	P50	0.10000
643	P100	0.05000
643	P200	0.03000
643	P500	0.01400
643	P1000	0.01200
644	num_ret	1000.00000
644	num_unjug_ret@1	0.00000
644	num_unjug_ret@10	0.00000
644	num_unjug_ret@20	0.00000
644	num_unjug_ret@100	0.00000
644	num_unjug_ret@1000	598.00000
644	num_rel	56.00000
644	num_rel_ret	49.00000
644	map	0.22884
644	R-prec	0.26786
644	bpref	0.18846
644	recip_rank	1.00000
644	ndcg	0.60608
644	ndcg5	0.41049
644	ndcg10	0.38315
644	ndcg20	0.29799
644	ERR	0.25720
644	ERR10	0.24119
644	ERR20	0.24605
644	P1	1.00000
644	P5	0.40000
644	P10	0.50000
644	P15	0.40000
644	P20	0.35000
644	P30	0.30000
644	P50	0.26000
644	P100	0.23000
644	P200	0.18000
644	P500	0.08200
644	P1000	0.04900
645	num_ret	1000.00000
645	num_unjug_ret@1	0.00000
645	num_unjug_ret@10	0.00000
645	num_unjug_ret@20	0.00000
645	num_unjug_ret@100	0.00000
645	num_unjug_ret@1000	511.00000
645	num_rel	29.00000
645	num_rel_ret	29.00000
645	map	0.59450
645	R-prec	0.62069
645	bpref	0.60048
645	recip_rank	1.00000
645	ndcg	0.85886
645	ndcg5	0.72273
645	ndcg10	0.68122
645	ndcg20	0.71350
645	ERR	0.35241
645	ERR10	0.33781
645	ERR20	0.34923
645	P1	1.00000
645	P5	0.60000
645	P10	0.80000
645	P15	0.73333
645	P20	0.70000
645	P30	0.60000
645	P50	0.44000
645	P100	0.22000
645	P200	0.12000
645	P500	0.05800
645	P1000	0.02900
646	num_ret	1000.00000
646	num_unjug_ret@1	0.00000
646	num_unjug_ret@10	0.00000
646	num_unjug_ret@20	0.00000
646	num_unjug_ret@100	0.00000
646	num_unjug_ret@1000	638.00000
646	num_rel	10.00000
646	num_rel_ret	10.00000
646	map	0.17276
646	R-prec	0.20000
646	bpref	0.10000
646	recip_rank	0.20000
646	ndcg	0.45732
646	ndcg5	0.14378
646	ndcg10	0.21796
646	ndcg20	0.26837
646	ERR	0.06880
646	ERR10	0.05654
646	ERR20	0.06153
646	P1	0.00000
646	P5	0.20000
646	P10	0.20000
646	P15	0.20000
646	P20	0.20000
646	P30	0.16667
646	P50	0.14000
646	P100	0.10000
646	P200	0.05000
646	P500	0.02000
646	P1000	0.01000
647	num_ret	1000.00000
647	num_unjug_ret@1	0.00000
647	num_unjug_ret@10	0.00000
647	num_unjug_ret@20	0.00000
647	num_unjug_ret@100	1.00000
647	num_unjug_ret@1000	546.00000
647	num_rel	33.00000
647	num_rel_ret	25.00000
647	map	0.27277
647	R-prec	0.33333
647	bpref	0.29844
647	recip_rank	1.00000
647	ndcg	0.56360
647	ndcg5	0.54531
647	ndcg10	0.41677
647	ndcg20	0.44924
647	ERR	0.23027
647	ERR10	0.21598
647	ERR20	0.22836
647	P1	1.00000
647	P5	0.80000
647	P10	0.60000
647	P15	0.60000
647	P20	0.50000
647	P30	0.36667
647	P50	0.22000
647	P100	0.11000
647	P200	0.05500
647	P500	0.04600
647	P1000	0.02500
648	num_ret	1000.00000
648	num_unjug_ret@1	0.00000
648	num_unjug_ret@10	0.00000
648	num_unjug_ret@20	0.00000
648	num_unjug_ret@100	8.00000
648	num_unjug_ret@1000	613.00000
648	num_rel	57.00000
648	num_rel_ret	49.00000
648	map	0.60823
648	R-prec	0.57895
648	bpref	0.57802
648	recip_rank	1.00000
648	ndcg	0.84997
648	ndcg5	0.77389
648	ndcg10	0.85327
648	ndcg20	0.76779
648	ERR	0.29105
648	ERR10	0.28175
648	ERR20	0.28943
648	P1	1.00000
648	P5	1.00000
648	P10	1.00000
648	P15	1.00000
648	P20	0.90000
648	P30	0.93333
648	P50	0.64000
648	P100	0.36000
648	P200	0.19500
648	P500	0.09200
648	P1000	0.04900
649	num_ret	1000.00000
649	num_unjug_ret@1	0.00000
649	num_unjug_ret@10	0.00000
649	num_unjug_ret@20	0.00000
649	num_unjug_ret@100	0.00000
649	num_unjug_ret@1000	612.00000
649	num_rel	37.00000
649	num_rel_ret	36.00000
649	map	0.69214
649	R-prec	0.59459
649	bpref	0.59971
649	recip_rank	1.00000
649	ndcg	0.90918
649	ndcg5	1.00000
649	ndcg10	1.00000
649	ndcg20	0.86585
649	ERR	0.17769
649	ERR10	0.15886
649	ERR20	0.17152
649	P1	1.00000
649	P5	1.00000
649	P10	1.00000
649	P15	0.93333
649	P20	0.80000
649	P30	0.63333
649	P50	0.48000
649	P100	0.33000
649	P200	0.17500
649	P500	0.07000
649	P1000	0.03600
650	num_ret	1000.00000
650	num_unjug_ret@1	1.00000
650	num_unjug_ret@10	9.00000
650	num_unjug_ret@20	18.00000
650	num_unjug_ret@100	54.00000
650	num_unjug_ret@1000	611.00000
650	num_rel	34.00000
650	num_rel_ret	27.00000
650	map	0.04511
650	R-prec	0.00000
650	bpref	0.10381
650	recip_rank	0.02703
650	ndcg	0.29864
650	ndcg5	0.00000
650	ndcg10	0.00000
650	ndcg20	0.00000
650	ERR	0.01046
650	ERR10	0.00000
650	ERR20	0.00000
650	P1	0.00000
650	P5	0.00000
650	P10	0.00000
650	P15	0.00000
650	P20	0.00000
650	P30	0.00000
650	P50	0.04000
650	P100	0.07000
650	P200	0.05000
650	P500	0.04400
650	P1000	0.02700
651	num_ret	1000.00000
651	num_unjug_ret@1	0.00000
651	num_unjug_ret@10	0.00000
651	num_unjug_ret@20	0.00000
651	num_unjug_ret@100	17.00000
651	num_unjug_ret@1000	534.00000
651	num_rel	38.00000
651	num_rel_ret	29.00000
651	map	0.11589
651	R-prec	0.15789
651	bpref	0.12812
651	recip_rank	1.00000
651	ndcg	0.39962
651	ndcg5	0.11305
651	ndcg10	0.16101
651	ndcg20	0.18674
651	ERR	0.09823
651	ERR10	0.08203
651	ERR20	0.09187
651	P1	1.00000
651	P5	0.20000
651	P10	0.20000
651	P15	0.26667
651	P20	0.25000
651	P30	0.16667
651	P50	0.16000
651	P100	0.12000
651	P200	0.08500
651	P500	0.04600
651	P1000	0.02900
652	num_ret	1000.00000
652	num_unjug_ret@1	0.00000
652	num_unjug_ret@10	0.00000
652	num_unjug_ret@20	0.00000
652	num_unjug_ret@100	14.00000
652	num_unjug_ret@1000	694.00000
652	num_rel	74.00000
652	num_rel_ret	6.00000
652	map	0.01359
652	R-prec	0.04054
652	bpref	0.03524
652	recip_rank	0.33333
652	ndcg	0.08807
652	ndcg5	0.31565
652	ndcg10	0.20483
652	ndcg20	0.13219
652	ERR	0.10546
652	ERR10	0.10059
652	ERR20	0.10059
652	P1	0.00000
652	P5	0.40000
652	P10	0.20000
652	P15	0.13333
652	P20	0.10000
652	P30	0.10000
652	P50	0.06000
652	P100	0.03000
652	P200	0.02000
652	P500	0.01200
652	P1000	0.00600
653	num_ret	1000.00000
653	num_unjug_ret@1	0.00000
653	num_unjug_ret@10	0.00000
653	num_unjug_ret@20	0.00000
653	num_unjug_ret@100	0.00000
653	num_unjug_ret@1000	805.00000
653	num_rel	75.00000
653	num_rel_ret	75.00000
653	map	0.58836
653	R-prec	0.58667
653	bpref	0.62400
653	recip_rank	1.00000
653	ndcg	0.81405
653	ndcg5	0.55656
653	ndcg10	0.38562
653	ndcg20	0.51806
653	ERR	0.29018
653	ERR10	0.25412
653	ERR20	0.28618
653	P1	1.00000
653	P5	0.60000
653	P10	0.40000
653	P15	0.60000
653	P20	0.65000
653	P30	0.66667
653	P50	0.62000
653	P100	0.58000
653	P200	0.36000
653	P500	0.15000
653	P1000	0.07500
654	num_ret	1000.00000
654	num_unjug_ret@1	0.00000
654	num_unjug_ret@10	0.00000
654	num_unjug_ret@20	0.00000
654	num_unjug_ret@100	5.00000
654	num_unjug_ret@1000	611.00000
654	num_rel	57.00000
654	num_rel_ret	50.00000
654	map	0.57094
654	R-prec	0.59649
654	bpref	0.58510
654	recip_rank	1.00000
654	ndcg	0.82153
654	ndcg5	1.00000
654	ndcg10	0.92160
654	ndcg20	0.87754
654	ERR	0.17628
654	ERR10	0.15256
654	ERR20	0.16799
654	P1	1.00000
654	P5	1.00000
654	P10	0.90000
654	P15	0.80000
654	P20	0.85000
654	P30	0.83333
654	P50	0.66000
654	P100	0.39000
654	P200	0.19500
654	P500	0.08400
654	P1000	0.05000
655	num_ret	1000.00000
655	num_unjug_ret@1	0.00000
655	num_unjug_ret@10	0.00000
655	num_unjug_ret@20	0.00000
655	num_unjug_ret@100	3.00000
655	num_unjug_ret@1000	581.00000
655	num_rel	7.00000
655	num_rel_ret	2.00000
655	map	0.00901
655	R-prec	0.00000
655	bpref	0.00000
655	recip_rank	0.03030
655	ndcg	0.12482
655	ndcg5	0.00000
655	ndcg10	0.00000
655	ndcg20	0.00000
655	ERR	0.00818
655	ERR10	0.00000
655	ERR20	0.00000
655	P1	0.00000
655	P5	0.00000
655	P10	0.00000
655	P15	0.00000
655	P20	0.00000
655	P30	0.00000
655	P50	0.02000
655	P100	0.02000
655	P200	0.01000
655	P500	0.00400
655	P1000	0.00200
656	num_ret	1000.00000
656	num_unjug_ret@1	0.00000
656	num_unjug_ret@10	0.00000
656	num_unjug_ret@20	0.00000
656	num_unjug_ret@100	2.00000
656	num_unjug_ret@1000	668.00000
656	num_rel	111.00000
656	num_rel_ret	102.00000
656	map	0.60127
656	R-prec	0.55856
656	bpref	0.59865
656	recip_rank	1.00000
656	ndcg	0.82908
656	ndcg5	0.62782
656	ndcg10	0.66380
656	ndcg20	0.78303
656	ERR	0.27261
656	ERR10	0.25611
656	ERR20	0.27152
656	P1	1.00000
656	P5	0.80000
656	P10	0.90000
656	P15	0.93333
656	P20	0.95000
656	P30	0.90000
656	P50	0.72000
656	P100	0.57000
656	P200	0.43500
656	P500	0.19800
656	P1000	0.10200
657	num_ret	1000.00000
657	num_unjug_ret@1	0.00000
657	num_unjug_ret@10	0.00000
657	num_unjug_ret@20	0.00000
657	num_unjug_ret@100	2.00000
657	num_unjug_ret@1000	561.00000
657	num_rel	16.00000
657	num_rel_ret	15.00000
657	map	0.52446
657	R-prec	0.43750
657	bpref	0.45313
657	recip_rank	1.00000
657	ndcg	0.87744
657	ndcg5	1.00000
657	ndcg10	0.82598
657	ndcg20	0.78600
657	ERR	0.36665
657	ERR10	0.36288
657	ERR20	0.36531
657	P1	1.00000
657	P5	1.00000
657	P10	0.70000
657	P15	0.46667
657	P20	0.40000
657	P30	0.30000
657	P50	0.22000
657	P100	0.12000
657	P200	0.06000
657	P500	0.03000
657	P1000	0.01500
658	num_ret	1000.00000
658	num_unjug_ret@1	0.00000
658	num_unjug_ret@10	0.00000
658	num_unjug_ret@20	0.00000
658	num_unjug_ret@100	10.00000
658	num_unjug_ret@1000	586.00000
658	num_rel	57.00000
658	num_rel_ret	47.00000
658	map	0.14147
658	R-prec	0.17544
658	bpref	0.13912
658	recip_rank	1.00000
658	ndcg	0.45632
658	ndcg5	0.18438
658	ndcg10	0.14280
658	ndcg20	0.12757
658	ERR	0.12177
658	ERR10	0.09866
658	ERR20	0.10844
658	P1	1.00000
658	P5	0.40000
658	P10	0.30000
658	P15	0.33333
658	P20	0.30000
658	P30	0.26667
658	P50	0.20000
658	P100	0.14000
658	P200	0.11000
658	P500	0.07400
658	P1000	0.04700
659	num_ret	1000.00000
659	num_unjug_ret@1	0.00000
659	num_unjug_ret@10	0.00000
659	num_unjug_ret@20	0.00000
659	num_unjug_ret@100	37.00000
659	num_unjug_ret@1000	767.00000
659	num_rel	16.00000
659	num_rel_ret	9.00000
659	map	0.00702
659	R-prec	0.00000
659	bpref	0.00000
659	recip_rank	0.01449
659	ndcg	0.18179
659	ndcg5	0.00000
659	ndcg10	0.00000
659	ndcg20	0.00000
659	ERR	0.00425
659	ERR10	0.00000
659	ERR20	0.00000
659	P1	0.00000
659	P5	0.00000
659	P10	0.00000
659	P15	0.00000
659	P20	0.00000
659	P30	0.00000
659	P50	0.00000
659	P100	0.01000
659	P200	0.01000
659	P500	0.01200
659	P1000	0.00900
660	num_ret	1000.00000
660	num_unjug_ret@1	0.00000
660	num_unjug_ret@10	0.00000
660	num_unjug_ret@20	0.00000
660	num_unjug_ret@100	1.00000
660	num_unjug_ret@1000	658.00000
660	num_rel	28.00000
660	num_rel_ret	28.00000
660	map	0.56938
660	R-prec	0.57143
660	bpref	0.54209
660	recip_rank	1.00000
660	ndcg	0.79108
660	ndcg5	0.48811
660	ndcg10	0.59853
660	ndcg20	0.69582
660	ERR	0.28653
660	ERR10	0.27173
660	ERR20	0.28443
660	P1	1.00000
660	P5	0.80000
660	P10	0.90000
660	P15	0.73333
660	P20	0.65000
660	P30	0.53333
660	P50	0.40000
660	P100	0.23000
660	P200	0.13000
660	P500	0.05600
660	P1000	0.02800
661	num_ret	1000.00000
661	num_unjug_ret@1	0.00000
661	num_unjug_ret@10	0.00000
661	num_unjug_ret@20	0.00000
661	num_unjug_ret@100	5.00000
661	num_unjug_ret@1000	581.00000
661	num_rel	34.00000
661	num_rel_ret	31.00000
661	map	0.62494
661	R-prec	0.67647
661	bpref	0.65657
661	recip_rank	1.00000
661	ndcg	0.77043
661	ndcg5	0.50693
661	ndcg10	0.57198
661	ndcg20	0.72179
661	ERR	0.24085
661	ERR10	0.22402
661	ERR20	0.23850
661	P1	1.00000
661	P5	0.80000
661	P10	0.80000
661	P15	0.66667
661	P20	0.75000
661	P30	0.66667
661	P50	0.54000
661	P100	0.28000
661	P200	0.15000
661	P500	0.06200
661	P1000	0.03100
662	num_ret	1000.00000
662	num_unjug_ret@1	0.00000
662	num_unjug_ret@10	0.00000
662	num_unjug_ret@20	0.00000
662	num_unjug_ret@100	4.00000
662	num_unjug_ret@1000	741.00000
662	num_rel	34.00000
662	num_rel_ret	28.00000
662	map	0.48677
662	R-prec	0.44118
662	bpref	0.43426
662	recip_rank	1.00000
662	ndcg	0.77636
662	ndcg5	0.79361
662	ndcg10	0.75895
662	ndcg20	0.70939
662	ERR	0.29359
662	ERR10	0.27766
662	ERR20	0.28826
662	P1	1.00000
662	P5	1.00000
662	P10	0.80000
662	P15	0.66667
662	P20	0.55000
662	P30	0.46667
662	P50	0.42000
662	P100	0.26000
662	P200	0.13500
662	P500	0.05600
662	P1000	0.02800
663	num_ret	1000.00000
663	num_unjug_ret@1	0.00000
663	num_unjug_ret@10	0.00000
663	num_unjug_ret@20	0.00000
663	num_unjug_ret@100	3.00000
663	num_unjug_ret@1000	681.00000
663	num_rel	22.00000
663	num_rel_ret	19.00000
663	map	0.51386
663	R-prec	0.59091
663	bpref	0.53926
663	recip_rank	1.00000
663	ndcg	0.80136
663	ndcg5	0.71127
663	ndcg10	0.59725
663	ndcg20	0.68592
663	ERR	0.32297
663	ERR10	0.30400
663	ERR20	0.32137
663	P1	1.00000
663	P5	0.80000
663	P10	0.60000
663	P15	0.53333
663	P20	0.65000
663	P30	0.50000
663	P50	0.32000
663	P100	0.16000
663	P200	0.09000
663	P500	0.03600
663	P1000	0.01900
664	num_ret	1000.00000
664	num_unjug_ret@1	0.00000
664	num_unjug_ret@10	0.00000
664	num_unjug_ret@20	0.00000
664	num_unjug_ret@100	2.00000
664	num_unjug_ret@1000	608.00000
664	num_rel	9.00000
664	num_rel_ret	9.00000
664	map	0.53580
664	R-prec	0.55556
664	bpref	0.54321
664	recip_rank	0.50000
664	ndcg	0.74781
664	ndcg5	0.51477
664	ndcg10	0.64110
664	ndcg20	0.73116
664	ERR	0.20737
664	ERR10	0.20177
664	ERR20	0.20699
664	P1	0.00000
664	P5	0.60000
664	P10	0.60000
664	P15	0.46667
664	P20	0.40000
664	P30	0.26667
664	P50	0.18000
664	P100	0.09000
664	P200	0.04500
664	P500	0.01800
664	P1000	0.00900
665	num_ret	1000.00000
665	num_unjug_ret@1	0.00000
665	num_unjug_ret@10	0.00000
665	num_unjug_ret@20	0.00000
665	num_unjug_ret@100	3.00000
665	num_unjug_ret@1000	654.00000
665	num_rel	19.00000
665	num_rel_ret	19.00000
665	map	0.19613
665	R-prec	0.26316
665	bpref	0.19945
665	recip_rank	1.00000
665	ndcg	0.50069
665	ndcg5	0.28912
665	ndcg10	0.27308
665	ndcg20	0.25969
665	ERR	0.09855
665	ERR10	0.08630
665	ERR20	0.09314
665	P1	1.00000
665	P5	0.40000
665	P10	0.30000
665	P15	0.26667
665	P20	0.25000
665	P30	0.20000
665	P50	0.14000
665	P100	0.10000
665	P200	0.05500
665	P500	0.02800
665	P1000	0.01900
666	num_ret	1000.00000
666	num_unjug_ret@1	0.00000
666	num_unjug_ret@10	0.00000
666	num_unjug_ret@20	0.00000
666	num_unjug_ret@100	5.00000
666	num_unjug_ret@1000	615.00000
666	num_rel	3.00000
666	num_rel_ret	2.00000
666	map	0.04956
666	R-prec	0.00000
666	bpref	0.00000
666	recip_rank	0.14286
666	ndcg	0.21212
666	ndcg5	0.00000
666	ndcg10	0.15643
666	ndcg20	0.15643
666	ERR	0.00910
666	ERR10	0.00893
666	ERR20	0.00893
666	P1	0.00000
666	P5	0.00000
666	P10	0.10000
666	P15	0.06667
666	P20	0.05000
666	P30	0.03333
666	P50	0.02000
666	P100	0.01000
666	P200	0.00500
666	P500	0.00400
666	P1000	0.00200
667	num_ret	1000.00000
667	num_unjug_ret@1	0.00000
667	num_unjug_ret@10	0.00000
667	num_unjug_ret@20	0.00000
667	num_unjug_ret@100	4.00000
667	num_unjug_ret@1000	681.00000
667	num_rel	41.00000
667	num_rel_ret	35.00000
667	map	0.38946
667	R-prec	0.39024
667	bpref	0.35693
667	recip_rank	1.00000
667	ndcg	0.73379
667	ndcg5	0.68435
667	ndcg10	0.79517
667	ndcg20	0.66075
667	ERR	0.15015
667	ERR10	0.13261
667	ERR20	0.14291
667	P1	1.00000
667	P5	0.60000
667	P10	0.80000
667	P15	0.73333
667	P20	0.60000
667	P30	0.50000
667	P50	0.32000
667	P100	0.24000
667	P200	0.15500
667	P500	0.06800
667	P1000	0.03500
668	num_ret	1000.00000
668	num_unjug_ret@1	0.00000
668	num_unjug_ret@10	0.00000
668	num_unjug_ret@20	0.00000
668	num_unjug_ret@100	6.00000
668	num_unjug_ret@1000	605.00000
668	num_rel	36.00000
668	num_rel_ret	33.00000
668	map	0.32150
668	R-prec	0.38889
668	bpref	0.34182
668	recip_rank	1.00000
668	ndcg	0.63646
668	ndcg5	0.38290
668	ndcg10	0.45349
668	ndcg20	0.46127
668	ERR	0.25265
668	ERR10	0.23681
668	ERR20	0.24562
668	P1	1.00000
668	P5	0.40000
668	P10	0.50000
668	P15	0.53333
668	P20	0.50000
668	P30	0.43333
668	P50	0.36000
668	P100	0.23000
668	P200	0.13000
668	P500	0.06000
668	P1000	0.03300
669	num_ret	1000.00000
669	num_unjug_ret@1	0.00000
669	num_unjug_ret@10	0.00000
669	num_unjug_ret@20	1.00000
669	num_unjug_ret@100	1.00000
669	num_unjug_ret@1000	585.00000
669	num_rel	23.00000
669	num_rel_ret	22.00000
669	map	0.15232
669	R-prec	0.17391
669	bpref	0.12665
669	recip_rank	1.00000
669	ndcg	0.45444
669	ndcg5	0.13869
669	ndcg10	0.14639
669	ndcg20	0.13874
669	ERR	0.08656
669	ERR10	0.06836
669	ERR20	0.07335
669	P1	1.00000
669	P5	0.20000
669	P10	0.20000
669	P15	0.20000
669	P20	0.15000
669	P30	0.20000
669	P50	0.14000
669	P100	0.11000
669	P200	0.08500
669	P500	0.04000
669	P1000	0.02200
670	num_ret	1000.00000
670	num_unjug_ret@1	0.00000
670	num_unjug_ret@10	0.00000
670	num_unjug_ret@20	0.00000
670	num_unjug_ret@100	6.00000
670	num_unjug_ret@1000	731.00000
670	num_rel	24.00000
670	num_rel_ret	14.00000
670	map	0.08200
670	R-prec	0.16667
670	bpref	0.10590
670	recip_rank	0.25000
670	ndcg	0.36793
670	ndcg5	0.26110
670	ndcg10	0.25189
670	ndcg20	0.20998
670	ERR	0.06561
670	ERR10	0.05534
670	ERR20	0.05851
670	P1	0.00000
670	P5	0.20000
670	P10	0.20000
670	P15	0.20000
670	P20	0.15000
670	P30	0.16667
670	P50	0.14000
670	P100	0.10000
670	P200	0.05000
670	P500	0.02800
670	P1000	0.01400
671	num_ret	1000.00000
671	num_unjug_ret@1	0.00000
671	num_unjug_ret@10	0.00000
671	num_unjug_ret@20	0.00000
671	num_unjug_ret@100	2.00000
671	num_unjug_ret@1000	742.00000
671	num_rel	70.00000
671	num_rel_ret	67.00000
671	map	0.32624
671	R-prec	0.37143
671	bpref	0.30306
671	recip_rank	1.00000
671	ndcg	0.69373
671	ndcg5	0.33916
671	ndcg10	0.37798
671	ndcg20	0.45976
671	ERR	0.23348
671	ERR10	0.20572
671	ERR20	0.22478
671	P1	1.00000
671	P5	0.20000
671	P10	0.40000
671	P15	0.53333
671	P20	0.50000
671	P30	0.46667
671	P50	0.40000
671	P100	0.32000
671	P200	0.25500
671	P500	0.12800
671	P1000	0.06700
673	num_ret	1000.00000
673	num_unjug_ret@1	0.00000
673	num_unjug_ret@10	0.00000
673	num_unjug_ret@20	0.00000
673	num_unjug_ret@100	2.00000
673	num_unjug_ret@1000	685.00000
673	num_rel	23.00000
673	num_rel_ret	23.00000
673	map	0.30358
673	R-prec	0.26087
673	bpref	0.24575
673	recip_rank	1.00000
673	ndcg	0.75842
673	ndcg5	0.59368
673	ndcg10	0.73407
673	ndcg20	0.58339
673	ERR	0.27780
673	ERR10	0.27381
673	ERR20	0.27381
673	P1	1.00000
673	P5	0.60000
673	P10	0.60000
673	P15	0.40000
673	P20	0.30000
673	P30	0.23333
673	P50	0.16000
673	P100	0.17000
673	P200	0.09500
673	P500	0.04600
673	P1000	0.02300
674	num_ret	1000.00000
674	num_unjug_ret@1	0.00000
674	num_unjug_ret@10	0.00000
674	num_unjug_ret@20	0.00000
674	num_unjug_ret@100	0.00000
674	num_unjug_ret@1000	708.00000
674	num_rel	20.00000
674	num_rel_ret	18.00000
674	map	0.18139
674	R-prec	0.25000
674	bpref	0.20750
674	recip_rank	0.33333
674	ndcg	0.54059
674	ndcg5	0.44685
674	ndcg10	0.36334
674	ndcg20	0.27180
674	ERR	0.06223
674	ERR10	0.05383
674	ERR20	0.05754
674	P1	0.00000
674	P5	0.60000
674	P10	0.40000
674	P15	0.33333
674	P20	0.25000
674	P30	0.16667
674	P50	0.12000
674	P100	0.09000
674	P200	0.07000
674	P500	0.03600
674	P1000	0.01800
675	num_ret	1000.00000
675	num_unjug_ret@1	0.00000
675	num_unjug_ret@10	0.00000
675	num_unjug_ret@20	0.00000
675	num_unjug_ret@100	9.00000
675	num_unjug_ret@1000	651.00000
675	num_rel	25.00000
675	num_rel_ret	25.00000
675	map	0.47711
675	R-prec	0.52000
675	bpref	0.46880
675	recip_rank	1.00000
675	ndcg	0.81925
675	ndcg5	0.86879
675	ndcg10	0.76703
675	ndcg20	0.63305
675	ERR	0.15426
675	ERR10	0.13915
675	ERR20	0.14811
675	P1	1.00000
675	P5	0.80000
675	P10	0.70000
675	P15	0.53333
675	P20	0.55000
675	P30	0.46667
675	P50	0.32000
675	P100	0.17000
675	P200	0.10500
675	P500	0.04400
675	P1000	0.02500
676	num_ret	1000.00000
676	num_unjug_ret@1	0.00000
676	num_unjug_ret@10	0.00000
676	num_unjug_ret@20	0.00000
676	num_unjug_ret@100	1.00000
676	num_unjug_ret@1000	736.00000
676	num_rel	49.00000
676	num_rel_ret	49.00000
676	map	0.32094
676	R-prec	0.32653
676	bpref	0.24240
676	recip_rank	1.00000
676	ndcg	0.71356
676	ndcg5	0.50874
676	ndcg10	0.39957
676	ndcg20	0.42798
676	ERR	0.28377
676	ERR10	0.25375
676	ERR20	0.27904
676	P1	1.00000
676	P5	0.40000
676	P10	0.30000
676	P15	0.40000
676	P20	0.45000
676	P30	0.40000
676	P50	0.32000
676	P100	0.29000
676	P200	0.22500
676	P500	0.09600
676	P1000	0.04900
677	num_ret	1000.00000
677	num_unjug_ret@1	0.00000
677	num_unjug_ret@10	0.00000
677	num_unjug_ret@20	0.00000
677	num_unjug_ret@100	3.00000
677	num_unjug_ret@1000	674.00000
677	num_rel	9.00000
677	num_rel_ret	9.00000
677	map	0.79481
677	R-prec	0.55556
677	bpref	0.70370
677	recip_rank	1.00000
677	ndcg	0.95633
677	ndcg5	1.00000
677	ndcg10	0.79118
677	ndcg20	0.92098
677	ERR	0.25904
677	ERR10	0.24829
677	ERR20	0.25757
677	P1	1.00000
677	P5	1.00000
677	P10	0.50000
677	P15	0.53333
677	P20	0.40000
677	P30	0.30000
677	P50	0.18000
677	P100	0.09000
677	P200	0.04500
677	P500	0.01800
677	P1000	0.00900
678	num_ret	1000.00000
678	num_unjug_ret@1	0.00000
678	num_unjug_ret@10	0.00000
678	num_unjug_ret@20	0.00000
678	num_unjug_ret@100	7.00000
678	num_unjug_ret@1000	641.00000
678	num_rel	19.00000
678	num_rel_ret	10.00000
678	map	0.27760
678	R-prec	0.31579
678	bpref	0.28809
678	recip_rank	1.00000
678	ndcg	0.50113
678	ndcg5	0.46702
678	ndcg10	0.44296
678	ndcg20	0.43153
678	ERR	0.26831
678	ERR10	0.25561
678	ERR20	0.26488
678	P1	1.00000
678	P5	0.60000
678	P10	0.50000
678	P15	0.40000
678	P20	0.30000
678	P30	0.23333
678	P50	0.14000
678	P100	0.08000
678	P200	0.04500
678	P500	0.01800
678	P1000	0.01000
679	num_ret	1000.00000
679	num_unjug_ret@1	0.00000
679	num_unjug_ret@10	0.00000
679	num_unjug_ret@20	0.00000
679	num_unjug_ret@100	5.00000
679	num_unjug_ret@1000	670.00000
679	num_rel	6.00000
679	num_rel_ret	6.00000
679	map	0.97619
679	R-prec	0.83333
679	bpref	0.97222
679	recip_rank	1.00000
679	ndcg	0.99308
679	ndcg5	1.00000
679	ndcg10	0.99308
679	ndcg20	0.99308
679	ERR	0.13910
679	ERR10	0.13910
679	ERR20	0.13910
679	P1	1.00000
679	P5	1.00000
679	P10	0.60000
679	P15	0.40000
679	P20	0.30000
679	P30	0.20000
679	P50	0.12000
679	P100	0.06000
679	P200	0.03000
679	P500	0.01200
679	P1000	0.00600
680	num_ret	1000.00000
680	num_unjug_ret@1	0.00000
680	num_unjug_ret@10	0.00000
680	num_unjug_ret@20	1.00000
680	num_unjug_ret@100	50.00000
680	num_unjug_ret@1000	865.00000
680	num_rel	24.00000
680	num_rel_ret	16.00000
680	map	0.05858
680	R-prec	0.16667
680	bpref	0.07118
680	recip_rank	0.05882
680	ndcg	0.28451
680	ndcg5	0.00000
680	ndcg10	0.00000
680	ndcg20	0.07731
680	ERR	0.01758
680	ERR10	0.00000
680	ERR20	0.00951
680	P1	0.00000
680	P5	0.00000
680	P10	0.00000
680	P15	0.00000
680	P20	0.15000
680	P30	0.20000
680	P50	0.12000
680	P100	0.08000
680	P200	0.05000
680	P500	0.02400
680	P1000	0.01600
681	num_ret	1000.00000
681	num_unjug_ret@1	0.00000
681	num_unjug_ret@10	0.00000
681	num_unjug_ret@20	0.00000
681	num_unjug_ret@100	1.00000
681	num_unjug_ret@1000	694.00000
681	num_rel	50.00000
681	num_rel_ret	50.00000
681	map	0.65282
681	R-prec	0.66000
681	bpref	0.60640
681	recip_rank	1.00000
681	ndcg	0.79808
681	ndcg5	0.50291
681	ndcg10	0.58444
681	ndcg20	0.63233
681	ERR	0.28782
681	ERR10	0.27248
681	ERR20	0.28262
681	P1	1.00000
681	P5	0.80000
681	P10	0.90000
681	P15	0.80000
681	P20	0.80000
681	P30	0.70000
681	P50	0.66000
681	P100	0.44000
681	P200	0.23500
681	P500	0.10000
681	P1000	0.05000
682	num_ret	1000.00000
682	num_unjug_ret@1	0.00000
682	num_unjug_ret@10	1.00000
682	num_unjug_ret@20	5.00000
682	num_unjug_ret@100	41.00000
682	num_unjug_ret@1000	738.00000
682	num_rel	41.00000
682	num_rel_ret	19.00000
682	map	0.03888
682	R-prec	0.12195
682	bpref	0.10351
682	recip_rank	0.20000
682	ndcg	0.24230
682	ndcg5	0.13121
682	ndcg10	0.14309
682	ndcg20	0.13526
682	ERR	0.05382
682	ERR10	0.04475
682	ERR20	0.04815
682	P1	0.00000
682	P5	0.20000
682	P10	0.20000
682	P15	0.20000
682	P20	0.15000
682	P30	0.13333
682	P50	0.12000
682	P100	0.07000
682	P200	0.04500
682	P500	0.02600
682	P1000	0.01900
683	num_ret	1000.00000
683	num_unjug_ret@1	0.00000
683	num_unjug_ret@10	0.00000
683	num_unjug_ret@20	0.00000
683	num_unjug_ret@100	4.00000
683	num_unjug_ret@1000	467.00000
683	num_rel	103.00000
683	num_rel_ret	59.00000
683	map	0.15911
683	R-prec	0.27184
683	bpref	0.20247
683	recip_rank	1.00000
683	ndcg	0.51662
683	ndcg5	0.63995
683	ndcg10	0.49368
683	ndcg20	0.43009
683	ERR	0.30349
683	ERR10	0.27980
683	ERR20	0.29557
683	P1	1.00000
683	P5	0.60000
683	P10	0.40000
683	P15	0.46667
683	P20	0.35000
683	P30	0.43333
683	P50	0.30000
683	P100	0.28000
683	P200	0.19500
683	P500	0.10200
683	P1000	0.05900
684	num_ret	1000.00000
684	num_unjug_ret@1	0.00000
684	num_unjug_ret@10	0.00000
684	num_unjug_ret@20	0.00000
684	num_unjug_ret@100	6.00000
684	num_unjug_ret@1000	646.00000
684	num_rel	41.00000
684	num_rel_ret	36.00000
684	map	0.12988
684	R-prec	0.19512
684	bpref	0.11481
684	recip_rank	0.20000
684	ndcg	0.46845
684	ndcg5	0.13121
684	ndcg10	0.10829
684	ndcg20	0.13292
684	ERR	0.06661
684	ERR10	0.04385
684	ERR20	0.05663
684	P1	0.00000
684	P5	0.20000
684	P10	0.20000
684	P15	0.26667
684	P20	0.20000
684	P30	0.16667
684	P50	0.18000
684	P100	0.12000
684	P200	0.13000
684	P500	0.06600
684	P1000	0.03600
685	num_ret	1000.00000
685	num_unjug_ret@1	0.00000
685	num_unjug_ret@10	0.00000
685	num_unjug_ret@20	0.00000
685	num_unjug_ret@100	6.00000
685	num_unjug_ret@1000	679.00000
685	num_rel	13.00000
685	num_rel_ret	12.00000
685	map	0.28079
685	R-prec	0.30769
685	bpref	0.20118
685	recip_rank	1.00000
685	ndcg	0.50154
685	ndcg5	0.18584
685	ndcg10	0.15517
685	ndcg20	0.31424
685	ERR	0.11350
685	ERR10	0.08203
685	ERR20	0.10658
685	P1	1.00000
685	P5	0.40000
685	P10	0.20000
685	P15	0.26667
685	P20	0.25000
685	P30	0.20000
685	P50	0.16000
685	P100	0.10000
685	P200	0.06000
685	P500	0.02400
685	P1000	0.01200
686	num_ret	1000.00000
686	num_unjug_ret@1	0.00000
686	num_unjug_ret@10	0.00000
686	num_unjug_ret@20	0.00000
686	num_unjug_ret@100	3.00000
686	num_unjug_ret@1000	589.00000
686	num_rel	32.00000
686	num_rel_ret	30.00000
686	map	0.36325
686	R-prec	0.43750
686	bpref	0.40039
686	recip_rank	0.33333
686	ndcg	0.59430
686	ndcg5	0.24633
686	ndcg10	0.24062
686	ndcg20	0.39997
686	ERR	0.10966
686	ERR10	0.08068
686	ERR20	0.10250
686	P1	0.00000
686	P5	0.60000
686	P10	0.40000
686	P15	0.40000
686	P20	0.55000
686	P30	0.43333
686	P50	0.42000
686	P100	0.22000
686	P200	0.14500
686	P500	0.05800
686	P1000	0.03000
687	num_ret	1000.00000
687	num_unjug_ret@1	0.00000
687	num_unjug_ret@10	0.00000
687	num_unjug_ret@20	0.00000
687	num_unjug_ret@100	6.00000
687	num_unjug_ret@1000	540.00000
687	num_rel	87.00000
687	num_rel_ret	65.00000
687	map	0.16764
687	R-prec	0.19540
687	bpref	0.14903
687	recip_rank	1.00000
687	ndcg	0.45584
687	ndcg5	0.27681
687	ndcg10	0.35922
687	ndcg20	0.26919
687	ERR	0.16361
687	ERR10	0.15413
687	ERR20	0.16031
687	P1	1.00000
687	P5	0.80000
687	P10	0.80000
687	P15	0.66667
687	P20	0.55000
687	P30	0.36667
687	P50	0.24000
687	P100	0.17000
687	P200	0.12000
687	P500	0.08200
687	P1000	0.06500
688	num_ret	1000.00000
688	num_unjug_ret@1	0.00000
688	num_unjug_ret@10	0.00000
688	num_unjug_ret@20	0.00000
688	num_unjug_ret@100	24.00000
688	num_unjug_ret@1000	653.00000
688	num_rel	161.00000
688	num_rel_ret	75.00000
688	map	0.12872
688	R-prec	0.27329
688	bpref	0.25250
688	recip_rank	0.33333
688	ndcg	0.38122
688	ndcg5	0.16958
688	ndcg10	0.21159
688	ndcg20	0.29911
688	ERR	0.12616
688	ERR10	0.09305
688	ERR20	0.11825
688	P1	0.00000
688	P5	0.20000
688	P10	0.30000
688	P15	0.33333
688	P20	0.45000
688	P30	0.43333
688	P50	0.38000
688	P100	0.31000
688	P200	0.25500
688	P500	0.12400
688	P1000	0.07500
689	num_ret	1000.00000
689	num_unjug_ret@1	0.00000
689	num_unjug_ret@10	0.00000
689	num_unjug_ret@20	0.00000
689	num_unjug_ret@100	2.00000
689	num_unjug_ret@1000	582.00000
689	num_rel	17.00000
689	num_rel_ret	12.00000
689	map	0.02897
689	R-prec	0.00000
689	bpref	0.00000
689	recip_rank	0.05000
689	ndcg	0.24678
689	ndcg5	0.00000
689	ndcg10	0.00000
689	ndcg20	0.04004
689	ERR	0.02017
689	ERR10	0.00000
689	ERR20	0.00938
689	P1	0.00000
689	P5	0.00000
689	P10	0.00000
689	P15	0.00000
689	P20	0.05000
689	P30	0.06667
689	P50	0.06000
689	P100	0.04000
689	P200	0.04000
689	P500	0.02000
689	P1000	0.01200
690	num_ret	1000.00000
690	num_unjug_ret@1	0.00000
690	num_unjug_ret@10	0.00000
690	num_unjug_ret@20	2.00000
690	num_unjug_ret@100	25.00000
690	num_unjug_ret@1000	589.00000
690	num_rel	14.00000
690	num_rel_ret	3.00000
690	map	0.00788
690	R-prec	0.07143
690	bpref	0.02041
690	recip_rank	0.09091
690	ndcg	0.09407
690	ndcg5	0.00000
690	ndcg10	0.00000
690	ndcg20	0.04971
690	ERR	0.00619
690	ERR10	0.00000
690	ERR20	0.00568
690	P1	0.00000
690	P5	0.00000
690	P10	0.00000
690	P15	0.06667
690	P20	0.05000
690	P30	0.03333
690	P50	0.02000
690	P100	0.01000
690	P200	0.01000
690	P500	0.00400
690	P1000	0.00300
691	num_ret	1000.00000
691	num_unjug_ret@1	0.00000
691	num_unjug_ret@10	0.00000
691	num_unjug_ret@20	0.00000
691	num_unjug_ret@100	0.00000
691	num_unjug_ret@1000	603.00000
691	num_rel	21.00000
691	num_rel_ret	21.00000
691	map	0.32938
691	R-prec	0.28571
691	bpref	0.23583
691	recip_rank	1.00000
691	ndcg	0.73063
691	ndcg5	0.68435
691	ndcg10	0.44410
691	ndcg20	0.39208
691	ERR	0.12249
691	ERR10	0.10278
691	ERR20	0.11236
691	P1	1.00000
691	P5	0.60000
691	P10	0.30000
691	P15	0.26667
691	P20	0.30000
691	P30	0.33333
691	P50	0.26000
691	P100	0.16000
691	P200	0.09500
691	P500	0.04000
691	P1000	0.02100
692	num_ret	1000.00000
692	num_unjug_ret@1	0.00000
692	num_unjug_ret@10	0.00000
692	num_unjug_ret@20	0.00000
692	num_unjug_ret@100	0.00000
692	num_unjug_ret@1000	652.00000
692	num_rel	27.00000
692	num_rel_ret	27.00000
692	map	0.46711
692	R-prec	0.48148
692	bpref	0.46091
692	recip_rank	0.50000
692	ndcg	0.74027
692	ndcg5	0.49126
692	ndcg10	0.56181
692	ndcg20	0.61213
692	ERR	0.20291
692	ERR10	0.18913
692	ERR20	0.20012
692	P1	0.00000
692	P5	0.60000
692	P10	0.70000
692	P15	0.66667
692	P20	0.55000
692	P30	0.50000
692	P50	0.34000
692	P100	0.22000
692	P200	0.13000
692	P500	0.05400
692	P1000	0.02700
693	num_ret	1000.00000
693	num_unjug_ret@1	0.00000
693	num_unjug_ret@10	0.00000
693	num_unjug_ret@20	0.00000
693	num_unjug_ret@100	3.00000
693	num_unjug_ret@1000	615.00000
693	num_rel	27.00000
693	num_rel_ret	23.00000
693	map	0.15911
693	R-prec	0.25926
693	bpref	0.14266
693	recip_rank	0.10000
693	ndcg	0.40354
693	ndcg5	0.00000
693	ndcg10	0.02990
693	ndcg20	0.10391
693	ERR	0.03382
693	ERR10	0.00625
693	ERR20	0.01963
693	P1	0.00000
693	P5	0.00000
693	P10	0.10000
693	P15	0.13333
693	P20	0.25000
693	P30	0.26667
693	P50	0.24000
693	P100	0.17000
693	P200	0.10000
693	P500	0.04600
693	P1000	0.02300
694	num_ret	1000.00000
694	num_unjug_ret@1	0.00000
694	num_unjug_ret@10	0.00000
694	num_unjug_ret@20	0.00000
694	num_unjug_ret@100	2.00000
694	num_unjug_ret@1000	700.00000
694	num_rel	88.00000
694	num_rel_ret	88.00000
694	map	0.53690
694	R-prec	0.56818
694	bpref	0.52182
694	recip_rank	1.00000
694	ndcg	0.87667
694	ndcg5	0.83479
694	ndcg10	0.73667
694	ndcg20	0.72296
694	ERR	0.26721
694	ERR10	0.24218
694	ERR20	0.25690
694	P1	1.00000
694	P5	0.60000
694	P10	0.50000
694	P15	0.53333
694	P20	0.60000
694	P30	0.56667
694	P50	0.56000
694	P100	0.53000
694	P200	0.39000
694	P500	0.17600
694	P1000	0.08800
695	num_ret	1000.00000
695	num_unjug_ret@1	0.00000
695	num_unjug_ret@10	0.00000
695	num_unjug_ret@20	0.00000
695	num_unjug_ret@100	1.00000
695	num_unjug_ret@1000	675.00000
695	num_rel	89.00000
695	num_rel_ret	39.00000
695	map	0.16840
695	R-prec	0.26966
695	bpref	0.22623
695	recip_rank	0.50000
695	ndcg	0.39092
695	ndcg5	0.19347
695	ndcg10	0.29665
695	ndcg20	0.39810
695	ERR	0.11597
695	ERR10	0.09037
695	ERR20	0.10811
695	P1	0.00000
695	P5	0.60000
695	P10	0.70000
695	P15	0.66667
695	P20	0.55000
695	P30	0.50000
695	P50	0.40000
695	P100	0.24000
695	P200	0.14500
695	P500	0.06600
695	P1000	0.03900
696	num_ret	1000.00000
696	num_unjug_ret@1	0.00000
696	num_unjug_ret@10	0.00000
696	num_unjug_ret@20	0.00000
696	num_unjug_ret@100	2.00000
696	num_unjug_ret@1000	634.00000
696	num_rel	31.00000
696	num_rel_ret	20.00000
696	map	0.23977
696	R-prec	0.38710
696	bpref	0.30593
696	recip_rank	1.00000
696	ndcg	0.55632
696	ndcg5	0.63995
696	ndcg10	0.54833
696	ndcg20	0.53196
696	ERR	0.12166
696	ERR10	0.10428
696	ERR20	0.11809
696	P1	1.00000
696	P5	0.60000
696	P10	0.50000
696	P15	0.46667
696	P20	0.50000
696	P30	0.40000
696	P50	0.24000
696	P100	0.13000
696	P200	0.08000
696	P500	0.03800
696	P1000	0.02000
697	num_ret	1000.00000
697	num_unjug_ret@1	0.00000
697	num_unjug_ret@10	0.00000
697	num_unjug_ret@20	0.00000
697	num_unjug_ret@100	0.00000
697	num_unjug_ret@1000	571.00000
697	num_rel	50.00000
697	num_rel_ret	48.00000
697	map	0.27036
697	R-prec	0.24000
697	bpref	0.19320
697	recip_rank	1.00000
697	ndcg	0.71976
697	ndcg5	0.60967
697	ndcg10	0.58949
697	ndcg20	0.56280
697	ERR	0.31344
697	ERR10	0.29974
697	ERR20	0.30872
697	P1	1.00000
697	P5	0.60000
697	P10	0.60000
697	P15	0.53333
697	P20	0.40000
697	P30	0.30000
697	P50	0.24000
697	P100	0.22000
697	P200	0.15500
697	P500	0.08400
697	P1000	0.04800
698	num_ret	1000.00000
698	num_unjug_ret@1	0.00000
698	num_unjug_ret@10	0.00000
698	num_unjug_ret@20	0.00000
698	num_unjug_ret@100	0.00000
698	num_unjug_ret@1000	590.00000
698	num_rel	10.00000
698	num_rel_ret	10.00000
698	map	0.21240
698	R-prec	0.20000
698	bpref	0.15000
698	recip_rank	1.00000
698	ndcg	0.59323
698	ndcg5	0.33916
698	ndcg10	0.33842
698	ndcg20	0.42095
698	ERR	0.22224
698	ERR10	0.20926
698	ERR20	0.21904
698	P1	1.00000
698	P5	0.20000
698	P10	0.20000
698	P15	0.20000
698	P20	0.20000
698	P30	0.13333
698	P50	0.08000
698	P100	0.06000
698	P200	0.04500
698	P500	0.02000
698	P1000	0.01000
699	num_ret	1000.00000
699	num_unjug_ret@1	0.00000
699	num_unjug_ret@10	0.00000
699	num_unjug_ret@20	0.00000
699	num_unjug_ret@100	4.00000
699	num_unjug_ret@1000	723.00000
699	num_rel	71.00000
699	num_rel_ret	59.00000
699	map	0.42170
699	R-prec	0.50704
699	bpref	0.45804
699	recip_rank	0.33333
699	ndcg	0.70359
699	ndcg5	0.30079
699	ndcg10	0.54626
699	ndcg20	0.63738
699	ERR	0.09127
699	ERR10	0.06437
699	ERR20	0.08227
699	P1	0.00000
699	P5	0.40000
699	P10	0.70000
699	P15	0.73333
699	P20	0.75000
699	P30	0.66667
699	P50	0.56000
699	P100	0.42000
699	P200	0.25000
699	P500	0.11600
699	P1000	0.05900
700	num_ret	1000.00000
700	num_unjug_ret@1	0.00000
700	num_unjug_ret@10	0.00000
700	num_unjug_ret@20	2.00000
700	num_unjug_ret@100	12.00000
700	num_unjug_ret@1000	601.00000
700	num_rel	120.00000
700	num_rel_ret	112.00000
700	map	0.32781
700	R-prec	0.43333
700	bpref	0.41965
700	recip_rank	0.25000
700	ndcg	0.65261
700	ndcg5	0.17989
700	ndcg10	0.11674
700	ndcg20	0.16770
700	ERR	0.08482
700	ERR10	0.05078
700	ERR20	0.07123
700	P1	0.00000
700	P5	0.40000
700	P10	0.20000
700	P15	0.26667
700	P20	0.30000
700	P30	0.30000
700	P50	0.40000
700	P100	0.43000
700	P200	0.37000
700	P500	0.20200
700	P1000	0.11200
all	queries	249.00000
all	num_ret	249000.00000
all	num_unjug_ret@1	2.00000
all	num_unjug_ret@10	36.00000
all	num_unjug_ret@20	131.00000
all	num_unjug_ret@100	2033.00000
all	num_unjug_ret@1000	151100.00000
all	num_rel	17412.00000
all	num_rel_ret	10722.00000
all	map	0.27405
all	R-prec	0.30629
all	bpref	0.27625
all	recip_rank	0.69095
all	ndcg	0.53728
all	ndcg5	0.46446
all	ndcg10	0.44000
all	ndcg20	0.42805
all	ERR	0.12170
all	ERR10	0.10610
all	ERR20	0.11498
all	P1	0.58635
all	P5	0.49317
all	P10	0.43454
all	P15	0.40535
all	P20	0.37711
all	P30	0.33079
all	P50	0.27205
all	P100	0.19876
all	P200	0.13402
all	P500	0.07239
all	P1000	0.04306