201	num_ret	1000.00000
201	num_unjug_ret@1	0.00000
201	num_unjug_ret@10	1.00000
201	num_unjug_ret@20	2.00000
201	num_unjug_ret@100	56.00000
201	num_unjug_ret@1000	933.00000
201	num_rel	211.00000
201	num_rel_ret	48.00000
201	map	0.10483
201	R-prec	0.19905
201	bpref	0.20823
201	recip_rank	0.50000
201	ndcg	0.21842
201	ndcg5	0.11506
201	ndcg10	0.17804
201	ndcg20	0.25976
201	ERR	0.09616
201	ERR10	0.07055
201	ERR20	0.08647
201	P1	0.00000
201	P5	0.40000
201	P10	0.60000
201	P15	0.60000
201	P20	0.65000
201	P30	0.60000
201	P50	0.52000
201	P100	0.35000
201	P200	0.21000
201	P500	0.09400
201	P1000	0.04800
202	num_ret	1000.00000
202	num_unjug_ret@1	0.00000
202	num_unjug_ret@10	0.00000
202	num_unjug_ret@20	1.00000
202	num_unjug_ret@100	51.00000
202	num_unjug_ret@1000	943.00000
202	num_rel	1.00000
202	num_rel_ret	0.00000
202	map	0.00000
202	R-prec	0.00000
202	bpref	0.00000
202	recip_rank	0.00000
202	ndcg	0.00000
202	ndcg5	0.00000
202	ndcg10	0.00000
202	ndcg20	0.00000
202	ERR	0.00000
202	ERR10	0.00000
202	ERR20	0.00000
202	P1	0.00000
202	P5	0.00000
202	P10	0.00000
202	P15	0.00000
202	P20	0.00000
202	P30	0.00000
202	P50	0.00000
202	P100	0.00000
202	P200	0.00000
202	P500	0.00000
202	P1000	0.00000
203	num_ret	1000.00000
203	num_unjug_ret@1	1.00000
203	num_unjug_ret@10	4.00000
203	num_unjug_ret@20	8.00000
203	num_unjug_ret@100	67.00000
203	num_unjug_ret@1000	934.00000
203	num_rel	135.00000
203	num_rel_ret	22.00000
203	map	0.01625
203	R-prec	0.08889
203	bpref	0.13509
203	recip_rank	0.20000
203	ndcg	0.09683
203	ndcg5	0.01874
203	ndcg10	0.01216
203	ndcg20	0.02218
203	ERR	0.03959
203	ERR10	0.01250
203	ERR20	0.02227
203	P1	0.00000
203	P5	0.20000
203	P10	0.10000
203	P15	0.06667
203	P20	0.10000
203	P30	0.06667
203	P50	0.10000
203	P100	0.12000
203	P200	0.07500
203	P500	0.03800
203	P1000	0.02200
204	num_ret	1000.00000
204	num_unjug_ret@1	1.00000
204	num_unjug_ret@10	3.00000
204	num_unjug_ret@20	7.00000
204	num_unjug_ret@100	82.00000
204	num_unjug_ret@1000	954.00000
204	num_rel	120.00000
204	num_rel_ret	15.00000
204	map	0.01494
204	R-prec	0.04167
204	bpref	0.10535
204	recip_rank	0.50000
204	ndcg	0.08292
204	ndcg5	0.04912
204	ndcg10	0.07177
204	ndcg20	0.06056
204	ERR	0.05681
204	ERR10	0.04572
204	ERR20	0.04940
204	P1	0.00000
204	P5	0.20000
204	P10	0.30000
204	P15	0.26667
204	P20	0.20000
204	P30	0.13333
204	P50	0.08000
204	P100	0.05000
204	P200	0.04000
204	P500	0.02200
204	P1000	0.01500
205	num_ret	1000.00000
205	num_unjug_ret@1	0.00000
205	num_unjug_ret@10	3.00000
205	num_unjug_ret@20	7.00000
205	num_unjug_ret@100	74.00000
205	num_unjug_ret@1000	939.00000
205	num_rel	60.00000
205	num_rel_ret	11.00000
205	map	0.00277
205	R-prec	0.00000
205	bpref	0.06111
205	recip_rank	0.00800
205	ndcg	0.05322
205	ndcg5	0.00000
205	ndcg10	0.00000
205	ndcg20	0.00000
205	ERR	0.00276
205	ERR10	0.00000
205	ERR20	0.00000
205	P1	0.00000
205	P5	0.00000
205	P10	0.00000
205	P15	0.00000
205	P20	0.00000
205	P30	0.00000
205	P50	0.00000
205	P100	0.00000
205	P200	0.00500
205	P500	0.02000
205	P1000	0.01100
206	num_ret	1000.00000
206	num_unjug_ret@1	0.00000
206	num_unjug_ret@10	4.00000
206	num_unjug_ret@20	9.00000
206	num_unjug_ret@100	74.00000
206	num_unjug_ret@1000	927.00000
206	num_rel	160.00000
206	num_rel_ret	22.00000
206	map	0.00753
206	R-prec	0.03750
206	bpref	0.11668
206	recip_rank	0.05556
206	ndcg	0.09629
206	ndcg5	0.00000
206	ndcg10	0.00000
206	ndcg20	0.03420
206	ERR	0.01522
206	ERR10	0.00000
206	ERR20	0.00656
206	P1	0.00000
206	P5	0.00000
206	P10	0.00000
206	P15	0.00000
206	P20	0.10000
206	P30	0.10000
206	P50	0.10000
206	P100	0.05000
206	P200	0.04000
206	P500	0.04000
206	P1000	0.02200
207	num_ret	1000.00000
207	num_unjug_ret@1	0.00000
207	num_unjug_ret@10	1.00000
207	num_unjug_ret@20	7.00000
207	num_unjug_ret@100	68.00000
207	num_unjug_ret@1000	956.00000
207	num_rel	82.00000
207	num_rel_ret	17.00000
207	map	0.04182
207	R-prec	0.13415
207	bpref	0.17385
207	recip_rank	0.14286
207	ndcg	0.15241
207	ndcg5	0.00000
207	ndcg10	0.13772
207	ndcg20	0.14639
207	ERR	0.08866
207	ERR10	0.07629
207	ERR20	0.08588
207	P1	0.00000
207	P5	0.00000
207	P10	0.30000
207	P15	0.40000
207	P20	0.30000
207	P30	0.23333
207	P50	0.20000
207	P100	0.13000
207	P200	0.07000
207	P500	0.03000
207	P1000	0.01700
208	num_ret	1000.00000
208	num_unjug_ret@1	0.00000
208	num_unjug_ret@10	1.00000
208	num_unjug_ret@20	4.00000
208	num_unjug_ret@100	61.00000
208	num_unjug_ret@1000	949.00000
208	num_rel	39.00000
208	num_rel_ret	7.00000
208	map	0.06375
208	R-prec	0.15385
208	bpref	0.14004
208	recip_rank	0.50000
208	ndcg	0.13629
208	ndcg5	0.12512
208	ndcg10	0.11035
208	ndcg20	0.14302
208	ERR	0.10017
208	ERR10	0.08049
208	ERR20	0.09861
208	P1	0.00000
208	P5	0.40000
208	P10	0.30000
208	P15	0.33333
208	P20	0.30000
208	P30	0.20000
208	P50	0.12000
208	P100	0.07000
208	P200	0.03500
208	P500	0.01400
208	P1000	0.00700
209	num_ret	1000.00000
209	num_unjug_ret@1	0.00000
209	num_unjug_ret@10	4.00000
209	num_unjug_ret@20	11.00000
209	num_unjug_ret@100	74.00000
209	num_unjug_ret@1000	962.00000
209	num_rel	13.00000
209	num_rel_ret	1.00000
209	map	0.02564
209	R-prec	0.07692
209	bpref	0.07101
209	recip_rank	0.33333
209	ndcg	0.06969
209	ndcg5	0.09760
209	ndcg10	0.07443
209	ndcg20	0.06969
209	ERR	0.06250
209	ERR10	0.06250
209	ERR20	0.06250
209	P1	0.00000
209	P5	0.20000
209	P10	0.10000
209	P15	0.06667
209	P20	0.05000
209	P30	0.03333
209	P50	0.02000
209	P100	0.01000
209	P200	0.00500
209	P500	0.00200
209	P1000	0.00100
210	num_ret	1000.00000
210	num_unjug_ret@1	0.00000
210	num_unjug_ret@10	0.00000
210	num_unjug_ret@20	4.00000
210	num_unjug_ret@100	53.00000
210	num_unjug_ret@1000	933.00000
210	num_rel	37.00000
210	num_rel_ret	4.00000
210	map	0.00580
210	R-prec	0.05405
210	bpref	0.03214
210	recip_rank	0.07692
210	ndcg	0.05442
210	ndcg5	0.00000
210	ndcg10	0.00000
210	ndcg20	0.01434
210	ERR	0.01269
210	ERR10	0.00000
210	ERR20	0.00481
210	P1	0.00000
210	P5	0.00000
210	P10	0.00000
210	P15	0.06667
210	P20	0.05000
210	P30	0.06667
210	P50	0.04000
210	P100	0.03000
210	P200	0.01500
210	P500	0.00800
210	P1000	0.00400
211	num_ret	1000.00000
211	num_unjug_ret@1	0.00000
211	num_unjug_ret@10	4.00000
211	num_unjug_ret@20	6.00000
211	num_unjug_ret@100	60.00000
211	num_unjug_ret@1000	926.00000
211	num_rel	180.00000
211	num_rel_ret	39.00000
211	map	0.09095
211	R-prec	0.18333
211	bpref	0.20679
211	recip_rank	0.50000
211	ndcg	0.21601
211	ndcg5	0.14910
211	ndcg10	0.14791
211	ndcg20	0.28579
211	ERR	0.13813
211	ERR10	0.09716
211	ERR20	0.13429
211	P1	0.00000
211	P5	0.60000
211	P10	0.50000
211	P15	0.60000
211	P20	0.60000
211	P30	0.50000
211	P50	0.40000
211	P100	0.28000
211	P200	0.17000
211	P500	0.07800
211	P1000	0.03900
212	num_ret	1000.00000
212	num_unjug_ret@1	0.00000
212	num_unjug_ret@10	2.00000
212	num_unjug_ret@20	7.00000
212	num_unjug_ret@100	67.00000
212	num_unjug_ret@1000	931.00000
212	num_rel	18.00000
212	num_rel_ret	2.00000
212	map	0.00054
212	R-prec	0.00000
212	bpref	0.00000
212	recip_rank	0.00730
212	ndcg	0.03708
212	ndcg5	0.00000
212	ndcg10	0.00000
212	ndcg20	0.00000
212	ERR	0.00053
212	ERR10	0.00000
212	ERR20	0.00000
212	P1	0.00000
212	P5	0.00000
212	P10	0.00000
212	P15	0.00000
212	P20	0.00000
212	P30	0.00000
212	P50	0.00000
212	P100	0.00000
212	P200	0.00500
212	P500	0.00200
212	P1000	0.00200
213	num_ret	1000.00000
213	num_unjug_ret@1	0.00000
213	num_unjug_ret@10	5.00000
213	num_unjug_ret@20	12.00000
213	num_unjug_ret@100	73.00000
213	num_unjug_ret@1000	961.00000
213	num_rel	82.00000
213	num_rel_ret	20.00000
213	map	0.04366
213	R-prec	0.13415
213	bpref	0.19036
213	recip_rank	1.00000
213	ndcg	0.17321
213	ndcg5	0.11305
213	ndcg10	0.09651
213	ndcg20	0.11914
213	ERR	0.09258
213	ERR10	0.06982
213	ERR20	0.08478
213	P1	1.00000
213	P5	0.20000
213	P10	0.20000
213	P15	0.20000
213	P20	0.25000
213	P30	0.16667
213	P50	0.12000
213	P100	0.11000
213	P200	0.08500
213	P500	0.04000
213	P1000	0.02000
214	num_ret	1000.00000
214	num_unjug_ret@1	0.00000
214	num_unjug_ret@10	1.00000
214	num_unjug_ret@20	6.00000
214	num_unjug_ret@100	63.00000
214	num_unjug_ret@1000	937.00000
214	num_rel	214.00000
214	num_rel_ret	51.00000
214	map	0.08657
214	R-prec	0.19159
214	bpref	0.22199
214	recip_rank	1.00000
214	ndcg	0.25660
214	ndcg5	0.51905
214	ndcg10	0.52697
214	ndcg20	0.39817
214	ERR	0.27528
214	ERR10	0.26419
214	ERR20	0.27056
214	P1	1.00000
214	P5	0.60000
214	P10	0.70000
214	P15	0.60000
214	P20	0.60000
214	P30	0.46667
214	P50	0.32000
214	P100	0.30000
214	P200	0.20000
214	P500	0.10000
214	P1000	0.05100
215	num_ret	1000.00000
215	num_unjug_ret@1	0.00000
215	num_unjug_ret@10	2.00000
215	num_unjug_ret@20	6.00000
215	num_unjug_ret@100	62.00000
215	num_unjug_ret@1000	936.00000
215	num_rel	119.00000
215	num_rel_ret	32.00000
215	map	0.02879
215	R-prec	0.11765
215	bpref	0.19264
215	recip_rank	0.05263
215	ndcg	0.17196
215	ndcg5	0.00000
215	ndcg10	0.00000
215	ndcg20	0.01902
215	ERR	0.01326
215	ERR10	0.00000
215	ERR20	0.00329
215	P1	0.00000
215	P5	0.00000
215	P10	0.00000
215	P15	0.00000
215	P20	0.05000
215	P30	0.03333
215	P50	0.06000
215	P100	0.12000
215	P200	0.13000
215	P500	0.05800
215	P1000	0.03200
216	num_ret	1000.00000
216	num_unjug_ret@1	0.00000
216	num_unjug_ret@10	0.00000
216	num_unjug_ret@20	3.00000
216	num_unjug_ret@100	56.00000
216	num_unjug_ret@1000	925.00000
216	num_rel	255.00000
216	num_rel_ret	54.00000
216	map	0.09310
216	R-prec	0.18039
216	bpref	0.18850
216	recip_rank	1.00000
216	ndcg	0.18508
216	ndcg5	0.19679
216	ndcg10	0.20708
216	ndcg20	0.23497
216	ERR	0.28560
216	ERR10	0.26350
216	ERR20	0.28245
216	P1	1.00000
216	P5	0.60000
216	P10	0.70000
216	P15	0.73333
216	P20	0.70000
216	P30	0.63333
216	P50	0.46000
216	P100	0.30000
216	P200	0.21000
216	P500	0.10200
216	P1000	0.05400
217	num_ret	1000.00000
217	num_unjug_ret@1	0.00000
217	num_unjug_ret@10	1.00000
217	num_unjug_ret@20	4.00000
217	num_unjug_ret@100	61.00000
217	num_unjug_ret@1000	945.00000
217	num_rel	152.00000
217	num_rel_ret	30.00000
217	map	0.08841
217	R-prec	0.15132
217	bpref	0.15482
217	recip_rank	1.00000
217	ndcg	0.24252
217	ndcg5	0.44397
217	ndcg10	0.41425
217	ndcg20	0.39333
217	ERR	0.34647
217	ERR10	0.33002
217	ERR20	0.34289
217	P1	1.00000
217	P5	0.80000
217	P10	0.70000
217	P15	0.60000
217	P20	0.55000
217	P30	0.53333
217	P50	0.32000
217	P100	0.20000
217	P200	0.12000
217	P500	0.05400
217	P1000	0.03000
218	num_ret	1000.00000
218	num_unjug_ret@1	0.00000
218	num_unjug_ret@10	2.00000
218	num_unjug_ret@20	4.00000
218	num_unjug_ret@100	62.00000
218	num_unjug_ret@1000	932.00000
218	num_rel	137.00000
218	num_rel_ret	21.00000
218	map	0.03251
218	R-prec	0.08029
218	bpref	0.12574
218	recip_rank	0.50000
218	ndcg	0.13112
218	ndcg5	0.16375
218	ndcg10	0.12835
218	ndcg20	0.12476
218	ERR	0.07600
218	ERR10	0.06261
218	ERR20	0.07001
218	P1	0.00000
218	P5	0.60000
218	P10	0.40000
218	P15	0.40000
218	P20	0.30000
218	P30	0.26667
218	P50	0.18000
218	P100	0.10000
218	P200	0.07000
218	P500	0.03600
218	P1000	0.02100
219	num_ret	1000.00000
219	num_unjug_ret@1	1.00000
219	num_unjug_ret@10	8.00000
219	num_unjug_ret@20	13.00000
219	num_unjug_ret@100	81.00000
219	num_unjug_ret@1000	917.00000
219	num_rel	60.00000
219	num_rel_ret	6.00000
219	map	0.00891
219	R-prec	0.05000
219	bpref	0.05694
219	recip_rank	0.12500
219	ndcg	0.05090
219	ndcg5	0.00000
219	ndcg10	0.04511
219	ndcg20	0.03814
219	ERR	0.01731
219	ERR10	0.01432
219	ERR20	0.01432
219	P1	0.00000
219	P5	0.00000
219	P10	0.20000
219	P15	0.13333
219	P20	0.10000
219	P30	0.10000
219	P50	0.06000
219	P100	0.03000
219	P200	0.02000
219	P500	0.01200
219	P1000	0.00600
220	num_ret	1000.00000
220	num_unjug_ret@1	0.00000
220	num_unjug_ret@10	6.00000
220	num_unjug_ret@20	14.00000
220	num_unjug_ret@100	76.00000
220	num_unjug_ret@1000	938.00000
220	num_rel	65.00000
220	num_rel_ret	4.00000
220	map	0.00128
220	R-prec	0.01538
220	bpref	0.03361
220	recip_rank	0.03448
220	ndcg	0.01392
220	ndcg5	0.00000
220	ndcg10	0.00000
220	ndcg20	0.00000
220	ERR	0.00327
220	ERR10	0.00000
220	ERR20	0.00000
220	P1	0.00000
220	P5	0.00000
220	P10	0.00000
220	P15	0.00000
220	P20	0.00000
220	P30	0.03333
220	P50	0.02000
220	P100	0.02000
220	P200	0.01000
220	P500	0.00800
220	P1000	0.00400
221	num_ret	1000.00000
221	num_unjug_ret@1	0.00000
221	num_unjug_ret@10	0.00000
221	num_unjug_ret@20	1.00000
221	num_unjug_ret@100	51.00000
221	num_unjug_ret@1000	931.00000
221	num_rel	217.00000
221	num_rel_ret	49.00000
221	map	0.10819
221	R-prec	0.17512
221	bpref	0.20569
221	recip_rank	1.00000
221	ndcg	0.16269
221	ndcg5	0.15444
221	ndcg10	0.18637
221	ndcg20	0.19029
221	ERR	0.17360
221	ERR10	0.15575
221	ERR20	0.16744
221	P1	1.00000
221	P5	1.00000
221	P10	0.80000
221	P15	0.80000
221	P20	0.70000
221	P30	0.50000
221	P50	0.38000
221	P100	0.34000
221	P200	0.19000
221	P500	0.09000
221	P1000	0.04900
222	num_ret	1000.00000
222	num_unjug_ret@1	0.00000
222	num_unjug_ret@10	2.00000
222	num_unjug_ret@20	8.00000
222	num_unjug_ret@100	73.00000
222	num_unjug_ret@1000	967.00000
222	num_rel	91.00000
222	num_rel_ret	20.00000
222	map	0.08003
222	R-prec	0.19780
222	bpref	0.20447
222	recip_rank	1.00000
222	ndcg	0.18052
222	ndcg5	0.12891
222	ndcg10	0.14773
222	ndcg20	0.15629
222	ERR	0.16075
222	ERR10	0.14500
222	ERR20	0.15448
222	P1	1.00000
222	P5	0.60000
222	P10	0.50000
222	P15	0.40000
222	P20	0.35000
222	P30	0.30000
222	P50	0.26000
222	P100	0.18000
222	P200	0.09500
222	P500	0.04000
222	P1000	0.02000
223	num_ret	1000.00000
223	num_unjug_ret@1	0.00000
223	num_unjug_ret@10	2.00000
223	num_unjug_ret@20	4.00000
223	num_unjug_ret@100	69.00000
223	num_unjug_ret@1000	948.00000
223	num_rel	150.00000
223	num_rel_ret	34.00000
223	map	0.10996
223	R-prec	0.18000
223	bpref	0.21461
223	recip_rank	0.50000
223	ndcg	0.15433
223	ndcg5	0.12330
223	ndcg10	0.12058
223	ndcg20	0.13972
223	ERR	0.21097
223	ERR10	0.19342
223	ERR20	0.20519
223	P1	0.00000
223	P5	0.80000
223	P10	0.70000
223	P15	0.66667
223	P20	0.65000
223	P30	0.60000
223	P50	0.42000
223	P100	0.24000
223	P200	0.15500
223	P500	0.06400
223	P1000	0.03400
224	num_ret	1000.00000
224	num_unjug_ret@1	0.00000
224	num_unjug_ret@10	7.00000
224	num_unjug_ret@20	13.00000
224	num_unjug_ret@100	85.00000
224	num_unjug_ret@1000	960.00000
224	num_rel	41.00000
224	num_rel_ret	5.00000
224	map	0.00286
224	R-prec	0.02439
224	bpref	0.06603
224	recip_rank	0.02564
224	ndcg	0.06355
224	ndcg5	0.00000
224	ndcg10	0.00000
224	ndcg20	0.00000
224	ERR	0.00904
224	ERR10	0.00000
224	ERR20	0.00000
224	P1	0.00000
224	P5	0.00000
224	P10	0.00000
224	P15	0.00000
224	P20	0.00000
224	P30	0.00000
224	P50	0.04000
224	P100	0.03000
224	P200	0.01500
224	P500	0.00600
224	P1000	0.00500
225	num_ret	1000.00000
225	num_unjug_ret@1	1.00000
225	num_unjug_ret@10	8.00000
225	num_unjug_ret@20	12.00000
225	num_unjug_ret@100	72.00000
225	num_unjug_ret@1000	939.00000
225	num_rel	3.00000
225	num_rel_ret	0.00000
225	map	0.00000
225	R-prec	0.00000
225	bpref	0.00000
225	recip_rank	0.00000
225	ndcg	0.00000
225	ndcg5	0.00000
225	ndcg10	0.00000
225	ndcg20	0.00000
225	ERR	0.00000
225	ERR10	0.00000
225	ERR20	0.00000
225	P1	0.00000
225	P5	0.00000
225	P10	0.00000
225	P15	0.00000
225	P20	0.00000
225	P30	0.00000
225	P50	0.00000
225	P100	0.00000
225	P200	0.00000
225	P500	0.00000
225	P1000	0.00000
226	num_ret	1000.00000
226	num_unjug_ret@1	0.00000
226	num_unjug_ret@10	1.00000
226	num_unjug_ret@20	4.00000
226	num_unjug_ret@100	57.00000
226	num_unjug_ret@1000	920.00000
226	num_rel	72.00000
226	num_rel_ret	20.00000
226	map	0.02756
226	R-prec	0.12500
226	bpref	0.14120
226	recip_rank	0.10000
226	ndcg	0.14726
226	ndcg5	0.00000
226	ndcg10	0.02121
226	ndcg20	0.01399
226	ERR	0.02047
226	ERR10	0.00625
226	ERR20	0.00625
226	P1	0.00000
226	P5	0.00000
226	P10	0.10000
226	P15	0.06667
226	P20	0.05000
226	P30	0.13333
226	P50	0.14000
226	P100	0.11000
226	P200	0.07000
226	P500	0.04000
226	P1000	0.02000
227	num_ret	1000.00000
227	num_unjug_ret@1	1.00000
227	num_unjug_ret@10	9.00000
227	num_unjug_ret@20	18.00000
227	num_unjug_ret@100	92.00000
227	num_unjug_ret@1000	977.00000
227	num_rel	50.00000
227	num_rel_ret	9.00000
227	map	0.00587
227	R-prec	0.04000
227	bpref	0.14280
227	recip_rank	0.04000
227	ndcg	0.04199
227	ndcg5	0.00000
227	ndcg10	0.00000
227	ndcg20	0.00000
227	ERR	0.01005
227	ERR10	0.00000
227	ERR20	0.00000
227	P1	0.00000
227	P5	0.00000
227	P10	0.00000
227	P15	0.00000
227	P20	0.00000
227	P30	0.03333
227	P50	0.04000
227	P100	0.03000
227	P200	0.03000
227	P500	0.01400
227	P1000	0.00900
228	num_ret	1000.00000
228	num_unjug_ret@1	0.00000
228	num_unjug_ret@10	4.00000
228	num_unjug_ret@20	13.00000
228	num_unjug_ret@100	81.00000
228	num_unjug_ret@1000	964.00000
228	num_rel	44.00000
228	num_rel_ret	7.00000
228	map	0.08009
228	R-prec	0.11364
228	bpref	0.12707
228	recip_rank	1.00000
228	ndcg	0.14031
228	ndcg5	0.20372
228	ndcg10	0.15535
228	ndcg20	0.13822
228	ERR	0.15138
228	ERR10	0.14673
228	ERR20	0.14673
228	P1	1.00000
228	P5	0.60000
228	P10	0.30000
228	P15	0.20000
228	P20	0.15000
228	P30	0.16667
228	P50	0.10000
228	P100	0.06000
228	P200	0.03000
228	P500	0.01200
228	P1000	0.00700
229	num_ret	1000.00000
229	num_unjug_ret@1	0.00000
229	num_unjug_ret@10	4.00000
229	num_unjug_ret@20	10.00000
229	num_unjug_ret@100	78.00000
229	num_unjug_ret@1000	965.00000
229	num_rel	88.00000
229	num_rel_ret	25.00000
229	map	0.04494
229	R-prec	0.13636
229	bpref	0.10574
229	recip_rank	0.50000
229	ndcg	0.23981
229	ndcg5	0.36005
229	ndcg10	0.29727
229	ndcg20	0.29290
229	ERR	0.16229
229	ERR10	0.14421
229	ERR20	0.15853
229	P1	0.00000
229	P5	0.40000
229	P10	0.30000
229	P15	0.20000
229	P20	0.30000
229	P30	0.20000
229	P50	0.14000
229	P100	0.12000
229	P200	0.08500
229	P500	0.04600
229	P1000	0.02500
230	num_ret	1000.00000
230	num_unjug_ret@1	0.00000
230	num_unjug_ret@10	1.00000
230	num_unjug_ret@20	4.00000
230	num_unjug_ret@100	72.00000
230	num_unjug_ret@1000	963.00000
230	num_rel	49.00000
230	num_rel_ret	9.00000
230	map	0.06859
230	R-prec	0.14286
230	bpref	0.13953
230	recip_rank	1.00000
230	ndcg	0.23717
230	ndcg5	0.34673
230	ndcg10	0.31974
230	ndcg20	0.29388
230	ERR	0.13685
230	ERR10	0.12704
230	ERR20	0.13302
230	P1	1.00000
230	P5	0.40000
230	P10	0.30000
230	P15	0.33333
230	P20	0.25000
230	P30	0.23333
230	P50	0.16000
230	P100	0.08000
230	P200	0.04000
230	P500	0.01600
230	P1000	0.00900
231	num_ret	1000.00000
231	num_unjug_ret@1	0.00000
231	num_unjug_ret@10	2.00000
231	num_unjug_ret@20	9.00000
231	num_unjug_ret@100	78.00000
231	num_unjug_ret@1000	968.00000
231	num_rel	58.00000
231	num_rel_ret	17.00000
231	map	0.07541
231	R-prec	0.15517
231	bpref	0.24881
231	recip_rank	1.00000
231	ndcg	0.33838
231	ndcg5	0.43934
231	ndcg10	0.36912
231	ndcg20	0.34122
231	ERR	0.46783
231	ERR10	0.45979
231	ERR20	0.46185
231	P1	1.00000
231	P5	0.40000
231	P10	0.30000
231	P15	0.26667
231	P20	0.20000
231	P30	0.20000
231	P50	0.18000
231	P100	0.11000
231	P200	0.06000
231	P500	0.03200
231	P1000	0.01700
232	num_ret	1000.00000
232	num_unjug_ret@1	0.00000
232	num_unjug_ret@10	1.00000
232	num_unjug_ret@20	3.00000
232	num_unjug_ret@100	64.00000
232	num_unjug_ret@1000	937.00000
232	num_rel	46.00000
232	num_rel_ret	8.00000
232	map	0.10494
232	R-prec	0.15217
232	bpref	0.14461
232	recip_rank	1.00000
232	ndcg	0.27587
232	ndcg5	0.72273
232	ndcg10	0.61180
232	ndcg20	0.42717
232	ERR	0.12769
232	ERR10	0.12350
232	ERR20	0.12576
232	P1	1.00000
232	P5	0.60000
232	P10	0.50000
232	P15	0.33333
232	P20	0.30000
232	P30	0.23333
232	P50	0.14000
232	P100	0.07000
232	P200	0.04000
232	P500	0.01600
232	P1000	0.00800
233	num_ret	1000.00000
233	num_unjug_ret@1	0.00000
233	num_unjug_ret@10	3.00000
233	num_unjug_ret@20	11.00000
233	num_unjug_ret@100	56.00000
233	num_unjug_ret@1000	930.00000
233	num_rel	75.00000
233	num_rel_ret	10.00000
233	map	0.00411
233	R-prec	0.04000
233	bpref	0.05227
233	recip_rank	0.04348
233	ndcg	0.07023
233	ndcg5	0.00000
233	ndcg10	0.00000
233	ndcg20	0.00000
233	ERR	0.00700
233	ERR10	0.00000
233	ERR20	0.00000
233	P1	0.00000
233	P5	0.00000
233	P10	0.00000
233	P15	0.00000
233	P20	0.00000
233	P30	0.06667
233	P50	0.04000
233	P100	0.04000
233	P200	0.02500
233	P500	0.01400
233	P1000	0.01000
234	num_ret	1000.00000
234	num_unjug_ret@1	0.00000
234	num_unjug_ret@10	1.00000
234	num_unjug_ret@20	4.00000
234	num_unjug_ret@100	64.00000
234	num_unjug_ret@1000	938.00000
234	num_rel	167.00000
234	num_rel_ret	35.00000
234	map	0.05294
234	R-prec	0.16168
234	bpref	0.18110
234	recip_rank	0.50000
234	ndcg	0.20577
234	ndcg5	0.20568
234	ndcg10	0.20154
234	ndcg20	0.25684
234	ERR	0.07224
234	ERR10	0.04907
234	ERR20	0.06181
234	P1	0.00000
234	P5	0.40000
234	P10	0.30000
234	P15	0.33333
234	P20	0.35000
234	P30	0.30000
234	P50	0.30000
234	P100	0.20000
234	P200	0.14500
234	P500	0.06800
234	P1000	0.03500
235	num_ret	1000.00000
235	num_unjug_ret@1	0.00000
235	num_unjug_ret@10	4.00000
235	num_unjug_ret@20	10.00000
235	num_unjug_ret@100	75.00000
235	num_unjug_ret@1000	968.00000
235	num_rel	14.00000
235	num_rel_ret	1.00000
235	map	0.00376
235	R-prec	0.00000
235	bpref	0.02551
235	recip_rank	0.05263
235	ndcg	0.07030
235	ndcg5	0.00000
235	ndcg10	0.00000
235	ndcg20	0.07030
235	ERR	0.00987
235	ERR10	0.00000
235	ERR20	0.00987
235	P1	0.00000
235	P5	0.00000
235	P10	0.00000
235	P15	0.00000
235	P20	0.05000
235	P30	0.03333
235	P50	0.02000
235	P100	0.01000
235	P200	0.00500
235	P500	0.00200
235	P1000	0.00100
236	num_ret	1000.00000
236	num_unjug_ret@1	0.00000
236	num_unjug_ret@10	3.00000
236	num_unjug_ret@20	7.00000
236	num_unjug_ret@100	77.00000
236	num_unjug_ret@1000	969.00000
236	num_rel	121.00000
236	num_rel_ret	23.00000
236	map	0.09836
236	R-prec	0.18182
236	bpref	0.18365
236	recip_rank	1.00000
236	ndcg	0.23035
236	ndcg5	0.30383
236	ndcg10	0.36004
236	ndcg20	0.39518
236	ERR	0.13098
236	ERR10	0.11027
236	ERR20	0.12336
236	P1	1.00000
236	P5	0.60000
236	P10	0.60000
236	P15	0.60000
236	P20	0.55000
236	P30	0.50000
236	P50	0.36000
236	P100	0.20000
236	P200	0.11500
236	P500	0.04600
236	P1000	0.02300
237	num_ret	1000.00000
237	num_unjug_ret@1	0.00000
237	num_unjug_ret@10	3.00000
237	num_unjug_ret@20	9.00000
237	num_unjug_ret@100	80.00000
237	num_unjug_ret@1000	970.00000
237	num_rel	10.00000
237	num_rel_ret	0.00000
237	map	0.00000
237	R-prec	0.00000
237	bpref	0.00000
237	recip_rank	0.00000
237	ndcg	0.00000
237	ndcg5	0.00000
237	ndcg10	0.00000
237	ndcg20	0.00000
237	ERR	0.00000
237	ERR10	0.00000
237	ERR20	0.00000
237	P1	0.00000
237	P5	0.00000
237	P10	0.00000
237	P15	0.00000
237	P20	0.00000
237	P30	0.00000
237	P50	0.00000
237	P100	0.00000
237	P200	0.00000
237	P500	0.00000
237	P1000	0.00000
238	num_ret	1000.00000
238	num_unjug_ret@1	0.00000
238	num_unjug_ret@10	6.00000
238	num_unjug_ret@20	14.00000
238	num_unjug_ret@100	86.00000
238	num_unjug_ret@1000	970.00000
238	num_rel	30.00000
238	num_rel_ret	4.00000
238	map	0.01288
238	R-prec	0.03333
238	bpref	0.07778
238	recip_rank	0.33333
238	ndcg	0.06465
238	ndcg5	0.04142
238	ndcg10	0.03659
238	ndcg20	0.03093
238	ERR	0.02273
238	ERR10	0.02083
238	ERR20	0.02083
238	P1	0.00000
238	P5	0.20000
238	P10	0.10000
238	P15	0.06667
238	P20	0.05000
238	P30	0.03333
238	P50	0.02000
238	P100	0.02000
238	P200	0.01500
238	P500	0.00800
238	P1000	0.00400
239	num_ret	1000.00000
239	num_unjug_ret@1	0.00000
239	num_unjug_ret@10	4.00000
239	num_unjug_ret@20	11.00000
239	num_unjug_ret@100	64.00000
239	num_unjug_ret@1000	942.00000
239	num_rel	75.00000
239	num_rel_ret	14.00000
239	map	0.02865
239	R-prec	0.09333
239	bpref	0.13796
239	recip_rank	1.00000
239	ndcg	0.10630
239	ndcg5	0.06851
239	ndcg10	0.06176
239	ndcg20	0.05351
239	ERR	0.07004
239	ERR10	0.06250
239	ERR20	0.06250
239	P1	1.00000
239	P5	0.20000
239	P10	0.10000
239	P15	0.06667
239	P20	0.05000
239	P30	0.03333
239	P50	0.02000
239	P100	0.11000
239	P200	0.06500
239	P500	0.02800
239	P1000	0.01400
240	num_ret	1000.00000
240	num_unjug_ret@1	1.00000
240	num_unjug_ret@10	5.00000
240	num_unjug_ret@20	14.00000
240	num_unjug_ret@100	85.00000
240	num_unjug_ret@1000	957.00000
240	num_rel	190.00000
240	num_rel_ret	11.00000
240	map	0.01469
240	R-prec	0.04737
240	bpref	0.05072
240	recip_rank	0.50000
240	ndcg	0.09635
240	ndcg5	0.21399
240	ndcg10	0.24712
240	ndcg20	0.15949
240	ERR	0.26848
240	ERR10	0.26684
240	ERR20	0.26684
240	P1	0.00000
240	P5	0.20000
240	P10	0.50000
240	P15	0.33333
240	P20	0.25000
240	P30	0.16667
240	P50	0.12000
240	P100	0.08000
240	P200	0.04500
240	P500	0.01800
240	P1000	0.01100
241	num_ret	1000.00000
241	num_unjug_ret@1	1.00000
241	num_unjug_ret@10	9.00000
241	num_unjug_ret@20	16.00000
241	num_unjug_ret@100	93.00000
241	num_unjug_ret@1000	976.00000
241	num_rel	100.00000
241	num_rel_ret	13.00000
241	map	0.00406
241	R-prec	0.03000
241	bpref	0.12260
241	recip_rank	0.01429
241	ndcg	0.04515
241	ndcg5	0.00000
241	ndcg10	0.00000
241	ndcg20	0.00000
241	ERR	0.00418
241	ERR10	0.00000
241	ERR20	0.00000
241	P1	0.00000
241	P5	0.00000
241	P10	0.00000
241	P15	0.00000
241	P20	0.00000
241	P30	0.00000
241	P50	0.00000
241	P100	0.03000
241	P200	0.03500
241	P500	0.02200
241	P1000	0.01300
242	num_ret	1000.00000
242	num_unjug_ret@1	0.00000
242	num_unjug_ret@10	6.00000
242	num_unjug_ret@20	11.00000
242	num_unjug_ret@100	78.00000
242	num_unjug_ret@1000	961.00000
242	num_rel	25.00000
242	num_rel_ret	3.00000
242	map	0.00510
242	R-prec	0.04000
242	bpref	0.05600
242	recip_rank	0.06250
242	ndcg	0.04945
242	ndcg5	0.00000
242	ndcg10	0.00000
242	ndcg20	0.02375
242	ERR	0.00539
242	ERR10	0.00000
242	ERR20	0.00391
242	P1	0.00000
242	P5	0.00000
242	P10	0.00000
242	P15	0.00000
242	P20	0.05000
242	P30	0.03333
242	P50	0.02000
242	P100	0.03000
242	P200	0.01500
242	P500	0.00600
242	P1000	0.00300
243	num_ret	1000.00000
243	num_unjug_ret@1	0.00000
243	num_unjug_ret@10	6.00000
243	num_unjug_ret@20	16.00000
243	num_unjug_ret@100	96.00000
243	num_unjug_ret@1000	966.00000
243	num_rel	77.00000
243	num_rel_ret	7.00000
243	map	0.00522
243	R-prec	0.01299
243	bpref	0.07421
243	recip_rank	0.33333
243	ndcg	0.04322
243	ndcg5	0.03892
243	ndcg10	0.03300
243	ndcg20	0.02833
243	ERR	0.02188
243	ERR10	0.02083
243	ERR20	0.02083
243	P1	0.00000
243	P5	0.20000
243	P10	0.10000
243	P15	0.06667
243	P20	0.05000
243	P30	0.03333
243	P50	0.02000
243	P100	0.01000
243	P200	0.01000
243	P500	0.01000
243	P1000	0.00700
244	num_ret	1000.00000
244	num_unjug_ret@1	0.00000
244	num_unjug_ret@10	4.00000
244	num_unjug_ret@20	13.00000
244	num_unjug_ret@100	76.00000
244	num_unjug_ret@1000	963.00000
244	num_rel	17.00000
244	num_rel_ret	7.00000
244	map	0.04384
244	R-prec	0.05882
244	bpref	0.11765
244	recip_rank	0.50000
244	ndcg	0.17101
244	ndcg5	0.08750
244	ndcg10	0.07165
244	ndcg20	0.05948
244	ERR	0.03605
244	ERR10	0.03125
244	ERR20	0.03125
244	P1	0.00000
244	P5	0.20000
244	P10	0.10000
244	P15	0.06667
244	P20	0.05000
244	P30	0.06667
244	P50	0.06000
244	P100	0.03000
244	P200	0.03000
244	P500	0.01400
244	P1000	0.00700
245	num_ret	1000.00000
245	num_unjug_ret@1	0.00000
245	num_unjug_ret@10	4.00000
245	num_unjug_ret@20	9.00000
245	num_unjug_ret@100	78.00000
245	num_unjug_ret@1000	971.00000
245	num_rel	9.00000
245	num_rel_ret	1.00000
245	map	0.00021
245	R-prec	0.00000
245	bpref	0.00000
245	recip_rank	0.00189
245	ndcg	0.00883
245	ndcg5	0.00000
245	ndcg10	0.00000
245	ndcg20	0.00000
245	ERR	0.00012
245	ERR10	0.00000
245	ERR20	0.00000
245	P1	0.00000
245	P5	0.00000
245	P10	0.00000
245	P15	0.00000
245	P20	0.00000
245	P30	0.00000
245	P50	0.00000
245	P100	0.00000
245	P200	0.00000
245	P500	0.00000
245	P1000	0.00100
246	num_ret	1000.00000
246	num_unjug_ret@1	0.00000
246	num_unjug_ret@10	6.00000
246	num_unjug_ret@20	12.00000
246	num_unjug_ret@100	82.00000
246	num_unjug_ret@1000	963.00000
246	num_rel	74.00000
246	num_rel_ret	8.00000
246	map	0.00212
246	R-prec	0.01351
246	bpref	0.06775
246	recip_rank	0.06667
246	ndcg	0.03458
246	ndcg5	0.00000
246	ndcg10	0.00000
246	ndcg20	0.00797
246	ERR	0.00587
246	ERR10	0.00000
246	ERR20	0.00417
246	P1	0.00000
246	P5	0.00000
246	P10	0.00000
246	P15	0.06667
246	P20	0.05000
246	P30	0.03333
246	P50	0.02000
246	P100	0.02000
246	P200	0.01500
246	P500	0.00800
246	P1000	0.00800
247	num_ret	1000.00000
247	num_unjug_ret@1	0.00000
247	num_unjug_ret@10	1.00000
247	num_unjug_ret@20	3.00000
247	num_unjug_ret@100	55.00000
247	num_unjug_ret@1000	933.00000
247	num_rel	24.00000
247	num_rel_ret	1.00000
247	map	0.00174
247	R-prec	0.04167
247	bpref	0.00868
247	recip_rank	0.04167
247	ndcg	0.02171
247	ndcg5	0.00000
247	ndcg10	0.00000
247	ndcg20	0.00000
247	ERR	0.00260
247	ERR10	0.00000
247	ERR20	0.00000
247	P1	0.00000
247	P5	0.00000
247	P10	0.00000
247	P15	0.00000
247	P20	0.00000
247	P30	0.03333
247	P50	0.02000
247	P100	0.01000
247	P200	0.00500
247	P500	0.00200
247	P1000	0.00100
248	num_ret	1000.00000
248	num_unjug_ret@1	0.00000
248	num_unjug_ret@10	4.00000
248	num_unjug_ret@20	9.00000
248	num_unjug_ret@100	75.00000
248	num_unjug_ret@1000	967.00000
248	num_rel	29.00000
248	num_rel_ret	2.00000
248	map	0.00117
248	R-prec	0.00000
248	bpref	0.01665
248	recip_rank	0.01887
248	ndcg	0.02178
248	ndcg5	0.00000
248	ndcg10	0.00000
248	ndcg20	0.00000
248	ERR	0.00392
248	ERR10	0.00000
248	ERR20	0.00000
248	P1	0.00000
248	P5	0.00000
248	P10	0.00000
248	P15	0.00000
248	P20	0.00000
248	P30	0.00000
248	P50	0.00000
248	P100	0.01000
248	P200	0.01000
248	P500	0.00400
248	P1000	0.00200
249	num_ret	1000.00000
249	num_unjug_ret@1	0.00000
249	num_unjug_ret@10	2.00000
249	num_unjug_ret@20	7.00000
249	num_unjug_ret@100	79.00000
249	num_unjug_ret@1000	968.00000
249	num_rel	44.00000
249	num_rel_ret	8.00000
249	map	0.00339
249	R-prec	0.00000
249	bpref	0.09504
249	recip_rank	0.00794
249	ndcg	0.08624
249	ndcg5	0.00000
249	ndcg10	0.00000
249	ndcg20	0.00000
249	ERR	0.00440
249	ERR10	0.00000
249	ERR20	0.00000
249	P1	0.00000
249	P5	0.00000
249	P10	0.00000
249	P15	0.00000
249	P20	0.00000
249	P30	0.00000
249	P50	0.00000
249	P100	0.00000
249	P200	0.02000
249	P500	0.01600
249	P1000	0.00800
250	num_ret	1000.00000
250	num_unjug_ret@1	0.00000
250	num_unjug_ret@10	7.00000
250	num_unjug_ret@20	12.00000
250	num_unjug_ret@100	87.00000
250	num_unjug_ret@1000	971.00000
250	num_rel	20.00000
250	num_rel_ret	1.00000
250	map	0.01667
250	R-prec	0.05000
250	bpref	0.04750
250	recip_rank	0.33333
250	ndcg	0.03493
250	ndcg5	0.05653
250	ndcg10	0.04230
250	ndcg20	0.03493
250	ERR	0.02083
250	ERR10	0.02083
250	ERR20	0.02083
250	P1	0.00000
250	P5	0.20000
250	P10	0.10000
250	P15	0.06667
250	P20	0.05000
250	P30	0.03333
250	P50	0.02000
250	P100	0.01000
250	P200	0.00500
250	P500	0.00200
250	P1000	0.00100
all	queries	50.00000
all	num_ret	50000.00000
all	num_unjug_ret@1	7.00000
all	num_unjug_ret@10	171.00000
all	num_unjug_ret@20	422.00000
all	num_unjug_ret@100	3579.00000
all	num_unjug_ret@1000	47500.00000
all	num_rel	4150.00000
all	num_rel_ret	758.00000
all	map	0.03531
all	R-prec	0.08274
all	bpref	0.10941
all	recip_rank	0.39023
all	ndcg	0.11563
all	ndcg5	0.10974
all	ndcg10	0.10868
all	ndcg20	0.10956
all	ERR	0.08081
all	ERR10	0.07068
all	ERR20	0.07609
all	P1	0.24000
all	P5	0.23600
all	P10	0.21600
all	P15	0.20000
all	P20	0.18800
all	P30	0.16267
all	P50	0.12320
all	P100	0.08900
all	P200	0.05770
all	P500	0.02804
all	P1000	0.01516