201	num_ret	1000.00000
201	num_unjug_ret@1	0.00000
201	num_unjug_ret@10	1.00000
201	num_unjug_ret@20	2.00000
201	num_unjug_ret@100	57.00000
201	num_unjug_ret@1000	933.00000
201	num_rel	211.00000
201	num_rel_ret	48.00000
201	map	0.10876
201	R-prec	0.20379
201	bpref	0.21135
201	recip_rank	0.50000
201	ndcg	0.22139
201	ndcg5	0.16375
201	ndcg10	0.18595
201	ndcg20	0.24980
201	ERR	0.10189
201	ERR10	0.07689
201	ERR20	0.09040
201	P1	0.00000
201	P5	0.60000
201	P10	0.60000
201	P15	0.53333
201	P20	0.60000
201	P30	0.63333
201	P50	0.56000
201	P100	0.34000
201	P200	0.21000
201	P500	0.09400
201	P1000	0.04800
202	num_ret	1000.00000
202	num_unjug_ret@1	0.00000
202	num_unjug_ret@10	0.00000
202	num_unjug_ret@20	2.00000
202	num_unjug_ret@100	51.00000
202	num_unjug_ret@1000	943.00000
202	num_rel	1.00000
202	num_rel_ret	0.00000
202	map	0.00000
202	R-prec	0.00000
202	bpref	0.00000
202	recip_rank	0.00000
202	ndcg	0.00000
202	ndcg5	0.00000
202	ndcg10	0.00000
202	ndcg20	0.00000
202	ERR	0.00000
202	ERR10	0.00000
202	ERR20	0.00000
202	P1	0.00000
202	P5	0.00000
202	P10	0.00000
202	P15	0.00000
202	P20	0.00000
202	P30	0.00000
202	P50	0.00000
202	P100	0.00000
202	P200	0.00000
202	P500	0.00000
202	P1000	0.00000
203	num_ret	1000.00000
203	num_unjug_ret@1	0.00000
203	num_unjug_ret@10	1.00000
203	num_unjug_ret@20	5.00000
203	num_unjug_ret@100	62.00000
203	num_unjug_ret@1000	934.00000
203	num_rel	135.00000
203	num_rel_ret	22.00000
203	map	0.02805
203	R-prec	0.12593
203	bpref	0.13289
203	recip_rank	0.25000
203	ndcg	0.12158
203	ndcg5	0.15207
203	ndcg10	0.10916
203	ndcg20	0.10332
203	ERR	0.12155
203	ERR10	0.10236
203	ERR20	0.11375
203	P1	0.00000
203	P5	0.40000
203	P10	0.30000
203	P15	0.20000
203	P20	0.20000
203	P30	0.20000
203	P50	0.14000
203	P100	0.14000
203	P200	0.09500
203	P500	0.04200
203	P1000	0.02200
204	num_ret	1000.00000
204	num_unjug_ret@1	0.00000
204	num_unjug_ret@10	2.00000
204	num_unjug_ret@20	6.00000
204	num_unjug_ret@100	80.00000
204	num_unjug_ret@1000	945.00000
204	num_rel	120.00000
204	num_rel_ret	20.00000
204	map	0.02572
204	R-prec	0.05000
204	bpref	0.13736
204	recip_rank	1.00000
204	ndcg	0.12006
204	ndcg5	0.10797
204	ndcg10	0.11464
204	ndcg20	0.08046
204	ERR	0.10050
204	ERR10	0.08779
204	ERR20	0.08779
204	P1	1.00000
204	P5	0.40000
204	P10	0.40000
204	P15	0.26667
204	P20	0.20000
204	P30	0.13333
204	P50	0.10000
204	P100	0.06000
204	P200	0.05000
204	P500	0.03000
204	P1000	0.02000
205	num_ret	1000.00000
205	num_unjug_ret@1	0.00000
205	num_unjug_ret@10	2.00000
205	num_unjug_ret@20	8.00000
205	num_unjug_ret@100	60.00000
205	num_unjug_ret@1000	932.00000
205	num_rel	60.00000
205	num_rel_ret	11.00000
205	map	0.02564
205	R-prec	0.13333
205	bpref	0.12028
205	recip_rank	0.16667
205	ndcg	0.08472
205	ndcg5	0.00000
205	ndcg10	0.01608
205	ndcg20	0.03860
205	ERR	0.03324
205	ERR10	0.01042
205	ERR20	0.02394
205	P1	0.00000
205	P5	0.00000
205	P10	0.10000
205	P15	0.13333
205	P20	0.10000
205	P30	0.20000
205	P50	0.16000
205	P100	0.08000
205	P200	0.04000
205	P500	0.02200
205	P1000	0.01100
206	num_ret	1000.00000
206	num_unjug_ret@1	0.00000
206	num_unjug_ret@10	0.00000
206	num_unjug_ret@20	5.00000
206	num_unjug_ret@100	52.00000
206	num_unjug_ret@1000	921.00000
206	num_rel	160.00000
206	num_rel_ret	29.00000
206	map	0.02908
206	R-prec	0.13125
206	bpref	0.15086
206	recip_rank	0.25000
206	ndcg	0.15356
206	ndcg5	0.04869
206	ndcg10	0.03862
206	ndcg20	0.04823
206	ERR	0.03640
206	ERR10	0.01563
206	ERR20	0.01855
206	P1	0.00000
206	P5	0.20000
206	P10	0.10000
206	P15	0.06667
206	P20	0.10000
206	P30	0.20000
206	P50	0.26000
206	P100	0.16000
206	P200	0.10500
206	P500	0.05200
206	P1000	0.02900
207	num_ret	1000.00000
207	num_unjug_ret@1	0.00000
207	num_unjug_ret@10	1.00000
207	num_unjug_ret@20	6.00000
207	num_unjug_ret@100	67.00000
207	num_unjug_ret@1000	961.00000
207	num_rel	82.00000
207	num_rel_ret	15.00000
207	map	0.04156
207	R-prec	0.15854
207	bpref	0.15571
207	recip_rank	0.25000
207	ndcg	0.12918
207	ndcg5	0.02087
207	ndcg10	0.04015
207	ndcg20	0.08038
207	ERR	0.06063
207	ERR10	0.02763
207	ERR20	0.05133
207	P1	0.00000
207	P5	0.20000
207	P10	0.30000
207	P15	0.33333
207	P20	0.25000
207	P30	0.20000
207	P50	0.18000
207	P100	0.14000
207	P200	0.07000
207	P500	0.03000
207	P1000	0.01500
208	num_ret	1000.00000
208	num_unjug_ret@1	0.00000
208	num_unjug_ret@10	1.00000
208	num_unjug_ret@20	4.00000
208	num_unjug_ret@100	59.00000
208	num_unjug_ret@1000	950.00000
208	num_rel	39.00000
208	num_rel_ret	7.00000
208	map	0.04843
208	R-prec	0.15385
208	bpref	0.12623
208	recip_rank	0.50000
208	ndcg	0.11816
208	ndcg5	0.04105
208	ndcg10	0.07826
208	ndcg20	0.10152
208	ERR	0.07251
208	ERR10	0.05322
208	ERR20	0.06735
208	P1	0.00000
208	P5	0.20000
208	P10	0.20000
208	P15	0.26667
208	P20	0.25000
208	P30	0.20000
208	P50	0.12000
208	P100	0.06000
208	P200	0.03500
208	P500	0.01400
208	P1000	0.00700
209	num_ret	1000.00000
209	num_unjug_ret@1	0.00000
209	num_unjug_ret@10	4.00000
209	num_unjug_ret@20	10.00000
209	num_unjug_ret@100	72.00000
209	num_unjug_ret@1000	962.00000
209	num_rel	13.00000
209	num_rel_ret	1.00000
209	map	0.03846
209	R-prec	0.07692
209	bpref	0.07101
209	recip_rank	0.50000
209	ndcg	0.08794
209	ndcg5	0.12316
209	ndcg10	0.09391
209	ndcg20	0.08794
209	ERR	0.09375
209	ERR10	0.09375
209	ERR20	0.09375
209	P1	0.00000
209	P5	0.20000
209	P10	0.10000
209	P15	0.06667
209	P20	0.05000
209	P30	0.03333
209	P50	0.02000
209	P100	0.01000
209	P200	0.00500
209	P500	0.00200
209	P1000	0.00100
210	num_ret	1000.00000
210	num_unjug_ret@1	0.00000
210	num_unjug_ret@10	2.00000
210	num_unjug_ret@20	4.00000
210	num_unjug_ret@100	52.00000
210	num_unjug_ret@1000	931.00000
210	num_rel	37.00000
210	num_rel_ret	5.00000
210	map	0.00761
210	R-prec	0.05405
210	bpref	0.04237
210	recip_rank	0.08333
210	ndcg	0.06650
210	ndcg5	0.00000
210	ndcg10	0.00000
210	ndcg20	0.05791
210	ERR	0.01993
210	ERR10	0.00000
210	ERR20	0.01901
210	P1	0.00000
210	P5	0.00000
210	P10	0.00000
210	P15	0.13333
210	P20	0.10000
210	P30	0.06667
210	P50	0.04000
210	P100	0.03000
210	P200	0.01500
210	P500	0.00800
210	P1000	0.00500
211	num_ret	1000.00000
211	num_unjug_ret@1	0.00000
211	num_unjug_ret@10	4.00000
211	num_unjug_ret@20	8.00000
211	num_unjug_ret@100	68.00000
211	num_unjug_ret@1000	923.00000
211	num_rel	180.00000
211	num_rel_ret	41.00000
211	map	0.07318
211	R-prec	0.16111
211	bpref	0.21420
211	recip_rank	0.33333
211	ndcg	0.20269
211	ndcg5	0.13607
211	ndcg10	0.13464
211	ndcg20	0.23377
211	ERR	0.11296
211	ERR10	0.07900
211	ERR20	0.10846
211	P1	0.00000
211	P5	0.60000
211	P10	0.50000
211	P15	0.53333
211	P20	0.50000
211	P30	0.43333
211	P50	0.40000
211	P100	0.23000
211	P200	0.15000
211	P500	0.08000
211	P1000	0.04100
212	num_ret	1000.00000
212	num_unjug_ret@1	0.00000
212	num_unjug_ret@10	2.00000
212	num_unjug_ret@20	6.00000
212	num_unjug_ret@100	63.00000
212	num_unjug_ret@1000	930.00000
212	num_rel	18.00000
212	num_rel_ret	2.00000
212	map	0.00082
212	R-prec	0.00000
212	bpref	0.00000
212	recip_rank	0.01163
212	ndcg	0.03987
212	ndcg5	0.00000
212	ndcg10	0.00000
212	ndcg20	0.00000
212	ERR	0.00082
212	ERR10	0.00000
212	ERR20	0.00000
212	P1	0.00000
212	P5	0.00000
212	P10	0.00000
212	P15	0.00000
212	P20	0.00000
212	P30	0.00000
212	P50	0.00000
212	P100	0.01000
212	P200	0.00500
212	P500	0.00200
212	P1000	0.00200
213	num_ret	1000.00000
213	num_unjug_ret@1	0.00000
213	num_unjug_ret@10	4.00000
213	num_unjug_ret@20	12.00000
213	num_unjug_ret@100	74.00000
213	num_unjug_ret@1000	960.00000
213	num_rel	82.00000
213	num_rel_ret	20.00000
213	map	0.03937
213	R-prec	0.10976
213	bpref	0.20687
213	recip_rank	0.50000
213	ndcg	0.16450
213	ndcg5	0.07133
213	ndcg10	0.09363
213	ndcg20	0.07286
213	ERR	0.06273
213	ERR10	0.04651
213	ERR20	0.05047
213	P1	0.00000
213	P5	0.20000
213	P10	0.30000
213	P15	0.26667
213	P20	0.20000
213	P30	0.16667
213	P50	0.14000
213	P100	0.10000
213	P200	0.09000
213	P500	0.03800
213	P1000	0.02000
214	num_ret	1000.00000
214	num_unjug_ret@1	0.00000
214	num_unjug_ret@10	0.00000
214	num_unjug_ret@20	5.00000
214	num_unjug_ret@100	55.00000
214	num_unjug_ret@1000	935.00000
214	num_rel	214.00000
214	num_rel_ret	51.00000
214	map	0.11518
214	R-prec	0.21028
214	bpref	0.22327
214	recip_rank	1.00000
214	ndcg	0.26514
214	ndcg5	0.45422
214	ndcg10	0.41178
214	ndcg20	0.40298
214	ERR	0.27620
214	ERR10	0.24827
214	ERR20	0.27014
214	P1	1.00000
214	P5	0.60000
214	P10	0.80000
214	P15	0.80000
214	P20	0.65000
214	P30	0.53333
214	P50	0.46000
214	P100	0.36000
214	P200	0.22000
214	P500	0.10200
214	P1000	0.05100
215	num_ret	1000.00000
215	num_unjug_ret@1	0.00000
215	num_unjug_ret@10	3.00000
215	num_unjug_ret@20	8.00000
215	num_unjug_ret@100	59.00000
215	num_unjug_ret@1000	938.00000
215	num_rel	119.00000
215	num_rel_ret	31.00000
215	map	0.03532
215	R-prec	0.13445
215	bpref	0.20613
215	recip_rank	0.33333
215	ndcg	0.18380
215	ndcg5	0.06195
215	ndcg10	0.05172
215	ndcg20	0.04111
215	ERR	0.03359
215	ERR10	0.02083
215	ERR20	0.02083
215	P1	0.00000
215	P5	0.20000
215	P10	0.10000
215	P15	0.06667
215	P20	0.05000
215	P30	0.06667
215	P50	0.08000
215	P100	0.14000
215	P200	0.14000
215	P500	0.05800
215	P1000	0.03100
216	num_ret	1000.00000
216	num_unjug_ret@1	0.00000
216	num_unjug_ret@10	0.00000
216	num_unjug_ret@20	3.00000
216	num_unjug_ret@100	58.00000
216	num_unjug_ret@1000	926.00000
216	num_rel	255.00000
216	num_rel_ret	53.00000
216	map	0.09296
216	R-prec	0.16471
216	bpref	0.19251
216	recip_rank	1.00000
216	ndcg	0.18711
216	ndcg5	0.26275
216	ndcg10	0.24657
216	ndcg20	0.23650
216	ERR	0.30635
216	ERR10	0.29006
216	ERR20	0.30283
216	P1	1.00000
216	P5	0.80000
216	P10	0.80000
216	P15	0.73333
216	P20	0.70000
216	P30	0.60000
216	P50	0.44000
216	P100	0.31000
216	P200	0.19000
216	P500	0.10000
216	P1000	0.05300
217	num_ret	1000.00000
217	num_unjug_ret@1	0.00000
217	num_unjug_ret@10	1.00000
217	num_unjug_ret@20	3.00000
217	num_unjug_ret@100	58.00000
217	num_unjug_ret@1000	945.00000
217	num_rel	152.00000
217	num_rel_ret	29.00000
217	map	0.09675
217	R-prec	0.17105
217	bpref	0.17495
217	recip_rank	0.50000
217	ndcg	0.21699
217	ndcg5	0.29823
217	ndcg10	0.32525
217	ndcg20	0.35228
217	ERR	0.18869
217	ERR10	0.17298
217	ERR20	0.18579
217	P1	0.00000
217	P5	0.80000
217	P10	0.60000
217	P15	0.60000
217	P20	0.65000
217	P30	0.53333
217	P50	0.40000
217	P100	0.24000
217	P200	0.13500
217	P500	0.05600
217	P1000	0.02900
218	num_ret	1000.00000
218	num_unjug_ret@1	0.00000
218	num_unjug_ret@10	1.00000
218	num_unjug_ret@20	6.00000
218	num_unjug_ret@100	66.00000
218	num_unjug_ret@1000	932.00000
218	num_rel	137.00000
218	num_rel_ret	21.00000
218	map	0.02711
218	R-prec	0.08029
218	bpref	0.12334
218	recip_rank	0.50000
218	ndcg	0.12460
218	ndcg5	0.12002
218	ndcg10	0.12610
218	ndcg20	0.10781
218	ERR	0.06982
218	ERR10	0.06078
218	ERR20	0.06399
218	P1	0.00000
218	P5	0.40000
218	P10	0.40000
218	P15	0.33333
218	P20	0.25000
218	P30	0.16667
218	P50	0.18000
218	P100	0.10000
218	P200	0.06500
218	P500	0.03800
218	P1000	0.02100
219	num_ret	1000.00000
219	num_unjug_ret@1	0.00000
219	num_unjug_ret@10	7.00000
219	num_unjug_ret@20	12.00000
219	num_unjug_ret@100	68.00000
219	num_unjug_ret@1000	917.00000
219	num_rel	60.00000
219	num_rel_ret	6.00000
219	map	0.00633
219	R-prec	0.03333
219	bpref	0.04194
219	recip_rank	0.11111
219	ndcg	0.04573
219	ndcg5	0.00000
219	ndcg10	0.04318
219	ndcg20	0.03651
219	ERR	0.01381
219	ERR10	0.01280
219	ERR20	0.01280
219	P1	0.00000
219	P5	0.00000
219	P10	0.20000
219	P15	0.13333
219	P20	0.10000
219	P30	0.06667
219	P50	0.04000
219	P100	0.03000
219	P200	0.01500
219	P500	0.00800
219	P1000	0.00600
220	num_ret	1000.00000
220	num_unjug_ret@1	1.00000
220	num_unjug_ret@10	5.00000
220	num_unjug_ret@20	11.00000
220	num_unjug_ret@100	81.00000
220	num_unjug_ret@1000	938.00000
220	num_rel	65.00000
220	num_rel_ret	4.00000
220	map	0.00145
220	R-prec	0.01538
220	bpref	0.02888
220	recip_rank	0.06250
220	ndcg	0.01416
220	ndcg5	0.00000
220	ndcg10	0.00000
220	ndcg20	0.00743
220	ERR	0.00454
220	ERR10	0.00000
220	ERR20	0.00391
220	P1	0.00000
220	P5	0.00000
220	P10	0.00000
220	P15	0.00000
220	P20	0.05000
220	P30	0.03333
220	P50	0.02000
220	P100	0.01000
220	P200	0.00500
220	P500	0.00800
220	P1000	0.00400
221	num_ret	1000.00000
221	num_unjug_ret@1	0.00000
221	num_unjug_ret@10	0.00000
221	num_unjug_ret@20	1.00000
221	num_unjug_ret@100	50.00000
221	num_unjug_ret@1000	930.00000
221	num_rel	217.00000
221	num_rel_ret	49.00000
221	map	0.11376
221	R-prec	0.17972
221	bpref	0.20527
221	recip_rank	1.00000
221	ndcg	0.17016
221	ndcg5	0.20681
221	ndcg10	0.22006
221	ndcg20	0.20720
221	ERR	0.20159
221	ERR10	0.18595
221	ERR20	0.19496
221	P1	1.00000
221	P5	1.00000
221	P10	0.90000
221	P15	0.73333
221	P20	0.70000
221	P30	0.50000
221	P50	0.46000
221	P100	0.35000
221	P200	0.19500
221	P500	0.09400
221	P1000	0.04900
222	num_ret	1000.00000
222	num_unjug_ret@1	0.00000
222	num_unjug_ret@10	1.00000
222	num_unjug_ret@20	6.00000
222	num_unjug_ret@100	74.00000
222	num_unjug_ret@1000	967.00000
222	num_rel	91.00000
222	num_rel_ret	20.00000
222	map	0.09886
222	R-prec	0.18681
222	bpref	0.20565
222	recip_rank	1.00000
222	ndcg	0.18532
222	ndcg5	0.12891
222	ndcg10	0.15430
222	ndcg20	0.14437
222	ERR	0.16959
222	ERR10	0.15285
222	ERR20	0.15909
222	P1	1.00000
222	P5	0.60000
222	P10	0.50000
222	P15	0.46667
222	P20	0.40000
222	P30	0.43333
222	P50	0.30000
222	P100	0.17000
222	P200	0.09500
222	P500	0.04000
222	P1000	0.02000
223	num_ret	1000.00000
223	num_unjug_ret@1	0.00000
223	num_unjug_ret@10	0.00000
223	num_unjug_ret@20	3.00000
223	num_unjug_ret@100	58.00000
223	num_unjug_ret@1000	948.00000
223	num_rel	150.00000
223	num_rel_ret	34.00000
223	map	0.10702
223	R-prec	0.19333
223	bpref	0.21055
223	recip_rank	0.50000
223	ndcg	0.15171
223	ndcg5	0.10236
223	ndcg10	0.11806
223	ndcg20	0.13144
223	ERR	0.20192
223	ERR10	0.18747
223	ERR20	0.19624
223	P1	0.00000
223	P5	0.80000
223	P10	0.70000
223	P15	0.53333
223	P20	0.60000
223	P30	0.56667
223	P50	0.42000
223	P100	0.27000
223	P200	0.15500
223	P500	0.06600
223	P1000	0.03400
224	num_ret	1000.00000
224	num_unjug_ret@1	1.00000
224	num_unjug_ret@10	3.00000
224	num_unjug_ret@20	7.00000
224	num_unjug_ret@100	70.00000
224	num_unjug_ret@1000	940.00000
224	num_rel	41.00000
224	num_rel_ret	7.00000
224	map	0.02658
224	R-prec	0.07317
224	bpref	0.08923
224	recip_rank	0.50000
224	ndcg	0.14708
224	ndcg5	0.21399
224	ndcg10	0.20512
224	ndcg20	0.16873
224	ERR	0.12101
224	ERR10	0.11068
224	ERR20	0.11952
224	P1	0.00000
224	P5	0.20000
224	P10	0.20000
224	P15	0.20000
224	P20	0.15000
224	P30	0.10000
224	P50	0.06000
224	P100	0.04000
224	P200	0.03000
224	P500	0.01400
224	P1000	0.00700
225	num_ret	1000.00000
225	num_unjug_ret@1	0.00000
225	num_unjug_ret@10	2.00000
225	num_unjug_ret@20	10.00000
225	num_unjug_ret@100	69.00000
225	num_unjug_ret@1000	938.00000
225	num_rel	3.00000
225	num_rel_ret	0.00000
225	map	0.00000
225	R-prec	0.00000
225	bpref	0.00000
225	recip_rank	0.00000
225	ndcg	0.00000
225	ndcg5	0.00000
225	ndcg10	0.00000
225	ndcg20	0.00000
225	ERR	0.00000
225	ERR10	0.00000
225	ERR20	0.00000
225	P1	0.00000
225	P5	0.00000
225	P10	0.00000
225	P15	0.00000
225	P20	0.00000
225	P30	0.00000
225	P50	0.00000
225	P100	0.00000
225	P200	0.00000
225	P500	0.00000
225	P1000	0.00000
226	num_ret	1000.00000
226	num_unjug_ret@1	0.00000
226	num_unjug_ret@10	2.00000
226	num_unjug_ret@20	5.00000
226	num_unjug_ret@100	53.00000
226	num_unjug_ret@1000	920.00000
226	num_rel	72.00000
226	num_rel_ret	20.00000
226	map	0.03214
226	R-prec	0.13889
226	bpref	0.14410
226	recip_rank	0.12500
226	ndcg	0.15195
226	ndcg5	0.00000
226	ndcg10	0.02314
226	ndcg20	0.03885
226	ERR	0.02546
226	ERR10	0.00781
226	ERR20	0.01489
226	P1	0.00000
226	P5	0.00000
226	P10	0.10000
226	P15	0.13333
226	P20	0.15000
226	P30	0.13333
226	P50	0.14000
226	P100	0.10000
226	P200	0.08500
226	P500	0.04000
226	P1000	0.02000
227	num_ret	1000.00000
227	num_unjug_ret@1	0.00000
227	num_unjug_ret@10	7.00000
227	num_unjug_ret@20	16.00000
227	num_unjug_ret@100	87.00000
227	num_unjug_ret@1000	969.00000
227	num_rel	50.00000
227	num_rel_ret	13.00000
227	map	0.02159
227	R-prec	0.08000
227	bpref	0.22480
227	recip_rank	0.16667
227	ndcg	0.08993
227	ndcg5	0.00000
227	ndcg10	0.00794
227	ndcg20	0.03521
227	ERR	0.04692
227	ERR10	0.01042
227	ERR20	0.04197
227	P1	0.00000
227	P5	0.00000
227	P10	0.10000
227	P15	0.13333
227	P20	0.10000
227	P30	0.10000
227	P50	0.08000
227	P100	0.06000
227	P200	0.05500
227	P500	0.02600
227	P1000	0.01300
228	num_ret	1000.00000
228	num_unjug_ret@1	0.00000
228	num_unjug_ret@10	5.00000
228	num_unjug_ret@20	10.00000
228	num_unjug_ret@100	70.00000
228	num_unjug_ret@1000	963.00000
228	num_rel	44.00000
228	num_rel_ret	7.00000
228	map	0.05630
228	R-prec	0.13636
228	bpref	0.13017
228	recip_rank	1.00000
228	ndcg	0.11532
228	ndcg5	0.09309
228	ndcg10	0.12060
228	ndcg20	0.11752
228	ERR	0.10556
228	ERR10	0.10069
228	ERR20	0.10304
228	P1	1.00000
228	P5	0.40000
228	P10	0.30000
228	P15	0.20000
228	P20	0.20000
228	P30	0.16667
228	P50	0.12000
228	P100	0.06000
228	P200	0.03000
228	P500	0.01200
228	P1000	0.00700
229	num_ret	1000.00000
229	num_unjug_ret@1	0.00000
229	num_unjug_ret@10	1.00000
229	num_unjug_ret@20	10.00000
229	num_unjug_ret@100	76.00000
229	num_unjug_ret@1000	966.00000
229	num_rel	88.00000
229	num_rel_ret	24.00000
229	map	0.08019
229	R-prec	0.15909
229	bpref	0.16682
229	recip_rank	1.00000
229	ndcg	0.28764
229	ndcg5	0.61643
229	ndcg10	0.61804
229	ndcg20	0.39886
229	ERR	0.29214
229	ERR10	0.28615
229	ERR20	0.28615
229	P1	1.00000
229	P5	0.60000
229	P10	0.60000
229	P15	0.40000
229	P20	0.30000
229	P30	0.23333
229	P50	0.20000
229	P100	0.15000
229	P200	0.10500
229	P500	0.04600
229	P1000	0.02400
230	num_ret	1000.00000
230	num_unjug_ret@1	0.00000
230	num_unjug_ret@10	1.00000
230	num_unjug_ret@20	5.00000
230	num_unjug_ret@100	71.00000
230	num_unjug_ret@1000	963.00000
230	num_rel	49.00000
230	num_rel_ret	9.00000
230	map	0.07168
230	R-prec	0.14286
230	bpref	0.14869
230	recip_rank	1.00000
230	ndcg	0.24030
230	ndcg5	0.34673
230	ndcg10	0.32177
230	ndcg20	0.29725
230	ERR	0.13865
230	ERR10	0.12789
230	ERR20	0.13460
230	P1	1.00000
230	P5	0.40000
230	P10	0.30000
230	P15	0.33333
230	P20	0.25000
230	P30	0.23333
230	P50	0.14000
230	P100	0.08000
230	P200	0.04000
230	P500	0.01800
230	P1000	0.00900
231	num_ret	1000.00000
231	num_unjug_ret@1	0.00000
231	num_unjug_ret@10	1.00000
231	num_unjug_ret@20	9.00000
231	num_unjug_ret@100	78.00000
231	num_unjug_ret@1000	968.00000
231	num_rel	58.00000
231	num_rel_ret	17.00000
231	map	0.07758
231	R-prec	0.15517
231	bpref	0.25000
231	recip_rank	1.00000
231	ndcg	0.33946
231	ndcg5	0.43934
231	ndcg10	0.37018
231	ndcg20	0.35216
231	ERR	0.46897
231	ERR10	0.46057
231	ERR20	0.46440
231	P1	1.00000
231	P5	0.40000
231	P10	0.30000
231	P15	0.26667
231	P20	0.25000
231	P30	0.20000
231	P50	0.18000
231	P100	0.12000
231	P200	0.06000
231	P500	0.03000
231	P1000	0.01700
232	num_ret	1000.00000
232	num_unjug_ret@1	0.00000
232	num_unjug_ret@10	1.00000
232	num_unjug_ret@20	3.00000
232	num_unjug_ret@100	67.00000
232	num_unjug_ret@1000	936.00000
232	num_rel	46.00000
232	num_rel_ret	8.00000
232	map	0.10474
232	R-prec	0.15217
232	bpref	0.15454
232	recip_rank	1.00000
232	ndcg	0.27331
232	ndcg5	0.55315
232	ndcg10	0.58015
232	ndcg20	0.44807
232	ERR	0.12165
232	ERR10	0.11434
232	ERR20	0.12086
232	P1	1.00000
232	P5	0.40000
232	P10	0.50000
232	P15	0.46667
232	P20	0.35000
232	P30	0.23333
232	P50	0.16000
232	P100	0.08000
232	P200	0.04000
232	P500	0.01600
232	P1000	0.00800
233	num_ret	1000.00000
233	num_unjug_ret@1	0.00000
233	num_unjug_ret@10	2.00000
233	num_unjug_ret@20	10.00000
233	num_unjug_ret@100	55.00000
233	num_unjug_ret@1000	930.00000
233	num_rel	75.00000
233	num_rel_ret	10.00000
233	map	0.00630
233	R-prec	0.05333
233	bpref	0.05493
233	recip_rank	0.05882
233	ndcg	0.07667
233	ndcg5	0.00000
233	ndcg10	0.00000
233	ndcg20	0.02328
233	ERR	0.01019
233	ERR10	0.00000
233	ERR20	0.00368
233	P1	0.00000
233	P5	0.00000
233	P10	0.00000
233	P15	0.00000
233	P20	0.05000
233	P30	0.10000
233	P50	0.06000
233	P100	0.04000
233	P200	0.03000
233	P500	0.01600
233	P1000	0.01000
234	num_ret	1000.00000
234	num_unjug_ret@1	0.00000
234	num_unjug_ret@10	2.00000
234	num_unjug_ret@20	2.00000
234	num_unjug_ret@100	51.00000
234	num_unjug_ret@1000	937.00000
234	num_rel	167.00000
234	num_rel_ret	35.00000
234	map	0.07505
234	R-prec	0.17964
234	bpref	0.18426
234	recip_rank	1.00000
234	ndcg	0.23905
234	ndcg5	0.41662
234	ndcg10	0.31506
234	ndcg20	0.36571
234	ERR	0.13236
234	ERR10	0.10553
234	ERR20	0.12093
234	P1	1.00000
234	P5	0.60000
234	P10	0.30000
234	P15	0.33333
234	P20	0.40000
234	P30	0.43333
234	P50	0.34000
234	P100	0.27000
234	P200	0.16000
234	P500	0.07000
234	P1000	0.03500
235	num_ret	1000.00000
235	num_unjug_ret@1	0.00000
235	num_unjug_ret@10	3.00000
235	num_unjug_ret@20	10.00000
235	num_unjug_ret@100	74.00000
235	num_unjug_ret@1000	968.00000
235	num_rel	14.00000
235	num_rel_ret	1.00000
235	map	0.00397
235	R-prec	0.00000
235	bpref	0.02551
235	recip_rank	0.05556
235	ndcg	0.07153
235	ndcg5	0.00000
235	ndcg10	0.00000
235	ndcg20	0.07153
235	ERR	0.01042
235	ERR10	0.00000
235	ERR20	0.01042
235	P1	0.00000
235	P5	0.00000
235	P10	0.00000
235	P15	0.00000
235	P20	0.05000
235	P30	0.03333
235	P50	0.02000
235	P100	0.01000
235	P200	0.00500
235	P500	0.00200
235	P1000	0.00100
236	num_ret	1000.00000
236	num_unjug_ret@1	0.00000
236	num_unjug_ret@10	2.00000
236	num_unjug_ret@20	6.00000
236	num_unjug_ret@100	73.00000
236	num_unjug_ret@1000	969.00000
236	num_rel	121.00000
236	num_rel_ret	23.00000
236	map	0.10801
236	R-prec	0.17355
236	bpref	0.16758
236	recip_rank	1.00000
236	ndcg	0.24021
236	ndcg5	0.39426
236	ndcg10	0.39496
236	ndcg20	0.44455
236	ERR	0.14916
236	ERR10	0.12776
236	ERR20	0.14259
236	P1	1.00000
236	P5	0.80000
236	P10	0.60000
236	P15	0.60000
236	P20	0.60000
236	P30	0.53333
236	P50	0.38000
236	P100	0.21000
236	P200	0.10500
236	P500	0.04400
236	P1000	0.02300
237	num_ret	1000.00000
237	num_unjug_ret@1	0.00000
237	num_unjug_ret@10	0.00000
237	num_unjug_ret@20	9.00000
237	num_unjug_ret@100	74.00000
237	num_unjug_ret@1000	970.00000
237	num_rel	10.00000
237	num_rel_ret	0.00000
237	map	0.00000
237	R-prec	0.00000
237	bpref	0.00000
237	recip_rank	0.00000
237	ndcg	0.00000
237	ndcg5	0.00000
237	ndcg10	0.00000
237	ndcg20	0.00000
237	ERR	0.00000
237	ERR10	0.00000
237	ERR20	0.00000
237	P1	0.00000
237	P5	0.00000
237	P10	0.00000
237	P15	0.00000
237	P20	0.00000
237	P30	0.00000
237	P50	0.00000
237	P100	0.00000
237	P200	0.00000
237	P500	0.00000
237	P1000	0.00000
238	num_ret	1000.00000
238	num_unjug_ret@1	0.00000
238	num_unjug_ret@10	7.00000
238	num_unjug_ret@20	12.00000
238	num_unjug_ret@100	80.00000
238	num_unjug_ret@1000	965.00000
238	num_rel	30.00000
238	num_rel_ret	4.00000
238	map	0.01896
238	R-prec	0.03333
238	bpref	0.06333
238	recip_rank	0.50000
238	ndcg	0.07468
238	ndcg5	0.05227
238	ndcg10	0.04617
238	ndcg20	0.03903
238	ERR	0.03400
238	ERR10	0.03125
238	ERR20	0.03125
238	P1	0.00000
238	P5	0.20000
238	P10	0.10000
238	P15	0.06667
238	P20	0.05000
238	P30	0.03333
238	P50	0.02000
238	P100	0.03000
238	P200	0.01500
238	P500	0.00600
238	P1000	0.00400
239	num_ret	1000.00000
239	num_unjug_ret@1	0.00000
239	num_unjug_ret@10	0.00000
239	num_unjug_ret@20	4.00000
239	num_unjug_ret@100	63.00000
239	num_unjug_ret@1000	942.00000
239	num_rel	75.00000
239	num_rel_ret	14.00000
239	map	0.05259
239	R-prec	0.10667
239	bpref	0.14453
239	recip_rank	1.00000
239	ndcg	0.13064
239	ndcg5	0.09502
239	ndcg10	0.12410
239	ndcg20	0.13614
239	ERR	0.09784
239	ERR10	0.08722
239	ERR20	0.09484
239	P1	1.00000
239	P5	0.40000
239	P10	0.40000
239	P15	0.40000
239	P20	0.30000
239	P30	0.20000
239	P50	0.12000
239	P100	0.11000
239	P200	0.06500
239	P500	0.02800
239	P1000	0.01400
240	num_ret	1000.00000
240	num_unjug_ret@1	0.00000
240	num_unjug_ret@10	5.00000
240	num_unjug_ret@20	12.00000
240	num_unjug_ret@100	77.00000
240	num_unjug_ret@1000	941.00000
240	num_rel	190.00000
240	num_rel_ret	13.00000
240	map	0.02368
240	R-prec	0.06316
240	bpref	0.06593
240	recip_rank	1.00000
240	ndcg	0.14907
240	ndcg5	0.55315
240	ndcg10	0.36887
240	ndcg20	0.24920
240	ERR	0.56988
240	ERR10	0.56302
240	ERR20	0.56615
240	P1	1.00000
240	P5	0.40000
240	P10	0.30000
240	P15	0.33333
240	P20	0.25000
240	P30	0.23333
240	P50	0.18000
240	P100	0.12000
240	P200	0.06000
240	P500	0.02600
240	P1000	0.01300
241	num_ret	1000.00000
241	num_unjug_ret@1	0.00000
241	num_unjug_ret@10	7.00000
241	num_unjug_ret@20	17.00000
241	num_unjug_ret@100	94.00000
241	num_unjug_ret@1000	975.00000
241	num_rel	100.00000
241	num_rel_ret	14.00000
241	map	0.00357
241	R-prec	0.00000
241	bpref	0.13120
241	recip_rank	0.00610
241	ndcg	0.04536
241	ndcg5	0.00000
241	ndcg10	0.00000
241	ndcg20	0.00000
241	ERR	0.00260
241	ERR10	0.00000
241	ERR20	0.00000
241	P1	0.00000
241	P5	0.00000
241	P10	0.00000
241	P15	0.00000
241	P20	0.00000
241	P30	0.00000
241	P50	0.00000
241	P100	0.00000
241	P200	0.01500
241	P500	0.02400
241	P1000	0.01400
242	num_ret	1000.00000
242	num_unjug_ret@1	0.00000
242	num_unjug_ret@10	3.00000
242	num_unjug_ret@20	7.00000
242	num_unjug_ret@100	71.00000
242	num_unjug_ret@1000	961.00000
242	num_rel	25.00000
242	num_rel_ret	3.00000
242	map	0.00498
242	R-prec	0.00000
242	bpref	0.02880
242	recip_rank	0.03846
242	ndcg	0.04795
242	ndcg5	0.00000
242	ndcg10	0.00000
242	ndcg20	0.00000
242	ERR	0.00477
242	ERR10	0.00000
242	ERR20	0.00000
242	P1	0.00000
242	P5	0.00000
242	P10	0.00000
242	P15	0.00000
242	P20	0.00000
242	P30	0.06667
242	P50	0.04000
242	P100	0.02000
242	P200	0.01000
242	P500	0.00600
242	P1000	0.00300
243	num_ret	1000.00000
243	num_unjug_ret@1	0.00000
243	num_unjug_ret@10	1.00000
243	num_unjug_ret@20	10.00000
243	num_unjug_ret@100	90.00000
243	num_unjug_ret@1000	960.00000
243	num_rel	77.00000
243	num_rel_ret	8.00000
243	map	0.02051
243	R-prec	0.03896
243	bpref	0.08568
243	recip_rank	0.50000
243	ndcg	0.07205
243	ndcg5	0.08804
243	ndcg10	0.09450
243	ndcg20	0.08113
243	ERR	0.05757
243	ERR10	0.05688
243	ERR20	0.05688
243	P1	0.00000
243	P5	0.40000
243	P10	0.30000
243	P15	0.20000
243	P20	0.15000
243	P30	0.10000
243	P50	0.06000
243	P100	0.03000
243	P200	0.01500
243	P500	0.01200
243	P1000	0.00800
244	num_ret	1000.00000
244	num_unjug_ret@1	0.00000
244	num_unjug_ret@10	2.00000
244	num_unjug_ret@20	7.00000
244	num_unjug_ret@100	72.00000
244	num_unjug_ret@1000	963.00000
244	num_rel	17.00000
244	num_rel_ret	7.00000
244	map	0.06235
244	R-prec	0.05882
244	bpref	0.09343
244	recip_rank	0.50000
244	ndcg	0.20151
244	ndcg5	0.08750
244	ndcg10	0.07165
244	ndcg20	0.05948
244	ERR	0.04244
244	ERR10	0.03125
244	ERR20	0.03125
244	P1	0.00000
244	P5	0.20000
244	P10	0.10000
244	P15	0.06667
244	P20	0.05000
244	P30	0.10000
244	P50	0.12000
244	P100	0.06000
244	P200	0.03500
244	P500	0.01400
244	P1000	0.00700
245	num_ret	1000.00000
245	num_unjug_ret@1	0.00000
245	num_unjug_ret@10	3.00000
245	num_unjug_ret@20	9.00000
245	num_unjug_ret@100	76.00000
245	num_unjug_ret@1000	972.00000
245	num_rel	9.00000
245	num_rel_ret	1.00000
245	map	0.00020
245	R-prec	0.00000
245	bpref	0.00000
245	recip_rank	0.00181
245	ndcg	0.00877
245	ndcg5	0.00000
245	ndcg10	0.00000
245	ndcg20	0.00000
245	ERR	0.00011
245	ERR10	0.00000
245	ERR20	0.00000
245	P1	0.00000
245	P5	0.00000
245	P10	0.00000
245	P15	0.00000
245	P20	0.00000
245	P30	0.00000
245	P50	0.00000
245	P100	0.00000
245	P200	0.00000
245	P500	0.00000
245	P1000	0.00100
246	num_ret	1000.00000
246	num_unjug_ret@1	0.00000
246	num_unjug_ret@10	6.00000
246	num_unjug_ret@20	11.00000
246	num_unjug_ret@100	80.00000
246	num_unjug_ret@1000	959.00000
246	num_rel	74.00000
246	num_rel_ret	11.00000
246	map	0.00371
246	R-prec	0.02703
246	bpref	0.09478
246	recip_rank	0.04348
246	ndcg	0.05083
246	ndcg5	0.00000
246	ndcg10	0.00000
246	ndcg20	0.00000
246	ERR	0.00654
246	ERR10	0.00000
246	ERR20	0.00000
246	P1	0.00000
246	P5	0.00000
246	P10	0.00000
246	P15	0.00000
246	P20	0.00000
246	P30	0.03333
246	P50	0.04000
246	P100	0.02000
246	P200	0.02500
246	P500	0.01400
246	P1000	0.01100
247	num_ret	1000.00000
247	num_unjug_ret@1	0.00000
247	num_unjug_ret@10	1.00000
247	num_unjug_ret@20	2.00000
247	num_unjug_ret@100	53.00000
247	num_unjug_ret@1000	933.00000
247	num_rel	24.00000
247	num_rel_ret	1.00000
247	map	0.04167
247	R-prec	0.04167
247	bpref	0.04167
247	recip_rank	1.00000
247	ndcg	0.10082
247	ndcg5	0.20208
247	ndcg10	0.15282
247	ndcg20	0.11062
247	ERR	0.06250
247	ERR10	0.06250
247	ERR20	0.06250
247	P1	1.00000
247	P5	0.20000
247	P10	0.10000
247	P15	0.06667
247	P20	0.05000
247	P30	0.03333
247	P50	0.02000
247	P100	0.01000
247	P200	0.00500
247	P500	0.00200
247	P1000	0.00100
248	num_ret	1000.00000
248	num_unjug_ret@1	0.00000
248	num_unjug_ret@10	3.00000
248	num_unjug_ret@20	9.00000
248	num_unjug_ret@100	76.00000
248	num_unjug_ret@1000	965.00000
248	num_rel	29.00000
248	num_rel_ret	3.00000
248	map	0.00167
248	R-prec	0.00000
248	bpref	0.01427
248	recip_rank	0.02326
248	ndcg	0.02667
248	ndcg5	0.00000
248	ndcg10	0.00000
248	ndcg20	0.00000
248	ERR	0.00486
248	ERR10	0.00000
248	ERR20	0.00000
248	P1	0.00000
248	P5	0.00000
248	P10	0.00000
248	P15	0.00000
248	P20	0.00000
248	P30	0.00000
248	P50	0.02000
248	P100	0.01000
248	P200	0.01000
248	P500	0.00600
248	P1000	0.00300
249	num_ret	1000.00000
249	num_unjug_ret@1	0.00000
249	num_unjug_ret@10	4.00000
249	num_unjug_ret@20	7.00000
249	num_unjug_ret@100	77.00000
249	num_unjug_ret@1000	968.00000
249	num_rel	44.00000
249	num_rel_ret	8.00000
249	map	0.00554
249	R-prec	0.00000
249	bpref	0.09504
249	recip_rank	0.01316
249	ndcg	0.09456
249	ndcg5	0.00000
249	ndcg10	0.00000
249	ndcg20	0.00000
249	ERR	0.00679
249	ERR10	0.00000
249	ERR20	0.00000
249	P1	0.00000
249	P5	0.00000
249	P10	0.00000
249	P15	0.00000
249	P20	0.00000
249	P30	0.00000
249	P50	0.00000
249	P100	0.02000
249	P200	0.03500
249	P500	0.01600
249	P1000	0.00800
250	num_ret	1000.00000
250	num_unjug_ret@1	1.00000
250	num_unjug_ret@10	6.00000
250	num_unjug_ret@20	11.00000
250	num_unjug_ret@100	84.00000
250	num_unjug_ret@1000	970.00000
250	num_rel	20.00000
250	num_rel_ret	1.00000
250	map	0.02500
250	R-prec	0.05000
250	bpref	0.05000
250	recip_rank	0.50000
250	ndcg	0.04407
250	ndcg5	0.07133
250	ndcg10	0.05338
250	ndcg20	0.04407
250	ERR	0.03125
250	ERR10	0.03125
250	ERR20	0.03125
250	P1	0.00000
250	P5	0.20000
250	P10	0.10000
250	P15	0.06667
250	P20	0.05000
250	P30	0.03333
250	P50	0.02000
250	P100	0.01000
250	P200	0.00500
250	P500	0.00200
250	P1000	0.00100
all	queries	50.00000
all	num_ret	50000.00000
all	num_unjug_ret@1	3.00000
all	num_unjug_ret@10	122.00000
all	num_unjug_ret@20	366.00000
all	num_unjug_ret@100	3405.00000
all	num_unjug_ret@1000	47412.00000
all	num_rel	4150.00000
all	num_rel_ret	781.00000
all	map	0.04180
all	R-prec	0.09184
all	bpref	0.11662
all	recip_rank	0.46768
all	ndcg	0.12749
all	ndcg5	0.13446
all	ndcg10	0.12941
all	ndcg20	0.12608
all	ERR	0.09653
all	ERR10	0.08481
all	ERR20	0.09145
all	P1	0.30000
all	P5	0.28000
all	P10	0.25200
all	P15	0.22933
all	P20	0.20900
all	P30	0.18600
all	P50	0.14880
all	P100	0.10000
all	P200	0.06250
all	P500	0.02948
all	P1000	0.01562