201	num_ret	1000.00000
201	num_unjug_ret@1	0.00000
201	num_unjug_ret@10	1.00000
201	num_unjug_ret@20	2.00000
201	num_unjug_ret@100	54.00000
201	num_unjug_ret@1000	933.00000
201	num_rel	211.00000
201	num_rel_ret	48.00000
201	map	0.11123
201	R-prec	0.20853
201	bpref	0.20857
201	recip_rank	1.00000
201	ndcg	0.22908
201	ndcg5	0.16174
201	ndcg10	0.20628
201	ndcg20	0.27189
201	ERR	0.13008
201	ERR10	0.10263
201	ERR20	0.11864
201	P1	1.00000
201	P5	0.40000
201	P10	0.60000
201	P15	0.66667
201	P20	0.60000
201	P30	0.63333
201	P50	0.54000
201	P100	0.36000
201	P200	0.21500
201	P500	0.09400
201	P1000	0.04800
202	num_ret	1000.00000
202	num_unjug_ret@1	0.00000
202	num_unjug_ret@10	0.00000
202	num_unjug_ret@20	2.00000
202	num_unjug_ret@100	52.00000
202	num_unjug_ret@1000	943.00000
202	num_rel	1.00000
202	num_rel_ret	0.00000
202	map	0.00000
202	R-prec	0.00000
202	bpref	0.00000
202	recip_rank	0.00000
202	ndcg	0.00000
202	ndcg5	0.00000
202	ndcg10	0.00000
202	ndcg20	0.00000
202	ERR	0.00000
202	ERR10	0.00000
202	ERR20	0.00000
202	P1	0.00000
202	P5	0.00000
202	P10	0.00000
202	P15	0.00000
202	P20	0.00000
202	P30	0.00000
202	P50	0.00000
202	P100	0.00000
202	P200	0.00000
202	P500	0.00000
202	P1000	0.00000
203	num_ret	1000.00000
203	num_unjug_ret@1	0.00000
203	num_unjug_ret@10	4.00000
203	num_unjug_ret@20	10.00000
203	num_unjug_ret@100	64.00000
203	num_unjug_ret@1000	934.00000
203	num_rel	135.00000
203	num_rel_ret	22.00000
203	map	0.05186
203	R-prec	0.12593
203	bpref	0.14639
203	recip_rank	1.00000
203	ndcg	0.15570
203	ndcg5	0.32504
203	ndcg10	0.24453
203	ndcg20	0.21309
203	ERR	0.32255
203	ERR10	0.30569
203	ERR20	0.31911
203	P1	1.00000
203	P5	0.60000
203	P10	0.40000
203	P15	0.33333
203	P20	0.35000
203	P30	0.30000
203	P50	0.20000
203	P100	0.15000
203	P200	0.09000
203	P500	0.04200
203	P1000	0.02200
204	num_ret	1000.00000
204	num_unjug_ret@1	0.00000
204	num_unjug_ret@10	3.00000
204	num_unjug_ret@20	9.00000
204	num_unjug_ret@100	70.00000
204	num_unjug_ret@1000	945.00000
204	num_rel	120.00000
204	num_rel_ret	20.00000
204	map	0.03630
204	R-prec	0.09167
204	bpref	0.13417
204	recip_rank	1.00000
204	ndcg	0.13011
204	ndcg5	0.12697
204	ndcg10	0.11141
204	ndcg20	0.09788
204	ERR	0.11798
204	ERR10	0.09964
204	ERR20	0.10609
204	P1	1.00000
204	P5	0.40000
204	P10	0.30000
204	P15	0.26667
204	P20	0.25000
204	P30	0.20000
204	P50	0.16000
204	P100	0.09000
204	P200	0.07000
204	P500	0.03200
204	P1000	0.02000
205	num_ret	1000.00000
205	num_unjug_ret@1	0.00000
205	num_unjug_ret@10	3.00000
205	num_unjug_ret@20	10.00000
205	num_unjug_ret@100	84.00000
205	num_unjug_ret@1000	942.00000
205	num_rel	60.00000
205	num_rel_ret	11.00000
205	map	0.00215
205	R-prec	0.00000
205	bpref	0.07361
205	recip_rank	0.00431
205	ndcg	0.05103
205	ndcg5	0.00000
205	ndcg10	0.00000
205	ndcg20	0.00000
205	ERR	0.00189
205	ERR10	0.00000
205	ERR20	0.00000
205	P1	0.00000
205	P5	0.00000
205	P10	0.00000
205	P15	0.00000
205	P20	0.00000
205	P30	0.00000
205	P50	0.00000
205	P100	0.00000
205	P200	0.00000
205	P500	0.01800
205	P1000	0.01100
206	num_ret	1000.00000
206	num_unjug_ret@1	0.00000
206	num_unjug_ret@10	0.00000
206	num_unjug_ret@20	4.00000
206	num_unjug_ret@100	58.00000
206	num_unjug_ret@1000	921.00000
206	num_rel	160.00000
206	num_rel_ret	28.00000
206	map	0.03927
206	R-prec	0.13125
206	bpref	0.15121
206	recip_rank	0.25000
206	ndcg	0.16802
206	ndcg5	0.09242
206	ndcg10	0.13353
206	ndcg20	0.16181
206	ERR	0.06102
206	ERR10	0.04294
206	ERR20	0.05146
206	P1	0.00000
206	P5	0.40000
206	P10	0.40000
206	P15	0.26667
206	P20	0.25000
206	P30	0.20000
206	P50	0.26000
206	P100	0.19000
206	P200	0.11000
206	P500	0.05200
206	P1000	0.02800
207	num_ret	1000.00000
207	num_unjug_ret@1	0.00000
207	num_unjug_ret@10	3.00000
207	num_unjug_ret@20	5.00000
207	num_unjug_ret@100	68.00000
207	num_unjug_ret@1000	958.00000
207	num_rel	82.00000
207	num_rel_ret	16.00000
207	map	0.05714
207	R-prec	0.13415
207	bpref	0.16746
207	recip_rank	0.50000
207	ndcg	0.14992
207	ndcg5	0.10767
207	ndcg10	0.10051
207	ndcg20	0.16091
207	ERR	0.11344
207	ERR10	0.08523
207	ERR20	0.11147
207	P1	0.00000
207	P5	0.60000
207	P10	0.40000
207	P15	0.40000
207	P20	0.35000
207	P30	0.26667
207	P50	0.20000
207	P100	0.12000
207	P200	0.06500
207	P500	0.03000
207	P1000	0.01600
208	num_ret	1000.00000
208	num_unjug_ret@1	0.00000
208	num_unjug_ret@10	0.00000
208	num_unjug_ret@20	2.00000
208	num_unjug_ret@100	61.00000
208	num_unjug_ret@1000	949.00000
208	num_rel	39.00000
208	num_rel_ret	7.00000
208	map	0.04514
208	R-prec	0.15385
208	bpref	0.12492
208	recip_rank	0.20000
208	ndcg	0.11783
208	ndcg5	0.02517
208	ndcg10	0.07222
208	ndcg20	0.12307
208	ERR	0.06284
208	ERR10	0.04180
208	ERR20	0.06186
208	P1	0.00000
208	P5	0.20000
208	P10	0.20000
208	P15	0.26667
208	P20	0.30000
208	P30	0.20000
208	P50	0.12000
208	P100	0.07000
208	P200	0.03500
208	P500	0.01400
208	P1000	0.00700
209	num_ret	1000.00000
209	num_unjug_ret@1	0.00000
209	num_unjug_ret@10	4.00000
209	num_unjug_ret@20	7.00000
209	num_unjug_ret@100	73.00000
209	num_unjug_ret@1000	962.00000
209	num_rel	13.00000
209	num_rel_ret	1.00000
209	map	0.02564
209	R-prec	0.07692
209	bpref	0.07101
209	recip_rank	0.33333
209	ndcg	0.06969
209	ndcg5	0.09760
209	ndcg10	0.07443
209	ndcg20	0.06969
209	ERR	0.06250
209	ERR10	0.06250
209	ERR20	0.06250
209	P1	0.00000
209	P5	0.20000
209	P10	0.10000
209	P15	0.06667
209	P20	0.05000
209	P30	0.03333
209	P50	0.02000
209	P100	0.01000
209	P200	0.00500
209	P500	0.00200
209	P1000	0.00100
210	num_ret	1000.00000
210	num_unjug_ret@1	0.00000
210	num_unjug_ret@10	4.00000
210	num_unjug_ret@20	10.00000
210	num_unjug_ret@100	71.00000
210	num_unjug_ret@1000	933.00000
210	num_rel	37.00000
210	num_rel_ret	4.00000
210	map	0.00944
210	R-prec	0.05405
210	bpref	0.04894
210	recip_rank	0.12500
210	ndcg	0.06536
210	ndcg5	0.00000
210	ndcg10	0.07476
210	ndcg20	0.06457
210	ERR	0.02575
210	ERR10	0.02539
210	ERR20	0.02539
210	P1	0.00000
210	P5	0.00000
210	P10	0.20000
210	P15	0.13333
210	P20	0.10000
210	P30	0.06667
210	P50	0.04000
210	P100	0.02000
210	P200	0.01500
210	P500	0.00600
210	P1000	0.00400
211	num_ret	1000.00000
211	num_unjug_ret@1	0.00000
211	num_unjug_ret@10	3.00000
211	num_unjug_ret@20	8.00000
211	num_unjug_ret@100	61.00000
211	num_unjug_ret@1000	927.00000
211	num_rel	180.00000
211	num_rel_ret	40.00000
211	map	0.08339
211	R-prec	0.17222
211	bpref	0.20444
211	recip_rank	1.00000
211	ndcg	0.21764
211	ndcg5	0.18167
211	ndcg10	0.20582
211	ndcg20	0.25674
211	ERR	0.17589
211	ERR10	0.14860
211	ERR20	0.17034
211	P1	1.00000
211	P5	0.60000
211	P10	0.50000
211	P15	0.53333
211	P20	0.45000
211	P30	0.43333
211	P50	0.40000
211	P100	0.27000
211	P200	0.15500
211	P500	0.07600
211	P1000	0.04000
212	num_ret	1000.00000
212	num_unjug_ret@1	0.00000
212	num_unjug_ret@10	2.00000
212	num_unjug_ret@20	6.00000
212	num_unjug_ret@100	65.00000
212	num_unjug_ret@1000	932.00000
212	num_rel	18.00000
212	num_rel_ret	2.00000
212	map	0.00211
212	R-prec	0.00000
212	bpref	0.00926
212	recip_rank	0.03571
212	ndcg	0.04681
212	ndcg5	0.00000
212	ndcg10	0.00000
212	ndcg20	0.00000
212	ERR	0.00230
212	ERR10	0.00000
212	ERR20	0.00000
212	P1	0.00000
212	P5	0.00000
212	P10	0.00000
212	P15	0.00000
212	P20	0.00000
212	P30	0.03333
212	P50	0.02000
212	P100	0.01000
212	P200	0.00500
212	P500	0.00200
212	P1000	0.00200
213	num_ret	1000.00000
213	num_unjug_ret@1	1.00000
213	num_unjug_ret@10	5.00000
213	num_unjug_ret@20	10.00000
213	num_unjug_ret@100	72.00000
213	num_unjug_ret@1000	961.00000
213	num_rel	82.00000
213	num_rel_ret	20.00000
213	map	0.04748
213	R-prec	0.13415
213	bpref	0.19631
213	recip_rank	0.14286
213	ndcg	0.17247
213	ndcg5	0.00000
213	ndcg10	0.04654
213	ndcg20	0.13688
213	ERR	0.05114
213	ERR10	0.01544
213	ERR20	0.04286
213	P1	0.00000
213	P5	0.00000
213	P10	0.20000
213	P15	0.33333
213	P20	0.35000
213	P30	0.26667
213	P50	0.20000
213	P100	0.12000
213	P200	0.08000
213	P500	0.04000
213	P1000	0.02000
214	num_ret	1000.00000
214	num_unjug_ret@1	0.00000
214	num_unjug_ret@10	1.00000
214	num_unjug_ret@20	6.00000
214	num_unjug_ret@100	61.00000
214	num_unjug_ret@1000	937.00000
214	num_rel	214.00000
214	num_rel_ret	51.00000
214	map	0.09575
214	R-prec	0.20093
214	bpref	0.22127
214	recip_rank	1.00000
214	ndcg	0.26649
214	ndcg5	0.55656
214	ndcg10	0.55622
214	ndcg20	0.41905
214	ERR	0.29915
214	ERR10	0.28664
214	ERR20	0.29371
214	P1	1.00000
214	P5	0.60000
214	P10	0.70000
214	P15	0.60000
214	P20	0.60000
214	P30	0.50000
214	P50	0.34000
214	P100	0.30000
214	P200	0.21000
214	P500	0.10200
214	P1000	0.05100
215	num_ret	1000.00000
215	num_unjug_ret@1	0.00000
215	num_unjug_ret@10	3.00000
215	num_unjug_ret@20	7.00000
215	num_unjug_ret@100	58.00000
215	num_unjug_ret@1000	936.00000
215	num_rel	119.00000
215	num_rel_ret	32.00000
215	map	0.04045
215	R-prec	0.15966
215	bpref	0.20309
215	recip_rank	0.33333
215	ndcg	0.19284
215	ndcg5	0.06195
215	ndcg10	0.05172
215	ndcg20	0.05982
215	ERR	0.03630
215	ERR10	0.02083
215	ERR20	0.02376
215	P1	0.00000
215	P5	0.20000
215	P10	0.10000
215	P15	0.06667
215	P20	0.10000
215	P30	0.13333
215	P50	0.10000
215	P100	0.16000
215	P200	0.14500
215	P500	0.05800
215	P1000	0.03200
216	num_ret	1000.00000
216	num_unjug_ret@1	0.00000
216	num_unjug_ret@10	1.00000
216	num_unjug_ret@20	4.00000
216	num_unjug_ret@100	58.00000
216	num_unjug_ret@1000	924.00000
216	num_rel	255.00000
216	num_rel_ret	55.00000
216	map	0.08816
216	R-prec	0.17647
216	bpref	0.18354
216	recip_rank	1.00000
216	ndcg	0.18323
216	ndcg5	0.22102
216	ndcg10	0.19641
216	ndcg20	0.18303
216	ERR	0.29330
216	ERR10	0.26863
216	ERR20	0.28430
216	P1	1.00000
216	P5	0.80000
216	P10	0.70000
216	P15	0.60000
216	P20	0.55000
216	P30	0.56667
216	P50	0.46000
216	P100	0.28000
216	P200	0.20500
216	P500	0.10200
216	P1000	0.05500
217	num_ret	1000.00000
217	num_unjug_ret@1	1.00000
217	num_unjug_ret@10	6.00000
217	num_unjug_ret@20	10.00000
217	num_unjug_ret@100	65.00000
217	num_unjug_ret@1000	946.00000
217	num_rel	152.00000
217	num_rel_ret	28.00000
217	map	0.06014
217	R-prec	0.17105
217	bpref	0.17560
217	recip_rank	0.20000
217	ndcg	0.17720
217	ndcg5	0.02517
217	ndcg10	0.12183
217	ndcg20	0.18282
217	ERR	0.09465
217	ERR10	0.06220
217	ERR20	0.08601
217	P1	0.00000
217	P5	0.20000
217	P10	0.30000
217	P15	0.33333
217	P20	0.35000
217	P30	0.36667
217	P50	0.36000
217	P100	0.23000
217	P200	0.13000
217	P500	0.05400
217	P1000	0.02800
218	num_ret	1000.00000
218	num_unjug_ret@1	0.00000
218	num_unjug_ret@10	3.00000
218	num_unjug_ret@20	8.00000
218	num_unjug_ret@100	65.00000
218	num_unjug_ret@1000	931.00000
218	num_rel	137.00000
218	num_rel_ret	22.00000
218	map	0.02439
218	R-prec	0.08759
218	bpref	0.13139
218	recip_rank	0.25000
218	ndcg	0.12491
218	ndcg5	0.09242
218	ndcg10	0.08443
218	ndcg20	0.10415
218	ERR	0.05060
218	ERR10	0.03519
218	ERR20	0.04515
218	P1	0.00000
218	P5	0.40000
218	P10	0.30000
218	P15	0.26667
218	P20	0.30000
218	P30	0.20000
218	P50	0.14000
218	P100	0.11000
218	P200	0.07000
218	P500	0.03200
218	P1000	0.02200
219	num_ret	1000.00000
219	num_unjug_ret@1	0.00000
219	num_unjug_ret@10	7.00000
219	num_unjug_ret@20	10.00000
219	num_unjug_ret@100	66.00000
219	num_unjug_ret@1000	918.00000
219	num_rel	60.00000
219	num_rel_ret	6.00000
219	map	0.00555
219	R-prec	0.03333
219	bpref	0.04028
219	recip_rank	0.09091
219	ndcg	0.04433
219	ndcg5	0.00000
219	ndcg10	0.00000
219	ndcg20	0.03398
219	ERR	0.01167
219	ERR10	0.00000
219	ERR20	0.01056
219	P1	0.00000
219	P5	0.00000
219	P10	0.00000
219	P15	0.13333
219	P20	0.10000
219	P30	0.06667
219	P50	0.04000
219	P100	0.03000
219	P200	0.01500
219	P500	0.01000
219	P1000	0.00600
220	num_ret	1000.00000
220	num_unjug_ret@1	1.00000
220	num_unjug_ret@10	6.00000
220	num_unjug_ret@20	14.00000
220	num_unjug_ret@100	86.00000
220	num_unjug_ret@1000	937.00000
220	num_rel	65.00000
220	num_rel_ret	4.00000
220	map	0.00110
220	R-prec	0.00000
220	bpref	0.04710
220	recip_rank	0.01370
220	ndcg	0.01326
220	ndcg5	0.00000
220	ndcg10	0.00000
220	ndcg20	0.00000
220	ERR	0.00204
220	ERR10	0.00000
220	ERR20	0.00000
220	P1	0.00000
220	P5	0.00000
220	P10	0.00000
220	P15	0.00000
220	P20	0.00000
220	P30	0.00000
220	P50	0.00000
220	P100	0.01000
220	P200	0.01500
220	P500	0.00800
220	P1000	0.00400
221	num_ret	1000.00000
221	num_unjug_ret@1	0.00000
221	num_unjug_ret@10	1.00000
221	num_unjug_ret@20	7.00000
221	num_unjug_ret@100	60.00000
221	num_unjug_ret@1000	931.00000
221	num_rel	217.00000
221	num_rel_ret	49.00000
221	map	0.09965
221	R-prec	0.17972
221	bpref	0.19810
221	recip_rank	1.00000
221	ndcg	0.17882
221	ndcg5	0.25919
221	ndcg10	0.26144
221	ndcg20	0.22365
221	ERR	0.28086
221	ERR10	0.26762
221	ERR20	0.27390
221	P1	1.00000
221	P5	1.00000
221	P10	0.90000
221	P15	0.73333
221	P20	0.60000
221	P30	0.46667
221	P50	0.36000
221	P100	0.31000
221	P200	0.19500
221	P500	0.09200
221	P1000	0.04900
222	num_ret	1000.00000
222	num_unjug_ret@1	0.00000
222	num_unjug_ret@10	5.00000
222	num_unjug_ret@20	8.00000
222	num_unjug_ret@100	79.00000
222	num_unjug_ret@1000	967.00000
222	num_rel	91.00000
222	num_rel_ret	20.00000
222	map	0.10514
222	R-prec	0.16484
222	bpref	0.21023
222	recip_rank	1.00000
222	ndcg	0.21323
222	ndcg5	0.21430
222	ndcg10	0.21033
222	ndcg20	0.23013
222	ERR	0.22159
222	ERR10	0.20559
222	ERR20	0.21731
222	P1	1.00000
222	P5	0.80000
222	P10	0.50000
222	P15	0.46667
222	P20	0.40000
222	P30	0.43333
222	P50	0.28000
222	P100	0.15000
222	P200	0.09500
222	P500	0.04000
222	P1000	0.02000
223	num_ret	1000.00000
223	num_unjug_ret@1	0.00000
223	num_unjug_ret@10	1.00000
223	num_unjug_ret@20	4.00000
223	num_unjug_ret@100	66.00000
223	num_unjug_ret@1000	948.00000
223	num_rel	150.00000
223	num_rel_ret	34.00000
223	map	0.10814
223	R-prec	0.20000
223	bpref	0.21438
223	recip_rank	1.00000
223	ndcg	0.16717
223	ndcg5	0.15022
223	ndcg10	0.14333
223	ndcg20	0.15545
223	ERR	0.30487
223	ERR10	0.28814
223	ERR20	0.29896
223	P1	1.00000
223	P5	0.80000
223	P10	0.70000
223	P15	0.66667
223	P20	0.60000
223	P30	0.50000
223	P50	0.40000
223	P100	0.25000
223	P200	0.15500
223	P500	0.06600
223	P1000	0.03400
224	num_ret	1000.00000
224	num_unjug_ret@1	1.00000
224	num_unjug_ret@10	5.00000
224	num_unjug_ret@20	14.00000
224	num_unjug_ret@100	78.00000
224	num_unjug_ret@1000	958.00000
224	num_rel	41.00000
224	num_rel_ret	6.00000
224	map	0.01129
224	R-prec	0.04878
224	bpref	0.10470
224	recip_rank	0.11111
224	ndcg	0.09703
224	ndcg5	0.00000
224	ndcg10	0.06625
224	ndcg20	0.08114
224	ERR	0.03740
224	ERR10	0.02083
224	ERR20	0.03353
224	P1	0.00000
224	P5	0.00000
224	P10	0.10000
224	P15	0.13333
224	P20	0.10000
224	P30	0.06667
224	P50	0.08000
224	P100	0.04000
224	P200	0.02000
224	P500	0.01200
224	P1000	0.00600
225	num_ret	1000.00000
225	num_unjug_ret@1	0.00000
225	num_unjug_ret@10	1.00000
225	num_unjug_ret@20	8.00000
225	num_unjug_ret@100	66.00000
225	num_unjug_ret@1000	934.00000
225	num_rel	3.00000
225	num_rel_ret	0.00000
225	map	0.00000
225	R-prec	0.00000
225	bpref	0.00000
225	recip_rank	0.00000
225	ndcg	0.00000
225	ndcg5	0.00000
225	ndcg10	0.00000
225	ndcg20	0.00000
225	ERR	0.00000
225	ERR10	0.00000
225	ERR20	0.00000
225	P1	0.00000
225	P5	0.00000
225	P10	0.00000
225	P15	0.00000
225	P20	0.00000
225	P30	0.00000
225	P50	0.00000
225	P100	0.00000
225	P200	0.00000
225	P500	0.00000
225	P1000	0.00000
226	num_ret	1000.00000
226	num_unjug_ret@1	0.00000
226	num_unjug_ret@10	2.00000
226	num_unjug_ret@20	4.00000
226	num_unjug_ret@100	54.00000
226	num_unjug_ret@1000	919.00000
226	num_rel	72.00000
226	num_rel_ret	20.00000
226	map	0.03664
226	R-prec	0.12500
226	bpref	0.15201
226	recip_rank	0.20000
226	ndcg	0.15605
226	ndcg5	0.04374
226	ndcg10	0.02838
226	ndcg20	0.05401
226	ERR	0.03209
226	ERR10	0.01250
226	ERR20	0.02285
226	P1	0.00000
226	P5	0.20000
226	P10	0.10000
226	P15	0.13333
226	P20	0.20000
226	P30	0.16667
226	P50	0.18000
226	P100	0.10000
226	P200	0.08500
226	P500	0.04000
226	P1000	0.02000
227	num_ret	1000.00000
227	num_unjug_ret@1	1.00000
227	num_unjug_ret@10	7.00000
227	num_unjug_ret@20	17.00000
227	num_unjug_ret@100	91.00000
227	num_unjug_ret@1000	972.00000
227	num_rel	50.00000
227	num_rel_ret	13.00000
227	map	0.01350
227	R-prec	0.08000
227	bpref	0.21840
227	recip_rank	0.11111
227	ndcg	0.07624
227	ndcg5	0.00000
227	ndcg10	0.00671
227	ndcg20	0.00483
227	ERR	0.01951
227	ERR10	0.00694
227	ERR20	0.00694
227	P1	0.00000
227	P5	0.00000
227	P10	0.10000
227	P15	0.06667
227	P20	0.05000
227	P30	0.03333
227	P50	0.08000
227	P100	0.05000
227	P200	0.03500
227	P500	0.02400
227	P1000	0.01300
228	num_ret	1000.00000
228	num_unjug_ret@1	0.00000
228	num_unjug_ret@10	4.00000
228	num_unjug_ret@20	12.00000
228	num_unjug_ret@100	71.00000
228	num_unjug_ret@1000	963.00000
228	num_rel	44.00000
228	num_rel_ret	7.00000
228	map	0.07282
228	R-prec	0.13636
228	bpref	0.13326
228	recip_rank	1.00000
228	ndcg	0.14686
228	ndcg5	0.18822
228	ndcg10	0.16121
228	ndcg20	0.15575
228	ERR	0.16488
228	ERR10	0.15833
228	ERR20	0.16238
228	P1	1.00000
228	P5	0.40000
228	P10	0.30000
228	P15	0.26667
228	P20	0.20000
228	P30	0.13333
228	P50	0.12000
228	P100	0.06000
228	P200	0.03000
228	P500	0.01200
228	P1000	0.00700
229	num_ret	1000.00000
229	num_unjug_ret@1	0.00000
229	num_unjug_ret@10	1.00000
229	num_unjug_ret@20	8.00000
229	num_unjug_ret@100	72.00000
229	num_unjug_ret@1000	964.00000
229	num_rel	88.00000
229	num_rel_ret	25.00000
229	map	0.08498
229	R-prec	0.18182
229	bpref	0.24605
229	recip_rank	1.00000
229	ndcg	0.29661
229	ndcg5	0.48523
229	ndcg10	0.59258
229	ndcg20	0.41718
229	ERR	0.28320
229	ERR10	0.27451
229	ERR20	0.27788
229	P1	1.00000
229	P5	0.40000
229	P10	0.60000
229	P15	0.40000
229	P20	0.35000
229	P30	0.26667
229	P50	0.24000
229	P100	0.18000
229	P200	0.12000
229	P500	0.04800
229	P1000	0.02500
230	num_ret	1000.00000
230	num_unjug_ret@1	0.00000
230	num_unjug_ret@10	1.00000
230	num_unjug_ret@20	5.00000
230	num_unjug_ret@100	71.00000
230	num_unjug_ret@1000	963.00000
230	num_rel	49.00000
230	num_rel_ret	9.00000
230	map	0.06023
230	R-prec	0.14286
230	bpref	0.13286
230	recip_rank	1.00000
230	ndcg	0.22109
230	ndcg5	0.31788
230	ndcg10	0.29612
230	ndcg20	0.27240
230	ERR	0.12046
230	ERR10	0.11240
230	ERR20	0.11722
230	P1	1.00000
230	P5	0.40000
230	P10	0.30000
230	P15	0.20000
230	P20	0.25000
230	P30	0.23333
230	P50	0.14000
230	P100	0.08000
230	P200	0.04000
230	P500	0.01600
230	P1000	0.00900
231	num_ret	1000.00000
231	num_unjug_ret@1	0.00000
231	num_unjug_ret@10	1.00000
231	num_unjug_ret@20	6.00000
231	num_unjug_ret@100	77.00000
231	num_unjug_ret@1000	968.00000
231	num_rel	58.00000
231	num_rel_ret	17.00000
231	map	0.09815
231	R-prec	0.17241
231	bpref	0.25238
231	recip_rank	1.00000
231	ndcg	0.35046
231	ndcg5	0.43934
231	ndcg10	0.39820
231	ndcg20	0.37668
231	ERR	0.47454
231	ERR10	0.46733
231	ERR20	0.47037
231	P1	1.00000
231	P5	0.40000
231	P10	0.50000
231	P15	0.33333
231	P20	0.35000
231	P30	0.26667
231	P50	0.20000
231	P100	0.12000
231	P200	0.06000
231	P500	0.03200
231	P1000	0.01700
232	num_ret	1000.00000
232	num_unjug_ret@1	0.00000
232	num_unjug_ret@10	1.00000
232	num_unjug_ret@20	6.00000
232	num_unjug_ret@100	85.00000
232	num_unjug_ret@1000	970.00000
232	num_rel	46.00000
232	num_rel_ret	8.00000
232	map	0.11498
232	R-prec	0.17391
232	bpref	0.16257
232	recip_rank	1.00000
232	ndcg	0.28241
232	ndcg5	0.68435
232	ndcg10	0.59586
232	ndcg20	0.48887
232	ERR	0.12627
232	ERR10	0.11826
232	ERR20	0.12627
232	P1	1.00000
232	P5	0.60000
232	P10	0.50000
232	P15	0.40000
232	P20	0.40000
232	P30	0.26667
232	P50	0.16000
232	P100	0.08000
232	P200	0.04000
232	P500	0.01600
232	P1000	0.00800
233	num_ret	1000.00000
233	num_unjug_ret@1	0.00000
233	num_unjug_ret@10	2.00000
233	num_unjug_ret@20	9.00000
233	num_unjug_ret@100	68.00000
233	num_unjug_ret@1000	930.00000
233	num_rel	75.00000
233	num_rel_ret	10.00000
233	map	0.00861
233	R-prec	0.05333
233	bpref	0.07076
233	recip_rank	0.14286
233	ndcg	0.08386
233	ndcg5	0.00000
233	ndcg10	0.08127
233	ndcg20	0.06158
233	ERR	0.01855
233	ERR10	0.01544
233	ERR20	0.01544
233	P1	0.00000
233	P5	0.00000
233	P10	0.20000
233	P15	0.13333
233	P20	0.10000
233	P30	0.06667
233	P50	0.06000
233	P100	0.05000
233	P200	0.02500
233	P500	0.01400
233	P1000	0.01000
234	num_ret	1000.00000
234	num_unjug_ret@1	0.00000
234	num_unjug_ret@10	3.00000
234	num_unjug_ret@20	6.00000
234	num_unjug_ret@100	68.00000
234	num_unjug_ret@1000	940.00000
234	num_rel	167.00000
234	num_rel_ret	33.00000
234	map	0.05040
234	R-prec	0.14371
234	bpref	0.17726
234	recip_rank	1.00000
234	ndcg	0.20912
234	ndcg5	0.36729
234	ndcg10	0.37197
234	ndcg20	0.32360
234	ERR	0.11376
234	ERR10	0.09994
234	ERR20	0.10553
234	P1	1.00000
234	P5	0.60000
234	P10	0.50000
234	P15	0.40000
234	P20	0.35000
234	P30	0.30000
234	P50	0.20000
234	P100	0.18000
234	P200	0.14000
234	P500	0.06000
234	P1000	0.03300
235	num_ret	1000.00000
235	num_unjug_ret@1	0.00000
235	num_unjug_ret@10	4.00000
235	num_unjug_ret@20	10.00000
235	num_unjug_ret@100	77.00000
235	num_unjug_ret@1000	969.00000
235	num_rel	14.00000
235	num_rel_ret	1.00000
235	map	0.00298
235	R-prec	0.00000
235	bpref	0.02041
235	recip_rank	0.04167
235	ndcg	0.06543
235	ndcg5	0.00000
235	ndcg10	0.00000
235	ndcg20	0.00000
235	ERR	0.00781
235	ERR10	0.00000
235	ERR20	0.00000
235	P1	0.00000
235	P5	0.00000
235	P10	0.00000
235	P15	0.00000
235	P20	0.00000
235	P30	0.03333
235	P50	0.02000
235	P100	0.01000
235	P200	0.00500
235	P500	0.00200
235	P1000	0.00100
236	num_ret	1000.00000
236	num_unjug_ret@1	0.00000
236	num_unjug_ret@10	5.00000
236	num_unjug_ret@20	6.00000
236	num_unjug_ret@100	78.00000
236	num_unjug_ret@1000	971.00000
236	num_rel	121.00000
236	num_rel_ret	23.00000
236	map	0.09633
236	R-prec	0.15702
236	bpref	0.18335
236	recip_rank	1.00000
236	ndcg	0.23283
236	ndcg5	0.34313
236	ndcg10	0.31571
236	ndcg20	0.43353
236	ERR	0.14500
236	ERR10	0.11746
236	ERR20	0.13913
236	P1	1.00000
236	P5	0.60000
236	P10	0.40000
236	P15	0.53333
236	P20	0.60000
236	P30	0.50000
236	P50	0.34000
236	P100	0.19000
236	P200	0.10000
236	P500	0.04600
236	P1000	0.02300
237	num_ret	1000.00000
237	num_unjug_ret@1	0.00000
237	num_unjug_ret@10	0.00000
237	num_unjug_ret@20	9.00000
237	num_unjug_ret@100	73.00000
237	num_unjug_ret@1000	970.00000
237	num_rel	10.00000
237	num_rel_ret	0.00000
237	map	0.00000
237	R-prec	0.00000
237	bpref	0.00000
237	recip_rank	0.00000
237	ndcg	0.00000
237	ndcg5	0.00000
237	ndcg10	0.00000
237	ndcg20	0.00000
237	ERR	0.00000
237	ERR10	0.00000
237	ERR20	0.00000
237	P1	0.00000
237	P5	0.00000
237	P10	0.00000
237	P15	0.00000
237	P20	0.00000
237	P30	0.00000
237	P50	0.00000
237	P100	0.00000
237	P200	0.00000
237	P500	0.00000
237	P1000	0.00000
238	num_ret	1000.00000
238	num_unjug_ret@1	0.00000
238	num_unjug_ret@10	7.00000
238	num_unjug_ret@20	16.00000
238	num_unjug_ret@100	86.00000
238	num_unjug_ret@1000	974.00000
238	num_rel	30.00000
238	num_rel_ret	4.00000
238	map	0.01426
238	R-prec	0.03333
238	bpref	0.11556
238	recip_rank	0.25000
238	ndcg	0.07377
238	ndcg5	0.03568
238	ndcg10	0.03151
238	ndcg20	0.02665
238	ERR	0.02217
238	ERR10	0.01563
238	ERR20	0.01563
238	P1	0.00000
238	P5	0.20000
238	P10	0.10000
238	P15	0.06667
238	P20	0.05000
238	P30	0.03333
238	P50	0.06000
238	P100	0.04000
238	P200	0.02000
238	P500	0.00800
238	P1000	0.00400
239	num_ret	1000.00000
239	num_unjug_ret@1	0.00000
239	num_unjug_ret@10	0.00000
239	num_unjug_ret@20	9.00000
239	num_unjug_ret@100	65.00000
239	num_unjug_ret@1000	942.00000
239	num_rel	75.00000
239	num_rel_ret	14.00000
239	map	0.04100
239	R-prec	0.09333
239	bpref	0.13867
239	recip_rank	1.00000
239	ndcg	0.12162
239	ndcg5	0.12453
239	ndcg10	0.11226
239	ndcg20	0.09726
239	ERR	0.09314
239	ERR10	0.08813
239	ERR20	0.08813
239	P1	1.00000
239	P5	0.60000
239	P10	0.30000
239	P15	0.20000
239	P20	0.15000
239	P30	0.10000
239	P50	0.06000
239	P100	0.09000
239	P200	0.06500
239	P500	0.02800
239	P1000	0.01400
240	num_ret	1000.00000
240	num_unjug_ret@1	1.00000
240	num_unjug_ret@10	7.00000
240	num_unjug_ret@20	16.00000
240	num_unjug_ret@100	89.00000
240	num_unjug_ret@1000	960.00000
240	num_rel	190.00000
240	num_rel_ret	9.00000
240	map	0.01026
240	R-prec	0.04211
240	bpref	0.04673
240	recip_rank	0.50000
240	ndcg	0.09270
240	ndcg5	0.34519
240	ndcg10	0.23309
240	ndcg20	0.15576
240	ERR	0.27285
240	ERR10	0.26995
240	ERR20	0.27137
240	P1	0.00000
240	P5	0.40000
240	P10	0.30000
240	P15	0.26667
240	P20	0.20000
240	P30	0.13333
240	P50	0.10000
240	P100	0.07000
240	P200	0.04000
240	P500	0.01800
240	P1000	0.00900
241	num_ret	1000.00000
241	num_unjug_ret@1	0.00000
241	num_unjug_ret@10	7.00000
241	num_unjug_ret@20	16.00000
241	num_unjug_ret@100	95.00000
241	num_unjug_ret@1000	975.00000
241	num_rel	100.00000
241	num_rel_ret	14.00000
241	map	0.00336
241	R-prec	0.00000
241	bpref	0.13160
241	recip_rank	0.00685
241	ndcg	0.04523
241	ndcg5	0.00000
241	ndcg10	0.00000
241	ndcg20	0.00000
241	ERR	0.00265
241	ERR10	0.00000
241	ERR20	0.00000
241	P1	0.00000
241	P5	0.00000
241	P10	0.00000
241	P15	0.00000
241	P20	0.00000
241	P30	0.00000
241	P50	0.00000
241	P100	0.00000
241	P200	0.02000
241	P500	0.02600
241	P1000	0.01400
242	num_ret	1000.00000
242	num_unjug_ret@1	0.00000
242	num_unjug_ret@10	6.00000
242	num_unjug_ret@20	12.00000
242	num_unjug_ret@100	75.00000
242	num_unjug_ret@1000	961.00000
242	num_rel	25.00000
242	num_rel_ret	3.00000
242	map	0.00438
242	R-prec	0.00000
242	bpref	0.05760
242	recip_rank	0.02273
242	ndcg	0.04603
242	ndcg5	0.00000
242	ndcg10	0.00000
242	ndcg20	0.00000
242	ERR	0.00345
242	ERR10	0.00000
242	ERR20	0.00000
242	P1	0.00000
242	P5	0.00000
242	P10	0.00000
242	P15	0.00000
242	P20	0.00000
242	P30	0.00000
242	P50	0.04000
242	P100	0.03000
242	P200	0.01500
242	P500	0.00600
242	P1000	0.00300
243	num_ret	1000.00000
243	num_unjug_ret@1	0.00000
243	num_unjug_ret@10	1.00000
243	num_unjug_ret@20	9.00000
243	num_unjug_ret@100	88.00000
243	num_unjug_ret@1000	962.00000
243	num_rel	77.00000
243	num_rel_ret	7.00000
243	map	0.02612
243	R-prec	0.03896
243	bpref	0.07691
243	recip_rank	1.00000
243	ndcg	0.08089
243	ndcg5	0.11677
243	ndcg10	0.09899
243	ndcg20	0.10079
243	ERR	0.08770
243	ERR10	0.08203
243	ERR20	0.08703
243	P1	1.00000
243	P5	0.40000
243	P10	0.20000
243	P15	0.20000
243	P20	0.15000
243	P30	0.10000
243	P50	0.06000
243	P100	0.03000
243	P200	0.02000
243	P500	0.01200
243	P1000	0.00700
244	num_ret	1000.00000
244	num_unjug_ret@1	0.00000
244	num_unjug_ret@10	6.00000
244	num_unjug_ret@20	13.00000
244	num_unjug_ret@100	80.00000
244	num_unjug_ret@1000	964.00000
244	num_rel	17.00000
244	num_rel_ret	7.00000
244	map	0.02717
244	R-prec	0.11765
244	bpref	0.11765
244	recip_rank	0.20000
244	ndcg	0.14649
244	ndcg5	0.05365
244	ndcg10	0.04393
244	ndcg20	0.06004
244	ERR	0.01863
244	ERR10	0.01250
244	ERR20	0.01641
244	P1	0.00000
244	P5	0.20000
244	P10	0.10000
244	P15	0.13333
244	P20	0.10000
244	P30	0.06667
244	P50	0.06000
244	P100	0.03000
244	P200	0.01500
244	P500	0.01400
244	P1000	0.00700
245	num_ret	1000.00000
245	num_unjug_ret@1	0.00000
245	num_unjug_ret@10	3.00000
245	num_unjug_ret@20	10.00000
245	num_unjug_ret@100	78.00000
245	num_unjug_ret@1000	972.00000
245	num_rel	9.00000
245	num_rel_ret	1.00000
245	map	0.00092
245	R-prec	0.00000
245	bpref	0.00000
245	recip_rank	0.00826
245	ndcg	0.01153
245	ndcg5	0.00000
245	ndcg10	0.00000
245	ndcg20	0.00000
245	ERR	0.00052
245	ERR10	0.00000
245	ERR20	0.00000
245	P1	0.00000
245	P5	0.00000
245	P10	0.00000
245	P15	0.00000
245	P20	0.00000
245	P30	0.00000
245	P50	0.00000
245	P100	0.00000
245	P200	0.00500
245	P500	0.00200
245	P1000	0.00100
246	num_ret	1000.00000
246	num_unjug_ret@1	1.00000
246	num_unjug_ret@10	6.00000
246	num_unjug_ret@20	14.00000
246	num_unjug_ret@100	82.00000
246	num_unjug_ret@1000	959.00000
246	num_rel	74.00000
246	num_rel_ret	11.00000
246	map	0.00357
246	R-prec	0.02703
246	bpref	0.09222
246	recip_rank	0.03333
246	ndcg	0.05042
246	ndcg5	0.00000
246	ndcg10	0.00000
246	ndcg20	0.00000
246	ERR	0.00571
246	ERR10	0.00000
246	ERR20	0.00000
246	P1	0.00000
246	P5	0.00000
246	P10	0.00000
246	P15	0.00000
246	P20	0.00000
246	P30	0.03333
246	P50	0.02000
246	P100	0.03000
246	P200	0.02500
246	P500	0.01400
246	P1000	0.01100
247	num_ret	1000.00000
247	num_unjug_ret@1	0.00000
247	num_unjug_ret@10	1.00000
247	num_unjug_ret@20	2.00000
247	num_unjug_ret@100	53.00000
247	num_unjug_ret@1000	929.00000
247	num_rel	24.00000
247	num_rel_ret	1.00000
247	map	0.02083
247	R-prec	0.04167
247	bpref	0.03993
247	recip_rank	0.50000
247	ndcg	0.06361
247	ndcg5	0.12750
247	ndcg10	0.09642
247	ndcg20	0.06979
247	ERR	0.03125
247	ERR10	0.03125
247	ERR20	0.03125
247	P1	0.00000
247	P5	0.20000
247	P10	0.10000
247	P15	0.06667
247	P20	0.05000
247	P30	0.03333
247	P50	0.02000
247	P100	0.01000
247	P200	0.00500
247	P500	0.00200
247	P1000	0.00100
248	num_ret	1000.00000
248	num_unjug_ret@1	0.00000
248	num_unjug_ret@10	3.00000
248	num_unjug_ret@20	7.00000
248	num_unjug_ret@100	77.00000
248	num_unjug_ret@1000	964.00000
248	num_rel	29.00000
248	num_rel_ret	3.00000
248	map	0.00182
248	R-prec	0.00000
248	bpref	0.02616
248	recip_rank	0.01961
248	ndcg	0.02629
248	ndcg5	0.00000
248	ndcg10	0.00000
248	ndcg20	0.00000
248	ERR	0.00445
248	ERR10	0.00000
248	ERR20	0.00000
248	P1	0.00000
248	P5	0.00000
248	P10	0.00000
248	P15	0.00000
248	P20	0.00000
248	P30	0.00000
248	P50	0.00000
248	P100	0.02000
248	P200	0.01000
248	P500	0.00600
248	P1000	0.00300
249	num_ret	1000.00000
249	num_unjug_ret@1	0.00000
249	num_unjug_ret@10	3.00000
249	num_unjug_ret@20	9.00000
249	num_unjug_ret@100	77.00000
249	num_unjug_ret@1000	967.00000
249	num_rel	44.00000
249	num_rel_ret	9.00000
249	map	0.00747
249	R-prec	0.02273
249	bpref	0.09917
249	recip_rank	0.04348
249	ndcg	0.10599
249	ndcg5	0.00000
249	ndcg10	0.00000
249	ndcg20	0.00000
249	ERR	0.01328
249	ERR10	0.00000
249	ERR20	0.00000
249	P1	0.00000
249	P5	0.00000
249	P10	0.00000
249	P15	0.00000
249	P20	0.00000
249	P30	0.03333
249	P50	0.02000
249	P100	0.02000
249	P200	0.04000
249	P500	0.01600
249	P1000	0.00900
250	num_ret	1000.00000
250	num_unjug_ret@1	0.00000
250	num_unjug_ret@10	5.00000
250	num_unjug_ret@20	11.00000
250	num_unjug_ret@100	87.00000
250	num_unjug_ret@1000	972.00000
250	num_rel	20.00000
250	num_rel_ret	1.00000
250	map	0.05000
250	R-prec	0.05000
250	bpref	0.05000
250	recip_rank	1.00000
250	ndcg	0.06985
250	ndcg5	0.11305
250	ndcg10	0.08461
250	ndcg20	0.06985
250	ERR	0.06250
250	ERR10	0.06250
250	ERR20	0.06250
250	P1	1.00000
250	P5	0.20000
250	P10	0.10000
250	P15	0.06667
250	P20	0.05000
250	P30	0.03333
250	P50	0.02000
250	P100	0.01000
250	P200	0.00500
250	P500	0.00200
250	P1000	0.00100
all	queries	50.00000
all	num_ret	50000.00000
all	num_unjug_ret@1	7.00000
all	num_unjug_ret@10	158.00000
all	num_unjug_ret@20	427.00000
all	num_unjug_ret@100	3578.00000
all	num_unjug_ret@1000	47507.00000
all	num_rel	4150.00000
all	num_rel_ret	776.00000
all	map	0.04003
all	R-prec	0.09077
all	bpref	0.12015
all	recip_rank	0.47340
all	ndcg	0.12575
all	ndcg5	0.12969
all	ndcg10	0.13022
all	ndcg20	0.12797
all	ERR	0.09768
all	ERR10	0.08661
all	ERR20	0.09306
all	P1	0.38000
all	P5	0.28000
all	P10	0.24600
all	P15	0.22267
all	P20	0.20700
all	P30	0.17533
all	P50	0.13840
all	P100	0.09520
all	P200	0.06130
all	P500	0.02896
all	P1000	0.01552