mAP difference in MSCOCO val

[zw-xxx]

您好！HRNet的工作真的非常棒，非常感谢开源代码！
有几个问题，想请教一下：
person_keypoints_val2017.json和COCO_val2017_detections_AP_H_56_person.json有什么区别吗？
如果理解无误的话，使用的都是val2017验证集。那为什么在每次训练epoch结束的模型评价mAP值，要比test.py所得的mAP 低

这是在train中最后一个训练轮次结束所得mAP

2020-06-22 19:56:58,671 | Arch | AP | Ap .5 | AP .75 | AP (M) | AP (L) | AR | AR .5 | AR .75 | AR (M) | AR (L) |
2020-06-22 19:56:58,672 |---|---|---|---|---|---|---|---|---|---|---|
2020-06-22 19:56:58,672 | pose_hrnet | 0.744 | 0.926 | 0.816 | 0.722 | 0.783 | 0.774 | 0.935 | 0.838 | 0.746 | 0.817 |

这是通过val检测final_state.pth的mAP

2020-06-23 04:13:00,041 | Arch | AP | Ap .5 | AP .75 | AP (M) | AP (L) | AR | AR .5 | AR .75 | AR (M) | AR (L) |
2020-06-23 04:13:00,043 |---|---|---|---|---|---|---|---|---|---|---|
2020-06-23 04:13:00,043 | pose_hrnet | 0.724 | 0.892 | 0.799 | 0.692 | 0.789 | 0.780 | 0.932 | 0.848 | 0.740 | 0.839 |

两者相差了2个点，我认为这应该与json文件的选取相关。
以及，请问在论文中：Table 1. Comparisons on the COCO validation set，使用的是哪个mAP值。
还望予以赐教，谢谢！

[leoxiaobin]

person_keypoints_val2017.json is the ground truth for dataset coco val2017.
COCO_val2017_detections_AP_H_56_person.json provides the person bounding boxes from a person detector.

[zw-xxx]

thank u very much!

[chenhaomingbob]

在coco 验证集的精度上我也遇到了相似问题。
我使用 COCO_val2017_detections_AP_H_56_person.json作为bbox文件，并且加载了 pose_hrnet_w48_384x288.pth 模型。得到了以下的精度

Model	AP	Ap .5	AP .75	AP (M)	AP (L)	AR	AR .5	AR .75	AR (M)	AR (L)
pose_hrnet	0.7411	0.8968	0.805	0.696	0.8168	0.7866	0.9268	0.843	0.7394	0.8548

我测试的AP值为0.741，未达到论文中报告的0.763。

除了用检测的bbox进行测试，我还使用了来自person_keypoints_val2017.json的 gt bbox。以下是我的测试结果：

Model	AP	Ap .5	AP .75	AP (M)	AP (L)	AR	AR .5	AR .75	AR (M)	AR (L)
pose_hrnet	0.762	0.9253	0.8239	0.7269	0.8193	0.7906	0.9399	0.8449	0.7516	0.8493

与论文中的结果0.763不符。

您能解决我的疑惑吗？十分感谢！