【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集

【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集

具体需求:从https://kd.nsfc.cn/网站中根据关键词搜索项目信息,收集列表中展示的信息以及详情页面中的参与人员信息等。

在开始干活之前,我们首先要做的是弄清楚需求,然后分析目标网址,确定目标数据所在接口及请求参数等信息。

经过分析,列表数据存在于接口/api/baseQuery/completionQueryResultsData中,并且请求返回的数据为加密信息。

经过调试分析发现,接口数据使用的是DES解密算法进行的数据解密。接下来那就简单一点了,扣一下JS脚本或者使用python语言还原解密算法即可。

至此,列表数据已解密完毕。示例数据如下:

详情页面的接口并未加密,找出相应的接口然后按照需要的参数进行传参即可。

如有需要可扫描下方二维码联系我。