需求#

从国家自然科学基金大数据知识管理服务门户爬取论文数据。

搜索API#

打开浏览器的开发者工具（如 Chrome 的 F12）；
在网络（Network）选项卡中，监控搜索的请求；
找到接口()[https://kd.nsfc.cn/api/baseQuery/completionQueryResultsData]；
其请求体如下：

1
{"code":"A01","fuzzyKeyword":"","complete":true,"isFuzzySearch":false,"conclusionYear":"2020","dependUnit":"","keywords":"","pageNum":0,"pageSize":10,"personInCharge":"","projectName":"","projectType":"218","subPType":"","psPType":"","ratifyNo":"","ratifyYear":"","order":"enddate","ordering":"desc","codeScreening":"","dependUnitScreening":"","keywordsScreening":"","projectTypeNameScreening":""}

需要用到的字段只有：

1
code // 申请代码
2
conclusionYear // 结题年度
3
projectType // 资助类别

观察其返回内容：为一串无规律的长字符串，初步判断是经过了某种加密；

解密#

页面的HTML文件：

1
<body>
2
        <noscript>
3
            <strong>We're sorry but 国家自然科学基金大数据知识管理服务门户 doesn't work properly without JavaScript enabled. Please enable it to continue.</strong>
4
        </noscript>
5
        <div id="app"></div>
6
        <script src="/js/chunk-vendors.559d99e0.js"></script>
7
        <script src="/js/app.17b88e26.js"></script>
8
    </body>

在网页的 JavaScript 文件中，尝试寻找相关的解密代码，最终在app.17b88e26.js中找到以下内容（注释为后期补充）：

1
function g(e) {
2
    // 定义密钥
3
    var t = p.a.enc.Utf8.parse("IFROMC86");
4

5
    // 使用 DES 解密方法
6
    var n = p.a.DES.decrypt(
7
        {
8
            ciphertext: p.a.enc.Base64.parse(e) // 解析 Base64 编码的密文
9
        },
10
        t, // 解密密钥
11
        {
12
            mode: p.a.mode.ECB, // 使用 ECB 模式
13
            padding: p.a.pad.Pkcs7 // 使用 PKCS7 填充方式
14
        }
15
    );
16

17
    // 将解密后的内容解析为 UTF-8 字符串并转为 JSON
18
    return JSON.parse(n.toString(p.a.enc.Utf8));
19
}

使用 Python 的 pycryptodome 库来实现解密：

1
pip install pycryptodome

1
from Crypto.Cipher import DES
2
from Crypto.Util.Padding import unpad
3
import base64
4
import json
5

6
def decrypt_des_ecb(ciphertext):
7
    # 密钥
8
    key = b"IFROMC86"
9
    # Base64 解码
10
    encrypted_data = base64.b64decode(ciphertext)
11

12
    # 初始化 DES 解密器
13
    cipher = DES.new(key, DES.MODE_ECB)
14

15
    # 解密数据并移除填充
16
    decrypted_data = unpad(cipher.decrypt(encrypted_data), DES.block_size)
17

18
    # 解密后的字符串转为 JSON 格式
19
    return json.loads(decrypted_data.decode('utf-8'))

对网页发送请求，成功得到解密后的JSON文件：

需求#

搜索API#

解密#

文章分享

评论区

NSFC 数据爬取

需求#

搜索API#

解密#

文章分享

评论区