# sdtdata-api

**Repository Path**: open_soft_bhy/sdtdata-api

## Basic Information

- **Project Name**: sdtdata-api
- **Description**: https://www.sdtdata.com/ 站点破解api服务，供外部服务调取
- **Primary Language**: JavaScript
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-07-27
- **Last Updated**: 2026-07-28

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# sdtdata-api

`https://www.sdtdata.com/` 食典通站点加密接口破解,提供 **HTTP API 服务** + **CLI 客户端** + **可复用模块**。

逆向 `foodcodex.min.js` 内嵌的 JSEncrypt 加密逻辑,把站点原本只能通过浏览器调用的加密接口,包装成标准的 HTTP API,供外部服务直接调取。

## 逆向过程

整个项目从一个空白仓库到可部署的 Docker 服务,经历了五个阶段:

### 阶段 1:抓包定位加密接口

目标页面 `https://www.sdtdata.com/fx/fmoa/tsLibList`(食典通标准库列表)。用 Playwright 加载页面并监听 `xhr`/`fetch` 请求,捕获到列表数据走的是一个奇怪的接口:

```
POST https://www.sdtdata.com/fx/encx?<一长串 base64>=
```

- **请求体为空**,所有信息编码在 URL query 里
- **响应是明文 JSON**,只有请求被加密
- 同一明文每次加密结果不同 -> 存在随机填充

### 阶段 2:定位加密 JS

页面加载了 4 个脚本,美化了两个关键 bundle 后 grep `encx`:

```
foodcodex.min.4b8144f8.js (美化后 main.beauty.js)
  L55:  Tools.crypt = new JSEncrypt;
        Tools.crypt.setPublicKey("MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQ...AQAB");
  L33:  jQuery.post = function(e,...) { url: Tools.encryptUrl(e), ... }
  L92:  Tools.encryptUrl = function(e) {
          return !this.devMode && ... t.startWith("foodcodex") && (t = e.split("?",2))[1]
            ? this.contextPath + "/encx?" + this.crypt.encryptLong1(t[1]) + "&" : e
        };

foodcodex_libs.min.4c2d8172.js (美化后 libs.beauty.js)
  L7155: function P(t) { ... default_key_size=1024, default_public_exponent="010001" }
  L7170: P.prototype.encryptLong1 = function(t) { return e(t = this.getKey().encryptLong(t)) }
  L6674: I.prototype.encryptLong = function(t) {
           var e = (this.n.bitLength() + 7 >> 3) - 11;   // 117
           if (t.length > e) { 分段加密, 每段 hex 左补零到 256, 拼接 }
           return this.encrypt(t)
         }
```

结论:**RSA-1024 + PKCS#1 v1.5**,库是 `JSEncrypt 3.0.0-beta.1`,公钥硬编码在 `Tools.crypt.setPublicKey(...)`。

### 阶段 3:Node 复刻加密

用 Node 内置 `crypto` + `node-forge`(仅用于 DER->PEM 转换)复刻 `encryptLong1`:

```js
const KEY_BYTES = 128;              // RSA-1024 / 8
const CHUNK = KEY_BYTES - 11;       // PKCS#1 v1.5 每块明文上限 = 117 字节

function encryptLong1(plaintext) {
  const bytes = jsLatin1(plaintext);        // 按 charCodeAt 取字节 (与 JSEncrypt 一致)
  if (bytes.length > CHUNK) {
    let h = "";
    for (let i = 0; i < bytes.length; i += CHUNK)
      h += padLeft(encChunk(bytes.subarray(i, i + CHUNK)));  // 每块 hex 左补零到 256
    return hexToB64(h);
  }
  return hexToB64(padLeft(encChunk(bytes)));
}
// 最终请求: POST https://www.sdtdata.com/fx/encx?<encryptLong1(query)>=
```

验证:用自己加密的 query 调用上游,返回 `retCode=200, counts=98296`,与浏览器原生请求完全一致 -- **加密破解成功**。

### 阶段 4:包装为 HTTP API + Docker

把核心逻辑抽到 `lib.cjs`(可 `require` 的模块),上层加:

- `server.cjs` -- Node 原生 `http` 实现 HTTP 服务,零额外依赖
- `client.cjs` -- CLI 客户端,支持 `--keyword`、`--card` 等参数
- `test.cjs` -- 端到端自检(66 项断言)
- `Dockerfile` + `docker-compose.yml` -- 多阶段构建,`node:22-alpine`,非 root,内置 HEALTHCHECK

### 阶段 5:详情页解析

发现详情页 `https://www.sdtdata.com/fx/fmoa/tsLibCard/<tsId>.html` 是**普通 GET**(不走加密),返回 HTML。数据散落在:

- `<input type="hidden" name="X" value="Y">` -- 基础字段(tsNo/tsFile/tsAbstract/...)
- `<div class="conStandard">` 下的 `<p>` -- 摘要
- `<dl class="standardDetail">` 下的 `<dt>/<dd>` -- 国别/英文名/分类/发布部门/...
- `<ul class="standardList">` 下的 `<a _tsId="...">` -- 代替/现行/修改单
- `<dt id="referTitle">` / `<dt id="referByTitle">` 后的 `<a _tsId="...">` -- 引用/被引用标准

用正则解析(不引入 cheerio,保持零额外依赖),输出结构化 JSON。验证引用项解析数与页面公告数完全一致(196=196, 1604=1604)。

### 阶段 6:原文下载 + 验证码

详情页的"下载原文"按钮(逆向自 `foodcodex.min.js` 的 `fc.tsLibCard.prototype.bindYzmDownload`)走的是**图形验证码 + token** 流程,完整链路:

```
1. GET /fx/kaptcha.jpg?<random>
   -> image/jpeg + Set-Cookie: JSESSIONID=...   (验证码值保存在上游 session 里)

2. POST /fx/encx?<encryptLong1("p=tsLibCard&s=fmoa&act=doCheckYzmForFileDwn")>=
   body: yzm=<code>&locPKCode=<fileId>
   cookie: JSESSIONID=...
   -> 成功: {"retCode":"200","errMsg":null,"token":"<token>"}
      失败: {"retCode":"250","errMsg":"验证码错误"}

3. POST /fx/foodcodex?p=tsLibCard&s=fmoa&act=doDownload&userCode=&locPKCode=<fileId>&token=<token>
   cookie: JSESSIONID=...
   -> 文件二进制流 (Content-Type: application/octet-stream 等)
```

由于验证码是图形(kaptcha,服务端无法自动识别),API 提供两种使用方式:

**方式 1:一键自动下载(推荐)** — `GET /api/download/auto?tsId=...`

服务自动完成:登录(若配置账号密码)-> 取验证码 -> OCR 识别 -> 校验 -> 下载,全程无需人工干预。需要配置 OCR 服务 + 登录账号(或登录 cookie)。

**方式 2:手动两步下载** — 适合 OCR 不可用或需要人工识别的场景

- `GET /api/download/captcha?tsId=...` 取验证码图片 + 本服务生成的 `sessionId`(在响应头 `X-Session-Id`),上游 `JSESSIONID` 由本服务代为持有
- `GET /api/download?sessionId=&code=` 用 `sessionId` + 用户识别出的验证码,本服务完成校验 + 下载并回流文件

`sessionId` 有效期 10 分钟,token 一次性(下载成功后立即失效)。

**下载需要登录态**:`doDownload` 校验登录 cookie,匿名 session 会返回"您未登录,不能下载"。推荐配置 `SDTDATA_USERNAME`/`SDTDATA_PASSWORD` 自动登录(JSESSIONID 过期自动重登);也可手动配置 `SDTDATA_LOGIN_COOKIE`(从浏览器复制,过期需手动更新)。

**OCR 自动识别**:接入 OCR 服务(`POST /ocr_url`,body `{"image_url":"..."}` -> `{"result":"<code>"}`)。验证码值绑定 JSESSIONID,OCR 必须识别本服务持有的那张图(不能自己再 GET kaptcha.jpg,那会生成新 session),故本服务通过 `GET /api/captcha-image/:sessionId` 把内存里的图暴露成 URL 供 OCR 回拉。

## 加密方案

| 项 | 值 |
|---|---|
| 算法 | RSA-1024 + PKCS#1 v1.5 填充,分段加密 |
| 公钥来源 | `foodcodex.min.js` 中 `Tools.crypt.setPublicKey(...)` 硬编码 |
| JS 库 | JSEncrypt 3.0.0-beta.1 |
| 加密对象 | URL 的 query string(请求体为空) |
| 响应 | 明文 JSON(不加密) |

加密流程:

1. 明文 query string,如 `p=tsLibList&s=fcv1&act=doSearch&pageNum=1`
2. 按 117 字节/块(`keyBytes - 11`)分段,每段 RSA-PKCS1 v1.5 加密
3. 每段密文转 hex 并左补零到 256 字符,拼接所有 hex
4. 整个 hex 串 base64 编码
5. `POST https://www.sdtdata.com/fx/encx?<base64>=`

## 文件结构

| 文件 | 作用 |
|---|---|
| `lib.cjs` | 核心模块:加密、调用、业务封装,供其他代码 `require` |
| `server.cjs` | HTTP API 服务(基于 Node 原生 `http`) |
| `client.cjs` | CLI 客户端,命令行直接调用 |
| `test.cjs` | 端到端自检(单元测试 + 真实接口 + HTTP 服务) |
| `Dockerfile` | 多阶段构建,生产可用 |
| `docker-compose.yml` | 一键启动 + 健康检查 + 重启策略 |
| `.dockerignore` | Docker 构建排除清单 |
| `package.json` | 依赖与脚本 |

## 快速开始

```bash
npm install                 # 安装 node-forge

# 1. 启动 HTTP API 服务 (默认 3000 端口)
npm start
#   或指定端口: PORT=8080 npm start
#   或:        node server.cjs 8080

# 2. 命令行调用 (不开服务, 直接调)
node client.cjs
node client.cjs --keyword 'GB 2763' --pageNum 2

# 3. 跑自检
npm test
```

## Docker 部署

提供 `Dockerfile` 与 `docker-compose.yml`,基于 `node:22-alpine` 多阶段构建,生产可用。

### docker compose(推荐)

```bash
# 一键启动 (默认宿主端口 3000)
docker compose up -d

# 查看日志
docker compose logs -f

# 健康检查
curl http://localhost:3000/health

# 自定义宿主端口
PORT=8080 docker compose up -d

# 停止
docker compose down
```

### 纯 docker 命令

```bash
# 构建镜像
docker build -t sdtdata-api:latest .

# 运行 (默认 3000)
docker run -d --name sdtdata-api -p 3000:3000 --restart unless-stopped sdtdata-api:latest

# 自定义端口
docker run -d --name sdtdata-api -p 8080:3000 --restart unless-stopped sdtdata-api:latest

# 容器内服务端口也可改 (需同步 EXPOSE 与 healthcheck)
docker run -d --name sdtdata-api -p 8080:8080 -e PORT=8080 sdtdata-api:latest

# 查看日志
docker logs -f sdtdata-api

# 健康检查状态
docker inspect --format='{{.State.Health.Status}}' sdtdata-api

# 停止与删除
docker stop sdtdata-api && docker rm sdtdata-api
```

### Docker 特性说明

| 特性 | 说明 |
|---|---|
| 基础镜像 | `node:22-alpine`,约 60MB |
| 多阶段构建 | `deps` 阶段装依赖,`runtime` 阶段只拷 `node_modules` + 应用代码 |
| 非 root 用户 | 容器内以 `app` 用户运行 |
| 健康检查 | `HEALTHCHECK` 每 30s 探 `/health`(用 alpine 自带的 wget),compose 也配了 `healthcheck` |
| 重启策略 | `restart: unless-stopped`(compose),`--restart unless-stopped`(docker run) |
| 日志限制 | compose 配 `max-size: 10m, max-file: 3` |
| 镜像体积 | 约 60MB(含 Node runtime + node-forge) |

### 验证 Docker 部署

```bash
docker compose up -d
sleep 3

# 健康检查
curl http://localhost:3000/health
# {"ok": true, "ts": ...}

# 搜索
curl 'http://localhost:3000/api/search?keyword=GB%202763' | python3 -m json.tool
```

## HTTP API 接口

服务启动后,所有接口均返回 JSON,默认开启 CORS(`Access-Control-Allow-Origin: *`)。

### `GET /health`

健康检查。

```bash
curl http://localhost:3000/health
# { "ok": true, "ts": 1722076800000 }
```

### `GET /` 

API 文档,返回所有可用端点列表。

### `GET /api/search` 或 `POST /api/search`

食典通标准库搜索(业务参数封装)。参数可走 query string 或 JSON body。

| 参数 | 类型 | 默认 | 说明 |
|---|---|---|---|
| `keyword` | string | 空 | 搜索关键词 |
| `pageNum` | number/string | `1` | 页码(从 1 开始,每页 20 条) |
| `isCurrent` | `1`/`2` | `2` | `1`=仅现行 `2`=不限 |
| `isCompulsive` | `1`/`2` | `2` | `1`=仅强制标准 `2`=不限 |
| `fcTypeCode` | string | 空 | 产品分类 code |
| `seniorSearch` | array/object | 空 | 高级搜索条件(JSON) |
| `act` | string | `doSearch` | 动作 |
| `p` | string | `tsLibList` | 页面 ID |
| `s` | string | `fcv1` | 数据源 |

**GET 示例:**

```bash
# 搜索 GB 2763
curl 'http://localhost:3000/api/search?keyword=GB%202763'

# 翻页
curl 'http://localhost:3000/api/search?pageNum=2'

# 仅现行 + 强制标准
curl 'http://localhost:3000/api/search?keyword=农残&isCurrent=1&isCompulsive=1'
```

**POST 示例:**

```bash
curl -X POST http://localhost:3000/api/search \
  -H 'Content-Type: application/json' \
  -d '{"keyword":"GB 2763","pageNum":1}'
```

**响应结构:**

```json
{
  "ok": true,
  "query": "p=tsLibList&s=fcv1&act=doSearch&...&keyword=GB%202763",
  "upstream": {
    "status": 200,
    "retCode": "200",
    "errMsg": null
  },
  "data": {
    "counts": "26",
    "hasMore": "true",
    "datas": [
      {
        "TS_NO": "GB 2763-2026",
        "TS_NAME": "食品安全国家标准 食品中农药最大残留限量",
        "TS_PUBLISH_DEPT": "国家卫生健康委员会&农业农村部&国家市场监督管理总局",
        "TS_VALIDITY": "现行",
        "TS_IMPLEMENT_DATE": "2026-03-01",
        "TS_RELEASE_DATE": "2026-02-12",
        "TS_VIEWS": "23843",
        "TS_ID": "202003",
        "TS_HAS_FILE": "yes",
        "TS_SHOP_URL": ""
      }
    ]
  }
}
```

### `GET /api/raw` 或 `POST /api/raw`

传任意明文 query string,直接加密调用上游(适合需要自定义 query 参数的场景)。

| 参数 | 说明 |
|---|---|
| `query` | 明文 query string(如 `p=tsLibList&s=fcv1&act=doSearch&pageNum=1&keyword=GB 2763`) |

```bash
curl 'http://localhost:3000/api/raw?query=p%3DtsLibList%26s%3Dfcv1%26act%3DdoSearch%26pageNum%3D1%26keyword%3DGB%202763'
```

```bash
curl -X POST http://localhost:3000/api/raw \
  -H 'Content-Type: application/json' \
  -d '{"query":"p=tsLibList&s=fcv1&act=doSearch&pageNum=1&keyword=GB 2763"}'
```

### `GET /api/encrypt`

仅加密不调用上游,返回密文与加密后 URL(调试用)。

```bash
curl 'http://localhost:3000/api/encrypt?query=p=tsLibList'
# {
#   "plaintext": "p=tsLibList",
#   "ciphertext": "RUpJVrOsBikHegMFpU80DfuVQP519n0EBdEOW8oO0NNEXDBBwAKrMg5g41T8...=",
#   "encryptedUrl": "https://www.sdtdata.com/fx/encx?RUpJVrOsBikHegMFpU80DfuVQP519n0EBdEOW8oO0NNEXDBBwAKrMg5g41T8...="
# }
```

### `GET /api/card/:tsId` 或 `GET /api/card?tsId=...`

标准详情页。根据 `tsId`(可从 `/api/search` 返回的 `TS_ID` 取)抓取 `https://www.sdtdata.com/fx/fmoa/tsLibCard/<tsId>.html`,解析 HTML 为结构化 JSON。

**两种形式等价:**

```bash
# 路径参数形式
curl http://localhost:3000/api/card/202003

# query 参数形式
curl 'http://localhost:3000/api/card?tsId=202003'
```

**响应结构:**

```json
{
  "ok": true,
  "tsId": "202003",
  "upstream": { "status": 200 },
  "data": {
    "tsId": "202003",
    "tsNo": "GB 2763-2026",
    "tsName": "食品安全国家标准 食品中农药最大残留限量",
    "tsFullName": "GB 2763-2026 食品安全国家标准 食品中农药最大残留限量",
    "tsValidity": "现行",
    "releaseDate": "2026-02-12",
    "implementDate": "2026-03-01",
    "abstract": "本文件规定了食品中2,4-滴丁酸等585种农药10749项最大残留限量。\n本文件适用于与限量相关的食品。",
    "file": {
      "fileId": "06082a9d-a5d4-46d4-8b5c-8f2a26a8381f",
      "fileExt": ".PDF",
      "hasFile": "yes",
      "publishFileId": "6aaa99fa-e863-4f8c-a3e5-192f4962e487"
    },
    "tsShopUrl": "",
    "tsCharge": "2",
    "tsRemark4": "无",
    "detail": {
      "国别": "中国",
      "英文名称": "National food safety standard-Maximum residue limits for pesticides in food",
      "中标分类": "G 25",
      "ICS分类": "农业 > 杀虫剂和其他农用化工产品",
      "发布日期": "2026-02-12",
      "实施日期": "2026-03-01",
      "发布部门": "国家卫生健康委员会&农业农村部&国家市场监督管理总局",
      "发布号": "国家卫生健康委员会农业农村部国家市场监督管理总局公告2026年第2号",
      "官方来源": "国家卫生健康委员会",
      "起草单位": ""
    },
    "replaced": [
      { "tsId": "183688", "name": "GB 2763-2021" },
      { "tsId": "194155", "name": "GB 2763.1-2022" }
    ],
    "current": [],
    "amendments": [],
    "references": {
      "referenced": {
        "count": 196,
        "items": [
          { "tsId": "120834", "name": "GB/T 5009.19-2008 食品中有机氯农药多组分残留量的测定" },
          { "tsId": "105638", "name": "GB/T 5009.20-2003 食品中有机磷农药残留量的测定" }
        ]
      },
      "referencedBy": {
        "count": 1604,
        "items": [
          { "tsId": "101182", "name": "GB 10472-1989 大白菜" },
          { "tsId": "101185", "name": "GB 10475-1989 板栗" }
        ]
      }
    }
  }
}
```

**字段说明:**

| 字段 | 说明 |
|---|---|
| `tsNo` | 标准号(如 `GB 2763-2026`) |
| `tsName` | 标准名称 |
| `tsFullName` | 标准号 + 名称 |
| `tsValidity` | 状态:`现行`/`废止`/`将实施`/`将废止` |
| `releaseDate`/`implementDate` | 发布/实施日期 |
| `abstract` | 标准摘要(多段以 `\n` 拼接) |
| `file.fileId`/`fileExt`/`hasFile` | 原文文件 ID / 扩展名 / 是否有原文 |
| `file.publishFileId` | 发布公告文件 ID |
| `tsCharge` | 收费标识:`2`=收费 `1`=免费(待确认) |
| `detail` | 详细属性(国别/英文名/分类/发布部门/发布号/官方来源/起草单位) |
| `replaced` | 本标准**代替**的标准列表 |
| `current` | **替代本标准**的现行标准列表(若本标准已废止则有值) |
| `amendments` | 本标准的修改单 |
| `references.referenced` | 本标准**引用**的标准(`count` 为公告数,`items` 为解析出的列表) |
| `references.referencedBy` | **引用本标准**的标准 |

### `GET /api/download/captcha?tsId=...`

取下载原文的验证码图片。由于上游用图形验证码(kaptcha)保护下载入口,需先取图片、人工识别后再调 `/api/download`。

| 参数 | 类型 | 说明 |
|---|---|---|
| `tsId` | string | 标准 ID(可从 `/api/search` 的 `TS_ID` 或 `/api/card` 取) |

**响应:**`image/jpeg`(二进制),响应头里带:

| 响应头 | 说明 |
|---|---|
| `Content-Type` | `image/jpeg`(或上游返回的图片类型) |
| `X-Session-Id` | 32 位 hex,后续 `/api/download` 必须带回 |
| `Cache-Control` | `no-store, no-cache, must-revalidate` |

```bash
# 取验证码图片 (保存到文件, 同时拿到 sessionId)
curl -s -D /tmp/headers.txt -o /tmp/captcha.jpg \
  'http://localhost:3000/api/download/captcha?tsId=202003'
grep -i 'x-session-id' /tmp/headers.txt   # 拿到 sessionId
# 打开 /tmp/captcha.jpg 人工识别 4 位验证码, 例如 "ab3d"
```

**失败响应**(JSON,HTTP 502):

```json
{ "ok": false, "error": "该标准无原文文件 (tsFile 为空)" }
```

### `GET /api/download?sessionId=&code=`

校验验证码并下载原文。成功直接返回文件二进制流,失败返回 JSON。

| 参数 | 类型 | 说明 |
|---|---|---|
| `sessionId` | string | `/api/download/captcha` 返回的 `X-Session-Id` |
| `code` | string | 用户从验证码图片识别出的验证码 |

```bash
# 用上一步拿到的 sessionId 和识别出的验证码下载
curl -s -o "GB-2763-2026.PDF" \
  'http://localhost:3000/api/download?sessionId=<X-Session-Id>&code=ab3d'
```

**成功响应:**文件二进制流,响应头:

| 响应头 | 说明 |
|---|---|
| `Content-Type` | `application/octet-stream`(或上游返回的具体 mime) |
| `Content-Disposition` | `attachment; filename="<tsNo><fileExt>"` |

**失败响应:**JSON,HTTP 400 或 502:

```json
// 验证码错误 (400)
{ "ok": false, "error": "验证码错误", "retCode": "250", "errMsg": "验证码错误" }

// sessionId 过期 (400)
{ "ok": false, "error": "sessionId 已过期, 请重新获取验证码", "retCode": null, "errMsg": null }

// 下载失败 (502, 例如 token 已被用 / 上游异常)
{ "ok": false, "error": "下载失败 (HTTP 200, content-type: text/html)", "upstreamContentType": "text/html", "body": "..." }
```

**注意:**

- `sessionId` 有效期 10 分钟,`token` 一次性(下载成功后 `sessionId` 立即失效)
- 一个 `sessionId` 只能下载一次;重新下载需重新取验证码
- 部分标准可能无原文(`tsFile` 为空),`/api/download/captcha` 会直接返回 502
- **下载需要登录态**:`doDownload` 校验登录 cookie,匿名 session 会返回"您未登录,不能下载"错误页。请使用 `/api/download/auto`(自动登录)或配置 `SDTDATA_LOGIN_COOKIE`(见下文)

### `GET /api/download/auto?tsId=...`(推荐)

一键自动下载原文,无需人工识别验证码。服务自动完成:登录(若配置账号密码)-> 取验证码 -> OCR 识别 -> 校验 -> 下载。

| 参数 | 类型 | 说明 |
|---|---|---|
| `tsId` | string | 标准 ID(可从 `/api/search` 的 `TS_ID` 或 `/api/card` 取) |

```bash
# 一键下载 (自动登录 + OCR + 下载, 全自动)
curl -s -o "GB-2763-2026.PDF" \
  'http://localhost:3000/api/download/auto?tsId=202003'
```

**成功响应:**文件二进制流,响应头:

| 响应头 | 说明 |
|---|---|
| `Content-Type` | `application/pdf`(或上游返回的具体 mime) |
| `Content-Disposition` | `attachment; filename="<tsNo><fileExt>"` |
| `X-OCR-Result` | OCR 识别出的验证码(encodeURIComponent 编码) |
| `X-OCR-Attempts` | OCR 重试次数(通常为 1,失败自动重试最多 3 次) |

**失败响应:**JSON,HTTP 502:

```json
// 未配置登录态
{ "ok": false, "error": "获取登录态失败: 未配置 SDTDATA_USERNAME/PASSWORD 也未配置 SDTDATA_LOGIN_COOKIE", "attempts": 0 }

// OCR 识别失败 (重试 3 次后)
{ "ok": false, "error": "OCR: OCR HTTP 500: ...", "attempts": 3 }

// 登录态失效 (JSESSIONID 过期且未配置自动登录)
{ "ok": false, "error": "download: 下载失败 (HTTP 200, content-type: text/html) | body: ...您未登录...", "attempts": 3, "debug": {...} }
```

**依赖配置**(环境变量):

| 环境变量 | 必填 | 说明 |
|---|---|---|
| `SDTDATA_USERNAME` | 二选一 | sdtdata 登录账号(推荐,自动登录) |
| `SDTDATA_PASSWORD` | 二选一 | sdtdata 登录密码(推荐,自动登录) |
| `SDTDATA_LOGIN_COOKIE` | 二选一 | 手动从浏览器复制的完整 Cookie 头(备选) |
| `OCR_URL` | 是 | OCR 服务地址,如 `http://172.16.0.7:10049/ocr_url` |
| `SELF_BASE_URL` | 是 | 本服务对 OCR 可达的 URL,如 `http://172.16.0.8:13000` |
| `OCR_MAX_RETRY` | 否 | 失败重试次数,默认 3 |
| `OCR_TIMEOUT_MS` | 否 | OCR 请求超时,默认 8000ms |

### `GET /api/captcha-image/:sessionId`

取某 session 的验证码图片,供 OCR 服务按 URL 回拉识别。本服务把内存里的图暴露成临时 URL(验证码值绑定 JSESSIONID,OCR 必须识别这张图,不能自己再 GET kaptcha.jpg)。

```bash
# 直接访问 (通常由 OCR 服务自动调用, 不需要人工访问)
curl -s -o /tmp/cap.jpg 'http://localhost:3000/api/captcha-image/<sessionId>'
```

**响应:**`image/jpeg`(二进制),`Cache-Control: no-store`。无效/过期的 sessionId 返回 404。

### `POST /api/login`

测试登录。用环境变量 `SDTDATA_USERNAME`/`SDTDATA_PASSWORD`,或 body 传 `username`/`password`。成功返回 cookie 截断预览(不暴露完整 cookie)。

```bash
# 用环境变量登录
curl -s -X POST http://localhost:3000/api/login \
  -H 'Content-Type: application/json' -d '{}'

# 或 body 传账号密码
curl -s -X POST http://localhost:3000/api/login \
  -H 'Content-Type: application/json' \
  -d '{"username":"15394913462","password":"xxx"}'
```

**成功响应:**

```json
{
  "ok": true,
  "cookie": "fcPwd=21dec58f634f7116652ab05d...(已截断)",
  "msg": "登录成功, cookie 已缓存, 后续 /api/download/auto 会自动使用"
}
```

**失败响应:**HTTP 401:

```json
{ "ok": false, "error": "登录失败" }
```

## CLI 客户端

```bash
# 默认查询 (tsLibList 第 1 页)
node client.cjs

# 传完整明文 query
node client.cjs 'p=tsLibList&s=fcv1&act=doSearch&pageNum=2'

# 用 --key value 形式自动构造 query
node client.cjs --keyword 'GB 2763' --pageNum 2
node client.cjs --keyword '农药' --isCurrent 1

# 获取标准详情页 (JSON)
node client.cjs --card 202003

# 帮助
node client.cjs --help
```

CLI 选项:

| 选项 | 默认 | 说明 |
|---|---|---|
| `--keyword <text>` | 空 | 搜索关键词 |
| `--pageNum <n>` | `1` | 页码 |
| `--isCurrent <1\|2>` | `2` | `1`=仅现行 `2`=不限 |
| `--isCompulsive <1\|2>` | `2` | `1`=仅强制 `2`=不限 |
| `--fcTypeCode <code>` | 空 | 产品分类 |
| `--act <name>` | `doSearch` | 动作 |
| `--p <pageId>` | `tsLibList` | 页面 ID |
| `--card <tsId>` | - | 获取标准详情页(JSON) |

## 在自己代码里复用 lib.cjs

```js
const {
  encryptLong1,        // 加密: 明文 -> base64 密文
  callApi,             // 调用: 明文 query -> { status, body }
  searchTsLib,         // 便捷: opts -> { status, body, json, query }
  rawSearch,           // 底层: 明文 query -> { status, body, json, query }
  buildQuery,          // 构造: opts -> 明文 query string
  getTsCard,           // 详情页: tsId -> { status, ok, data }
  login,               // 登录: (username, password) -> { ok, cookie? }
  fetchCaptcha,        // 取下载验证码: tsId -> { ok, sessionId, image, contentType }
  verifyCaptcha,       // 校验验证码: (sessionId, code) -> { ok, token?, retCode?, errMsg? }
  downloadTsFile,      // 用 token 下载: sessionId -> { ok, buffer?, fileName?, contentType? }
  autoDownloadTsFile,  // 一键自动下载: (tsId, imageUrlFor) -> { ok, buffer?, fileName?, ... }
} = require("./lib.cjs");

// 例 1: 搜索
const r = await searchTsLib({ keyword: "GB 2763", pageNum: 1 });
console.log(r.json.data.counts);   // "26"
console.log(r.json.data.datas[0]); // 首条记录

// 例 2: 获取详情页
const card = await getTsCard("202003");
console.log(card.data.tsNo);       // "GB 2763-2026"
console.log(card.data.abstract);   // 摘要
console.log(card.data.replaced);   // 代替标准
console.log(card.data.references); // 引用/被引用

// 例 3: 仅加密 (不调用)
const ct = encryptLong1("p=tsLibList&s=fcv1&act=doSearch&pageNum=1");

// 例 4: 自定义明文 query 调用
const r2 = await rawSearch("p=tsLibList&s=fcv1&act=doSearch&pageNum=1&keyword=GB 2763");

// 例 5: 登录 (拿到 cookie, 供后续下载用)
const lg = await login("15394913462", "password");
if (lg.ok) {
  console.log("登录成功, cookie:", lg.cookie.slice(0, 30) + "...");
  // 把 cookie 设到环境变量或 LOGIN_COOKIE, 后续 fetchCaptcha/verifyCaptcha/downloadTsFile 会自动使用
  process.env.SDTDATA_LOGIN_COOKIE = lg.cookie;
}

// 例 6: 一键自动下载 (需先设置 SDTDATA_LOGIN_COOKIE 环境变量, 并配置 OCR 服务)
// imageUrlFor 回调返回 OCR 可访问的图片 URL (需自行暴露图片服务)
const dl = await autoDownloadTsFile("202003", (sessionId) =>
  `http://your-host:3000/api/captcha-image/${sessionId}`
);
if (dl.ok) {
  require("fs").writeFileSync(dl.fileName, dl.buffer);  // 保存文件
  console.log(`下载成功: ${dl.fileName}, ${dl.contentLength} bytes, OCR=${dl.ocrResult}`);
}
```

## 返回字段说明(data.datas[])

| 字段 | 说明 |
|---|---|
| `TS_NO` | 标准号(如 `GB 2763-2026`) |
| `TS_NAME` | 标准名称 |
| `TS_PUBLISH_DEPT` | 发布部门 |
| `TS_VALIDITY` | 状态:`现行` / `废止` / `将实施` / `将废止` |
| `TS_IMPLEMENT_DATE` | 实施日期 |
| `TS_RELEASE_DATE` | 发布日期 |
| `TS_VIEWS` | 浏览次数 |
| `TS_ID` | 内部 ID |
| `TS_HAS_FILE` | 是否有原文:`yes` / `no` |
| `TS_SHOP_URL` | 购买链接(空表示无) |

## 注意事项

1. **TLS 证书**:站点证书链不完整,`lib.cjs` 里用 `rejectUnauthorized: false` 绕过。curl/浏览器不受影响。
2. **中文关键词**:HTTP API 已自动 `encodeURIComponent`;若用 `/api/raw` 传完整 query,中文部分需自行编码。
3. **登录态**:下载原文需要登录态。推荐配置 `SDTDATA_USERNAME`/`SDTDATA_PASSWORD` 自动登录(JSESSIONID 过期自动重登);也可配置 `SDTDATA_LOGIN_COOKIE` 手动复制(过期需手动更新)。其他需要登录态的 `act`(如 `doFav`、`doExport`)未处理 cookie 透传。
4. **随机性**:PKCS#1 v1.5 每次加密结果都不同,但服务器都能正确解密。
5. **每页 20 条**:站点固定每页返回 20 条,`hasMore` 标识是否还有下一页。
6. **OCR 服务**:`/api/download/auto` 依赖外部 OCR 服务(`POST /ocr_url` + `image_url` JSON 接口)。OCR 服务需能通过 `SELF_BASE_URL` 回拉本服务的验证码图片。推荐使用 [ddddocr-docker](https://github.com/jianzhis/ddddocr-docker):

   ```bash
   # 部署 OCR 服务 (基于 ddddocr 的 Docker 版本, 提供 /ocr_url 接口)
   git clone https://github.com/jianzhis/ddddocr-docker.git
   cd ddddocr-docker
   docker build -t ddddocr .
   docker run -d -p 10049:5000 --name ddddocr --restart unless-stopped ddddocr

   # 验证 (应返回 {"result":"<4位验证码>"})
   curl -X POST http://localhost:10049/ocr_url \
     -H 'Content-Type: application/json' \
     -d '{"image_url":"https://www.sdtdata.com/fx/kaptcha.jpg"}'
   ```

   部署后配置 `OCR_URL=http://<OCR服务地址>:10049/ocr_url`。注意 OCR 服务需能通过网络访问到 `SELF_BASE_URL`(不能用 localhost,那在 OCR 容器内指向它自己)。
7. **JSESSIONID 过期**:通常 30 分钟不活动失效。配置账号密码后服务自动重登;仅配置 cookie 则需手动更新。

## 验证结果

`npm test` 自检覆盖 94 项断言:加密单元测试 + buildQuery 测试 + lib.cjs 真实调用 + 详情页解析 + 原文下载验证码流程 + HTTP 服务全端点测试。

最近一次实测(2026-07-27)全部通过,包括:

- **加密**:长度、base64 合法性、随机填充、多块拼接(单块 128B、3 块 384B)
- **搜索**:默认列表(`counts=98296`)、关键词搜索(`keyword=GB 2763` -> `counts=26`)、翻页、raw query
- **详情页**:`getTsCard('202003')` 返回 GB 2763-2026 完整数据,引用 196 项/被引用 1604 项解析数与公告数一致,无效 tsId 正确返回失败
- **原文下载**:`resolveDownloadMeta('202003')` 正确拿到 fileId/fileExt/tsNo;`fetchCaptcha('202003')` 返回 32 位 sessionId + JPEG 图片;`verifyCaptcha` 错误码返回 `retCode=250`;`downloadTsFile` 未校验验证码时拒绝下载
- **HTTP 服务**:`GET /health`、`GET /`、`GET/POST /api/search`、`GET/POST /api/raw`、`GET /api/encrypt`、`GET /api/card/:tsId`、`GET /api/card?tsId=`、`GET /api/download/captcha`、`GET /api/download`(含缺参 400、错误验证码 400、无效 sessionId 400)
- **Docker**:`docker compose up -d` 一键启动,容器 `healthy`,所有端点在容器内工作正常

## 项目演进

| 阶段 | 交付物 | 验证 |
|---|---|---|
| 1. 抓包定位 | 捕获 `POST /fx/encx?<base64>=` 请求 | 响应明文 JSON ✅ |
| 2. 逆向加密 | 找到 JSEncrypt + 硬编码 RSA-1024 公钥 | 公钥 DER 162 字节 ✅ |
| 3. 复刻加密 | `encryptLong1()` Node 实现 | 自加密 query 上游返回 counts=98296 ✅ |
| 4. HTTP API + Docker | `lib.cjs`/`server.cjs`/`Dockerfile`/`docker-compose.yml` | 38 项断言通过,容器 healthy ✅ |
| 5. 详情页解析 | `getTsCard()` HTML->JSON | 引用数 196=196/1604=1604 ✅,累计 66 项断言 |
| 6. 原文下载 + 验证码 | `fetchCaptcha`/`verifyCaptcha`/`downloadTsFile` + `/api/download/captcha`/`/api/download` | 验证码图片 + sessionId 流程跑通,错误码 250 正确,累计 94 项断言 |
| 7. OCR 自动识别 + 自动登录 | `login()`/`autoDownloadTsFile()` + `/api/download/auto`/`/api/captcha-image`/`/api/login` | 配置账号密码一键下载 GB 2763-2026(3.9MB PDF,442 页),OCR + 登录一次成功 ✅(OCR 服务用 [ddddocr-docker](https://github.com/jianzhis/ddddocr-docker)) |

## License

MIT