webcrawl — 网页抓取与开放检索

何时使用

• 题目纯数学 / 物理机理 → 不要启用。
• 题目涉及行业 / 政策 / 地理 / 经济 → 启用。
• 评价类题目需要业界基准 / 标准 → 启用。

入口决策树

有具体 URL 要读 → Jina Reader（免费，零配置）
  失败 → Firecrawl scrape（要 EZMM_FIRECRAWL_KEY）
  失败 → 让 LLM 用 WebFetch（最后兜底）

要先搜后读 → Tavily（要 EZMM_TAVILY_KEY）
            / Exa（要 EZMM_EXA_KEY）
            / SerpAPI（要 EZMM_SERPAPI_KEY）
全部不可用 → 让用户给具体 URL，再走单页抓取

命令模板

Jina Reader（免费）

# 任意 URL → markdown，零配置
$url = 'https://example.com/article'
Invoke-RestMethod -Uri "https://r.jina.ai/$url" -OutFile workdir/.../web/$(($url | Get-FileHash -Algorithm MD5).Hash.Substring(0,8)).md

Firecrawl

import requests, os
r = requests.post(
    "https://api.firecrawl.dev/v1/scrape",
    headers={"Authorization": f"Bearer {os.environ['EZMM_FIRECRAWL_KEY']}"},
    json={"url": "https://...", "formats": ["markdown"]},
    timeout=60,
).json()
markdown = r["data"]["markdown"]

Tavily / Exa / SerpAPI

参考 tools/webcrawl/SKILL.md 的代码段。

落盘规范

抓回的页面落到：

workdir/{task_id}/attachments/external/web/<sha8>.md

文件头三行写：

<!-- source: tavily | firecrawl | jina | exa | serp -->
<!-- fetched_at: 2026-05-20T10:00:00+08:00 -->
<!-- url: https://... -->

礼貌爬取

• 单源间隔 ≥ 1s
• 尊重 robots.txt（除非用户授权）
• 不绕过登录 / 反爬
• 大批量爬取走 Firecrawl，不裸 requests

失败诊断

情况	处理
全部 key 缺失	仅 Jina 可用；写诊断说明可用工具集
单页 4xx / 5xx	退避重试 1 次；仍失败记诊断
抓回登录墙 / 验证码	不绕过；写诊断
超时 > 60s	中断，写诊断