Latte News Fetcher - 新闻获取工具 ☕

获取新闻列表、绕过付费墙、深入阅读完整内容。

---

🚀 核心流程

首次使用：初始化偏好

检查配置文件 CONFIG/news-preferences.md（workspace 根目录）

如果用户偏好为空，执行初始化：

询问用户：
"你想要看哪些方面的新闻？可以选择以下类别，也可以告诉我你常看的网站："

🌍 国际时事 - BBC、Reuters、Al Jazeera
🇨🇳 国内要闻 - 人民网、新华网、澎湃新闻
💰 财经金融 - 财联社、Bloomberg、华尔街见闻
💻 科技互联网 - 36氪、The Verge、虎嗅
⚽ 体育娱乐 - 虎扑、ESPN、新浪体育
📊 商业市场 - 界面、财新、第一财经

你也可以直接告诉我你想关注的网站。"

保存偏好 → 写入 CONFIG/news-preferences.md（workspace 根目录）

---

日常使用：获取今日新闻

触发场景（两种）：

1. 通用请求：用户问"今天有什么新闻"、"看看新闻"等

   • → 读取用户偏好配置，获取偏好类别对应的网站

2. 指定网站：用户问"看看华尔街日报今天有什么新闻"、"BBC今天新闻"等

   • → 直接访问用户指定的网站，跳过偏好检查

---

📰 获取新闻首页（关键！）

⚠️ 重要：主流媒体网站通常会阻止简单的 fetch 请求，必须使用正确的工具

工具选择优先级

优先级	工具	适用场景	说明
🔴 首选	browser	WSJ、Bloomberg、NYT、FT 等主流媒体	能处理 JS 渲染和反爬机制
🟡 备选	web_fetch	BBC、Reuters、AP 等开放网站	轻量级，速度快
🟢 兜底	Tavily 搜索	首页获取失败时	搜索 site:xxx.com 获取今日新闻

首页获取流程

1. browser 打开网站首页
   browser action=open url="https://cn.wsj.com" profile="openclaw"

2. 等待页面加载（3-5秒）
   browser action=act kind=wait timeMs=5000

3. 获取页面快照
   browser action=snapshot

4. 从快照中提取新闻标题和链接

5. 关闭浏览器
   browser action=close

首页获取失败时的备选方案

如果 browser 访问失败，按以下顺序尝试：

1. 使用 Tavily 搜索今日新闻
   搜索: "site:cn.wsj.com 2026-03-06" 或 "华尔街日报 今日"

2. 尝试 RSS 订阅源（如果有）
   WSJ RSS: https://feeds.a.dj.com/rss/RSSWSJD.xml

3. 使用 web_fetch 尝试移动版
   web_fetch url="https://m.cn.wsj.com"

4. 诚实告知用户，提供替代网站

---

输出格式（纯文本 Markdown）

⚠️ 重要：使用纯文本 Markdown 格式，不使用飞书交互式卡片！

使用 message 工具发送纯文本消息，格式如下：

**[来源名称] 今日新闻** (YYYY-MM-DD)

---

**🔥 热门文章**

1. [标题](原文链接) | 类别
   简短摘要（1-2行，精炼概括核心事件）

2. [标题](原文链接) | 类别
   简短摘要

3. [标题](原文链接) | 类别
   简短摘要

---

**🌍 国际**

- [标题](原文链接) | 摘要

**🇨🇳 中国**

- [标题](原文链接) | 摘要

**🇺🇸 美国政治**

- [标题](原文链接) | 摘要

**💰 财经金融**

- [标题](原文链接) | 摘要

**💻 科技**

- [标题](原文链接) | 摘要

**🏢 商业**

- [标题](原文链接) | 摘要

**🎨 有趣/生活**

- [标题](原文链接) | 摘要

---

对哪条新闻感兴趣想深入了解？我可以用绕过工具帮你获取全文。

格式要求：

• 使用纯文本 Markdown，不使用飞书交互式卡片（interactive card）
• 主标题使用 **粗体**，日期用括号
• 各分类板块使用 --- 分隔线
• 分类标题使用 **粗体** + 图标：🌍 国际、🇨🇳 中国、🇺🇸 美国政治、💰 财经金融、💻 科技、🏢 商业、🎨 有趣/生活
• 热门文章必须有编号、标题、类别标签和1-2行摘要
• 标题使用 Markdown 超链接格式 [标题](链接)
• 摘要精炼，确保信息密度与可读性平衡
• 结尾提供深入了解的提示

实现方式：

message(
  action: "send",
  channel: "feishu",
  message: "**华尔街日报中文版 今日新闻** (2026-03-06)\n\n---\n\n**🔥 热门文章**\n\n1. [标题](链接) | 类别\n   摘要内容\n\n..."
)

---

📋 核心类别与知名网站

类别	首选网站（Top 3）	备选网站
🌍 国际时事	BBC、Reuters、Al Jazeera	AP News、DW、NHK World
🇨🇳 国内要闻	人民网、新华网、澎湃新闻	中国新闻网、环球网、新京报
💰 财经金融	财联社、Bloomberg、华尔街见闻	Reuters财经、第一财经、财新
💻 科技互联网	36氪、The Verge、虎嗅	TechCrunch、Ars Technica、钛媒体
⚽ 体育娱乐	虎扑、ESPN、新浪体育	BBC Sport、懂球帝、直播吧
📊 商业市场	界面、财新、第一财经	21世纪经济报道、FT中文网、日经中文网

网站与工具对应表：

网站	首页获取工具	原因
WSJ/Bloomberg/NYT/FT	browser	反爬机制强，需要 JS 渲染
BBC/Reuters/AP	web_fetch 或 browser	相对开放，两者皆可
国内媒体（澎湃/财新等）	browser	部分有反爬
科技媒体（36氪/The Verge）	browser	JS 渲染较多

---

🔍 深入新闻：获取全文

触发：用户说"详细了解 XX"、"展开第 X 条"等

获取优先级

1. web_fetch 直接获取（免费信源）
      ↓ 失败
2. browser 访问页面（无付费墙）
      ↓ 失败（付费墙）
3. archive.today 归档版本（首选绕过方案）
      ↓ 失败（无存档）
4. RemovePaywall → archive.is
      ↓ 失败
5. 其他绕过工具（smry.ai / 12ft.io）
      ↓ 失败
6. 搜索替代信源（BBC/Reuters/AP）
      ↓ 失败
7. 诚实告知 + 提供已获取的摘要

绕过付费墙工具

优先级	工具	用法	适用场景
⭐⭐⭐	archive.today	https://archive.today/{链接}	首选！付费墙通用方案
⭐⭐	smry.ai	https://smry.ai/{链接}	带总结，部分站点有效
⭐⭐	RemovePaywall	https://www.removepaywall.com/search?url={链接}	华尔街日报备选
⭐	12ft.io	https://12ft.io/{链接}	博客、Medium
⭐	r.jina.ai	https://r.jina.ai/http://{链接}	纯文本提取

---

🗞️ 华尔街日报 (WSJ) 专用绕过方法

方法一：archive.today 直接访问（推荐）

⚠️ 关键步骤：archive.today 会先显示存档列表页，需要点击具体存档链接才能进入内容页

完整操作流程：

步骤1: 尝试直接获取（通常失败）
web_fetch url="https://cn.wsj.com/articles/xxx"

步骤2: 打开 archive.today
browser action=open url="https://archive.today/https://cn.wsj.com/articles/xxx"
browser action=act kind=wait timeMs=8000

步骤3: 获取快照，检查页面状态
browser action=snapshot

步骤4: 判断页面类型
├── 如果显示"存档列表"（有多个存档时间和链接）
│   → 点击最新的存档链接
│   → browser action=act kind=click ref="存档链接"
│   → 等待跳转后获取内容
│
└── 如果直接显示文章内容
    → 直接提取内容

步骤5: 从快照中提取文章内容
（注意：archive.today 页面顶部有工具栏，内容在下方）

步骤6: 关闭浏览器
browser action=close

实际代码示例：

// 步骤1: 尝试直接获取
web_fetch url="https://cn.wsj.com/articles/英伟达将重心转离对华销售芯片-e85f9673"
// → 失败

// 步骤2: 打开 archive.today
browser action=open url="https://archive.today/https://cn.wsj.com/articles/..."
browser action=act kind=wait timeMs=8000

// 步骤3: 获取快照
browser action=snapshot
// 检查结果：发现是存档列表页

// 步骤4: 点击存档链接
// 在快照中找到类似这样的链接：
// link "英伟达将重心转离对华销售芯片 - WSJ" [ref=e43]
browser action=act kind=click ref="e43"

// 步骤5: 等待加载后获取内容
browser action=act kind=wait timeMs=5000
browser action=snapshot

// 步骤6: 提取内容并整理输出

时效性提示

⏰ 存档可能不是实时的：

• archive.today 的存档由用户提交，可能有数小时延迟
• 如果需要最新内容而存档过旧，尝试：
  1. RemovePaywall 方案
  2. 搜索替代信源
  3. 等待新存档

方法二：RemovePaywall（备选）

如果 archive.today 没有存档，使用此方法：

1. browser action=open url="https://www.removepaywall.com/search?url={WSJ链接}"
2. browser action=act kind=wait timeMs=5000
3. browser action=act kind=click ref="option2或option3按钮"
4. 等待跳转到 archive.is 页面
5. browser action=snapshot 获取内容

---

📊 其他付费网站绕过方案

网站	推荐方法	备注
华尔街日报 (WSJ)	archive.today	优先使用，需点击存档链接
Bloomberg	archive.today	同上
NYT	archive.today	同上
Medium	12ft.io / r.jina.ai	效果较好
FT中文网	archive.today	同上

搜索替代信源

使用 Tavily API 搜索同一事件的免费报道：

curl -s --request POST \
  --url https://api.tavily.com/search \
  --header "Authorization: Bearer $TAVILY_API_KEY" \
  --header 'Content-Type: application/json' \
  --data '{
    "query": "China 2026 GDP growth target 4.5% 5% economic",
    "max_results": 5,
    "search_depth": "basic"
  }'

替代优先级：

1. BBC / Reuters / AP（国际）
2. 官方来源（如中国国务院新闻办 SCIO）
3. 国内免费媒体（国内）
4. 社交媒体（Twitter/X 记者账号）

综合多信源： 当无法获取原文全文时，从 Tavily 搜索结果中选择 2-3 个信源，综合整理后提供给用户，并注明来源链接。

---

需要会员登录的网站处理

⚠️ 特殊类型：部分网站（如日经中文网）不是付费墙，而是需要免费会员登录才能看全文

处理流程：

1. 尝试 smry.ai 获取
   ├── 成功但内容截断 → 说明需要登录
   └── 失败 → 继续下一步

2. 使用 Tavily 搜索替代信源（推荐）
   - 搜索同一事件的其他媒体报道
   - 综合多信源整理

3. 请求用户登录（备选）
   - 询问用户是否有会员账号
   - 如有，请用户在 Chrome 中登录
   - 使用 browser profile="chrome" 访问
   - 注意：需要用户先点击 OpenClaw Browser Relay 扩展启用

用户登录操作提示：

"你有日经中文网会员账号吗？

如果有：
1. 在 Chrome 浏览器中打开 https://cn.nikkei.com/user/login.html 并登录
2. 登录成功后告诉我
3. 我会通过你的浏览器访问文章全文

或者，我可以用 Tavily 搜索其他媒体对同一事件的报道。"

---

🛠️ 工具选择速查表

获取新闻列表

场景	推荐工具	原因
主流媒体首页（WSJ/Bloomberg/NYT）	browser	反爬机制强
开放媒体（BBC/Reuters）	web_fetch 或 browser	两者皆可
首页获取失败	Tavily 搜索 site:xxx.com	兜底方案

获取文章全文

场景	工具
免费信源	web_fetch 直接获取
付费信源	browser + archive.today
复杂页面	browser + snapshot

---

📂 相关文件

• 用户偏好配置 - 存储用户的新闻偏好（workspace 根目录）
• 新闻网站资源 - 完整的网站列表
• 付费墙难度矩阵 - 各网站付费墙分析
• 绕过工具对比 - 工具效果对比
• 进阶技巧 - 浏览器技巧等

---

⚠️ 注意事项

1. 链接格式 - 新闻列表必须使用 [标题](原文链接) 格式
2. 热门新闻 - 必须是当天最热门、关注度最高的，不限类别
3. 尊重版权 - 仅供个人学习研究
4. 优先免费 - BBC/Reuters/AP 是第一选择
5. 诚实透明 - 无法获取时明确告知 + 提供替代
6. 输出格式 - 始终使用纯文本 Markdown，不用飞书交互式卡片
7. 存档时效 - archive.today 存档可能有延迟，注意检查存档时间

---

🔄 流程图

用户请求新闻
        │
        ├─── 用户指定网站？
        │         │
        │        Yes ──→ 直接访问指定网站
        │         │
        │         No
        │         │
        │         ▼
        │    检查用户偏好配置
        │         │
        │    ┌────┴────┐
        │    │ 有偏好？ │
        │    └────┬────┘
        │     No  │  Yes
        │    ┌────┴────┐
        │    ▼         ▼
        │  询问用户   直接获取
        │  设置偏好   偏好类别新闻
        │    │         │
        │    └────┬────┘
        │         │
        └─────────┤
                  ▼
        ┌───────────────────┐
        │ browser 打开首页   │
        │ （主流媒体首选）    │
        └───────────────────┘
                  │
           ┌──────┴──────┐
           │   成功？     │
           └──────┬──────┘
            Yes   │   No
           ┌──────┴──────┐
           ▼             ▼
      提取新闻      尝试备选方案
      标题链接      (Tavily/RSS/移动版)
           │             │
           │      ┌──────┴──────┐
           │      │   成功？     │
           │      └──────┬──────┘
           │        Yes  │   No
           │       ┌─────┴─────┐
           │       ▼           ▼
           │   提取新闻    告知用户
           │   标题链接    提供替代
           │       │           │
           └───────┴───────────┘
                   │
                   ▼
        ┌───────────────────┐
        │ 整理输出：         │
        │ 🔥 最热门 x3       │
        │ + 分类新闻         │
        │ （纯文本Markdown）  │
        └───────────────────┘
                   │
                   ▼
            用户选择深入了解
                   │
                   ▼
        ┌───────────────────┐
        │ 获取全文 + 总结    │
        │ web_fetch          │
        │ ↓ 失败             │
        │ browser            │
        │ ↓ 付费墙           │
        │ archive.today      │
        │ （注意点击存档链接） │
        │ ↓ 失败             │
        │ 搜索替代信源        │
        └───────────────────┘

---

📝 更新日志

• 2026-03-06 (v2):

  • 新增"需要会员登录的网站处理"流程（如日经中文网）
  • 新增 Tavily API 完整使用示例（curl 命令）
  • 新增"综合多信源"策略说明
  • 替代信源优先级新增"官方来源"
  • 流程图增加"用户登录"分支提示

• 2026-03-06 (v1):

  • 首页获取改用 browser 为首选（主流媒体反爬机制）
  • archive.today 流程补充"点击存档链接"步骤
  • 新增"用户指定网站"分支
  • 新增首页获取失败的备选方案
  • 添加存档时效性提示
  • 更新流程图

---

此技能持续优化中。最后更新: 2026-03-06