A/B 实验分析

分析已采集的实验数据；不要配置线上分流、修改用户分组或宣称因果关系超出随机实验设计所支持的范围。

必要口径

先确认或从数据中识别以下信息。缺少会改变结论的定义时，只问一个最关键的问题。

• 对照组和实验组的分组字段及取值；默认以对照组为基准。
• 随机化单位（用户、设备、订单等）及其唯一标识字段。
• 主指标与指标类型：二元转化、用户级连续值，或需先按用户聚合的收入/次数。
• 实验起止时间、过滤条件，以及主指标的分母和成功条件。

不得把曝光数、订单行数或事件行数直接当作独立用户样本；先按随机化单位聚合。只在数据明确存在恰好两组且分组定义清晰时输出 A/B 结论；否则说明这是多组或非实验比较。

工作流

1. 用 get_schema 确认候选表、字段类型和时间覆盖范围；不臆造字段或业务事件。
2. 用 query_data 检查每个实验单位是否只有一个分组、各组样本量、缺失值，以及实验期间是否一致。发现重复分组、空分组或明显的样本比例失衡时，先报告风险。
3. 用 run_analysis 执行 AB_Test_Analysis。SQL 必须返回每个随机化单位恰好一行、一个数值指标列和一个分组列；不要传原始事件行。
4. 在 analysis_options 中传入 control_group；可选传入 metric_type（binary / continuous / auto）及 expected_allocation。二元指标必须为 0/1。
5. 读取结果中的比例/Welch 检验、95% 置信区间、提升幅度与 SRM。不要自行计算 p 值或置信区间。
6. 同时检查并报告样本比例是否与预期分流一致、实验周期是否完整，以及多个指标/分组比较带来的假阳性风险。未预先声明为主指标的结果仅标为探索性。
7. 先给出一张组间对比表；数据支持时，用 generate_chart 绘制主指标及 95% 置信区间，或按日期的组别趋势图。

结论规则

• 仅在双侧 p < 0.05、95% 置信区间不跨 0、方向与业务目标一致，且样本质量没有重大问题时，建议“实验组在该主指标上有统计证据优于对照组”。
• p >= 0.05 或置信区间跨 0 时，写“尚无足够证据证明差异”，不要写“两个版本相同”。
• 显著但效果很小、区间很宽、样本比例异常、实验过早停止或存在多重比较时，建议继续实验或复核，不直接建议全量上线。
• 不把统计显著性当作业务显著性；将预先约定的最小可接受提升、成本和护栏指标纳入建议。数据中没有这些信息时明确列为未验证项。

输出格式

按以下顺序输出：实验口径与数据范围、样本质量检查、主指标结果表、统计结论、业务建议、局限性与下一步。每个关键数字标注来源表和过滤条件；区分观察结果、统计推断和业务假设。

工具路由

1. 使用 get_schema 识别实验表、随机化单位、分组、指标与时间字段。
2. 使用 query_data 完成单位级聚合与数据质量预检；SQL 中显式写出过滤条件与分组字段。
3. 使用 run_analysis 并设置 analysis_name="AB_Test_Analysis"、target_column、groupby_column 和 analysis_options。
4. 只在主指标结果已验证后使用 generate_chart，图表必须标明组别、指标、时间范围与置信区间口径。

Implementation reference

• 查询工具：agent/tools/business/data.py::_tool_query_data
• 图表工具：agent/tools/business/data.py::_tool_generate_chart
• 图表实现：Function/Charts_generation/chart_generate.py