cross_field_comparison_check 跨字段比较校验Skill
功能概述
本skill用于逐行验证两个字段值之间的逻辑关系是否成立。典型应用场景：
- 时间区间校验：
start_time < end_time - 数值范围校验：
min_value <= max_value - 价格逻辑校验：
cost < price - 库存校验：
sold <= total
支持运算符
| 运算符 | 含义 | 示例 |
|---|---|---|
< | 小于 | start,<,end |
<= | 小于等于 | min,<=,max |
> | 大于 | end,>,start |
>= | 大于等于 | current,>=,baseline |
== | 等于 | computed,==,expected |
!= | 不等于 | status,!=,deleted |
约束格式
- 每个约束：
左字段,运算符,右字段 - 多个约束用
|分隔 - 约束之间为 AND 关系（任一违反即标记）
- 示例：
start,<,end|min,<=,max表示同时满足 start<end 且 min≤max
触发条件
当用户请求以下任务时，应使用此skill：
- 跨字段比较校验
- 字段间逻辑约束检查
- 大小关系验证
- 字段值一致性比对
- 数据逻辑规则检查
处理逻辑
- 读取输入数据表
- 解析 constraints 字符串，拆分出每个约束（按
|分割） - 对每行数据：
a. 提取左右字段的值并转为数值（numeric）
b. 按指定运算符比较
c. 违反任一约束 → 标记
qc_mark - 非数值数据（如字符串）转为 NaN 后跳过该约束的比较
- 输出标记结果和统计摘要
支持的文件格式
- CSV (.csv)
- TSV (.tsv)
- Excel (.xls, .xlsx)
- SPSS (.sav)
使用方法
步骤1：获取用户输入输出路径及参数
向用户确认：
- 输入文件路径（需要校验的文件）
- 输出文件路径（校验结果文件）
- 约束表达式（格式：左字段,运算符,右字段|...）
- 质控标识
步骤2：执行跨字段比较校验脚本
在 scripts/ 目录下找到 cross_field_comparison_check.py，使用Python执行：
单约束（时间区间）：
bashpython scripts/cross_field_comparison_check.py \ --input_path data.csv \ --output_path checked.csv \ --constraints "start_time,<,end_time" \ --qc_mark QCFLAG
多约束（范围+价格）：
bashpython scripts/cross_field_comparison_check.py \ --input_path data.csv \ --output_path checked.csv \ --constraints "start,<,end|min,<=,max|cost,<=,price" \ --qc_mark QCFLAG
步骤3：返回结果
脚本执行完成后，告知用户：
- 每条约束的违反行数
- 示例违反数据
- 总标记行数
参数说明
| 参数 | 必填 | 说明 |
|---|---|---|
--input_path | 是 | 输入文件路径（支持CSV/TSV/Excel/SPSS） |
--output_path | 是 | 输出文件路径 |
--constraints | 是 | 约束表达式，` |
--qc_mark | 是 | 质控标识（如QC标识） |
--mark_field_name | 否 | 质控标识字段名（默认QC0000） |
输出示例
发现问题
[OK] Using encoding UTF-8 successfully read CSV file Successfully read file: /path/to/data.csv, shape: (500, 8) Constraints: start < end | min <= max [QC FAIL] 跨字段比较校验未通过 (2 项问题): [start < end] 3 行违反 (示例: 行42 start=100 > end=80) [min <= max] 5 行违反 (示例: 行126 min=50 > max=30) 已标记 8 行 Successfully written file: /path/to/checked.csv
通过
[OK] Using encoding UTF-8 successfully read CSV file Successfully read file: /path/to/data.csv, shape: (300, 6) Constraints: start < end | cost <= price [QC PASS] 跨字段比较校验通过 Successfully written file: /path/to/checked.csv
注意事项
- 输入输出路径需要用户提供
- 输出文件格式会自动保持与输入文件一致
- 约束分隔符规则：
- 约束内部用半角逗号
,分隔（左字段,运算符,右字段） - 约束之间用竖线
|分隔
- 约束内部用半角逗号
- 数值类型：字段值强制转为 numeric，非数值按 NaN 处理并跳过该行
- 约束之间为 AND 关系：每条约束独立判断，任一违反即标记该行
- 被比较的两个字段名在表中必须存在，否则报错退出
- 如果用户没有指定输出路径，可以建议使用原文件名加上
_checked后缀
