QC16_TimeMissing 数据时序完整性检查Skill
功能概述
本skill用于检查时间序列数据的时序完整性。具体来说：
- 根据设定的时间频率（如每30分钟）生成预期的时间戳序列
- 遍历数据的实际时间范围，识别缺失的时间点（数据遗漏）
- 识别多余/不匹配的时间点（不在预期频率上的数据）
- 标记异常数据并输出
触发条件
当用户请求以下任务时，应使用此skill：
- 时序完整性检查
- 时间序列缺失检查
- 时间点完整性检验
- 数据遗漏检验
- 检查时间序列是否有缺失时间点
- 检查时间序列是否有非预期时间点
处理逻辑
- 读取输入的时间序列数据
- 设定数据记录频率（如30分钟）
- 计算数据时间范围内的预期时间点数量
- 生成预期时间戳序列
- 通过对比识别缺失时间点
- 通过对比识别多余/不匹配时间点
- 为异常数据添加质控标识
- 输出处理后的数据文件（原始数据 + 异常数据）
支持的文件格式
- CSV (.csv)
- TSV (.tsv)
- Excel (.xls, .xlsx)
- SPSS (.sav)
使用方法
步骤1：获取用户输入输出路径及参数
向用户确认：
- 输入文件路径
- 原始数据输出路径
- 异常数据输出路径
- 数据记录频率（分钟，如30表示30分钟）
- 时间字段名
- 时间格式
- 质控标识字段名（默认：QC0000）
步骤2：执行时序完整性检查脚本
在 scripts/ 目录下找到 QC16_TimeMissing.py，使用Python执行：
bashpython scripts/QC16_TimeMissing.py \ --input_path <输入文件> \ --origin_output_path <原始数据输出文件> \ --error_output_path <异常数据输出文件> \ --data_frequency <数据频率(分钟)> \ --time_field <时间字段> \ --time_format "<时间格式>" \ --mark_field_name <质控字段名>
步骤3：返回结果
告知用户处理完成。
参数说明
| 参数 | 必填 | 说明 |
|---|---|---|
--input_path | 是 | 输入文件路径 |
--origin_output_path | 是 | 原始数据输出路径 |
--error_output_path | 是 | 异常数据输出路径（缺失/多余时间点） |
--data_frequency | 是 | 数据记录频率（分钟，如30表示每30分钟） |
--time_field | 是 | 时间字段名 |
--time_format | 是 | 时间格式（如：%Y-%m-%d %H:%M:%S） |
--mark_field_name | 否 | 质控标识字段名，默认QC0000 |
时间格式示例
| 格式 | 示例 |
|---|---|
| %Y-%m-%d | 2024-01-15 |
| %Y-%m-%d %H:%M:%S | 2024-01-15 14:30:00 |
| %Y/%m/%d | 2024/01/15 |
数据频率示例
| 频率值 | 含义 |
|---|---|
| 2 | 每2分钟 |
| 30 | 每30分钟 |
| 60 | 每60分钟 |
输出示例
Start reading input data... [OK] Using encoding GB2312 successfully read CSV file Successfully read file: /path/to/input.csv, data shape: (100, 5) Min timestamp in data: 2024-01-15 00:00:00 Max timestamp in data: 2024-01-15 23:30:00 --- Missing time period check report --- Found missing time periods, total 5 time points: --- Extra/mismatched time period check report --- No extra or mismatched time points found with expected frequency. Start writing original data... Successfully wrote file: /path/to/origin_output.csv Start writing error data... Successfully wrote file: /path/to/error_output.csv Processing completed!
质控标识说明
Missing time point- 缺失时间点（数据遗漏）Extra time point- 多余时间点（非预期时间点）
注意事项
- 时间字段必须是可解析的日期时间格式
- 数据频率必须为正整数（分钟）
- 异常数据会输出到单独的文件，包含时间字段和质控标识字段
- 原始数据保持不变，仅输出异常数据明细
- 时间格式需要与实际数据中的格式完全匹配
