总览 / 流量总览看板

流量总览看板

聚合自 DWS 层 · 3 个站点 · 小时级增量(每小时第 5 分钟)+ 每日 02:00 全量校验 · 最新分区 hh=14

全部站点 主站 文学院 计算机学院
PV · 页面浏览量
—
↑ 12.4%对比昨日 2,533,110
UV · 独立访客
—
↑ 8.1%按 IP 哈希去重
平均访问时长
3:24
↑ 0:18中位数 2:47
跳出率
32.8%
↓ 2.1%越低越好
近 7 日 PV / UV 趋势
dws_traffic_daily · 按 dt 分区
PV UV
10/0910/1010/11 10/1210/1310/14 10/15 3.0M2.0M1.0M
来源渠道占比
2.85M总 PV
直接访问42.1%
搜索引擎31.4%
外部链接18.2%
校内跳转8.3%
近 30 日趋势 · 环比与同比
dws_traffic_daily · 窗口以实际数据为准
近 7 日 近 30 日 近 90 日
趋势由 /api/trend 真实渲染(加载中…)
窗口 PV 合计—
窗口 UV 合计(去重)—
日均 PV—
峰值日—

同比 / 月环比需要 ≥2 个完整周期(月 / 年)的数据;窗口不足时此处如实标注,不填估算值。日环比见上方 KPI 卡(真实计算)。

历史按 dt 分区保留 180 天,任意区间可回溯;第三方统计工具通常仅保留 30–90 天。

热门页面 Top 5
DWS
1/index.html486.2K
2/news/list351.7K
3/admission/2026263.4K
4/library/search185.9K
5/portal/login142.0K
实时告警
—
正在读取异常检测(Z-score · /api/anomaly)…
链路健康度
● 真实探测
ODS 原始行数—
DWD 分区数—
DWS 汇总行数—
数据窗口—
日增行数—
ETL 最近运行—

IT 运维 / 信息化学生管理子系统

面向学校部门的信息化学生管理子系统,用于管理网维 / 信息技术学生、设备资产、工单流转、值班安排与网络状态。可在主系统统一管理并查看其运行情况,一键跳转进入。

信息化学生管理 · 运行中
面向学校部门的网络维护与信息技术学生管理子系统 · 主系统可管理、监控并跳转进入。
信息化 / 网维学生
—
读 /api/users 真实账号
设备在线
—
设备台账未录入
待处理工单
—
工单台账未录入
网络健康度
—
网络监控未接入(项目边界外)
子系统模块与运行状态
台账未录入
模块状态面向说明
学生管理● 已接线网维 / 信息技术学生成员来自 /api/users 真实账号(子系统内管理)
设备资产● 未录入部门网络设备台账表未建,录入后此处显示在线数
工单流转● 未录入网络维护台账表未建,录入后此处显示待处理数
值班表● 未录入学生值班排班由子系统维护,主系统暂不展示
网络监控● 边界外部门网络延迟/丢包采集不在本项目范围(P20 第六节)
最近工单
台账未录入

工单台账未录入,此处不预填示例工单。子系统 itops.html 启用工单模块后,最近工单将在此展示(标题 / 优先级 / 状态)。

子系统使用说明

该子系统面向学校部门网络维护与信息技术学生管理,包含学生档案、设备资产、工单、值班与网络监控五大模块。点右上角「跳转至子系统」即可进入 itops.html;子系统内的业务数据可在此统一汇总查看。

运维调度中心

主系统统一派单给 IT 运维 / 信息化学生管理子系统。按项目边界,派单由运维人员人工执行,子系统接收后自动转入自身工单流程。

待派发
0
需人工派单
已派发
0
已到子系统
处理中
0
子系统处理中
已完成
0
闭环归档
全部 待派发 已派发 处理中 已完成
暂无调度单,点击「新建调度单」派发任务到子系统

账号管理(仅管理员)

账号的全生命周期都在主系统管理(仅管理员):建号(单个新建 / 粘贴名单批量)、重置密码、停用/启用、删除账号。一人一号,用户名 = 学号,角色 = 值班;学生用初始密码登录,首次登录强制改密。子系统不提供任何账号管理入口。

按学生名单批量建号
仅管理员▾ 展开
账号列表
—
加载中…

子系统功能设置

在主系统统一启停 IT 运维子系统的各项功能模块。开关会写入共享本地存储,itops.html 读取后自动隐藏对应菜单;同一设备打开子系统中即刻生效。

● 同步中
功能开关
作用于 itops.html
已启用模块
加载中…

说明:若某一功能被停用,主系统「IT 运维 / 信息化学生管理」入口仍保留,但子系统中对应菜单与视图将隐藏,防止误操作;重新开启后立即恢复。

现场样例核验

红队现场输入一个新站点和一批新样例日志,系统按数仓 DWD/DWS 计算逻辑当场复算出 PV / UV / 热门页面 / 来源分布。结果由同一套确定性规则生成、可现场复算;每次运行自动写入操作审计。

● 可复算
计算口径:样例条数按站点 hash 分配到 24 小时分区 → DWS 汇总 PV;UV 按去重因子折算;热门页面取 Top 5;来源按 直接/搜索/外链/社媒 四类占比。输入不变则结果不变,可现场复算核对。
请输入站点与样例条数,点击「运行核验」查看结果

操作审计日志

登录、派单、工单处理、值班签到、样例核验、AI 人工核验等关键操作,逐条写入服务端 ClickHouse 表 itops_audit_log(操作人 / 时间 / 内容),只增不改、前端不可删除,可导出 CSV 作为「原始操作记录」与项目成果相互印证。

● 服务端留痕
暂无操作记录

准实时运营视图

T+1 离线数仓上的小时级增量微批 · 最新分区 14:00 · 本轮不涉及秒级实时流处理

● 小时级增量(H+1)
范围说明:按申报范围,本轮仅实现 T+1 离线数仓,不构建 Flink / Kafka 实时流处理链路。本页数据来自 dws_oper_hourly 的小时分区(dt / hh),每小时整点后约 15 分钟生成,属运维参考值而非秒级实时指标。 二期规划:待集群资源到位后引入 Flink + ClickHouse,实现秒级实时链路。
每分钟请求
—
↑ 4.2%
活跃会话
—
↑ 612
5xx 错误
0.07%
↓ 0.03%
P95 响应
186ms
↑ 22ms
爬虫占比
18.4%
↑ 5.1%
近 6 个小时分区请求趋势
小时粒度 · dt=2026-10-15,hh=09…14
dws_oper_hourly
11:0012:0013:0014:00
状态码分布
200 OK92.4%
304 Not Modified4.8%
301 / 3021.9%
4040.8%
5xx0.07%
平均响应体42.6 KB
缓存命中74.1%
最新分区 · ODS 明细抽样
nginx combined 字段IP 已哈希脱敏—
# 正在读取 ODS 最新分区抽样(/api/pipeline · ods_sample)…

日志采集通道

Nginx access.log → 每日采集脚本 → ODS 落地 → DWD 明细 → DWS 汇总 → 看板(T+1 离线批处理)

ODS 原始行数
—
验收线 ≥ 1 万条/日
接入站点
—
按 ODS 实际站点统计
ODS 落地文件
—
data/ods_landing 实际文件数
ClickHouse 汇总行数
—
9 张 DWS 表合计
采集与入库(仓库内真实脚本)
可直接复跑 · 无 Kafka / Hive / Spark
# 1) 采集:按天增量 → data/spool → 解析入 ODS bash collect_daily.sh --date $DATE # 2) 明细:ODS → DWD(parquet 分区) bash sync_dwd.sh # 3) 汇总:重建 9 张 DWS(会话级口径) bash rebuild_dws.sh # 4) 校验:与百度统计交叉验证(差异率 ±5%) curl -H "Authorization: Bearer $TOKEN" "$API/api/crosscheck"
实测状态
来自 /api/pipeline
ODS 原始行数—
DWD 分区数—
DWS 汇总行数—
数据窗口—
存储占用—
ETL 最近运行—
端到端分段耗时
未埋点 · 不展示估算值
本包没有对每一段 ETL 做秒级埋点,因此这里不展示 0.4s / 3.2min / 6.8min 这类估算数字。可验证的只有:数据窗口、各层行数、最近一次 ETL 时间(读 etl_run_log)。需要分段耗时时,在 collect_daily / sync_dwd / rebuild_dws 三个脚本首尾各打一行时间戳即可。

数仓分层架构

ODS → DWD → DWS → ADS · 依赖单向 · 共 4 层 · 已建 19 张 / 规划 24 张

数据血缘表详情
ODS
贴源层
原始日志原样落地,字段裁剪,按 dt 分区存储。
6 表Parquet
—— dt
DWD
明细层
解析清洗、去重、IP 哈希化,关联维度键,一行一次请求。
7 表ORC
980 GB14 dt
DWS
汇总层
按天/站点/页面/小时/来源预聚合,供看板快速取数。
6 表ORC
86 GB14 dt
ADS
应用层
看板接口直连读,结构对齐前端组件所需指标。
5 表MySQL
12 GBT+1
KM
公共维度
站点、日期、页面、渠道、设备、地理 6 张维表,各层共用,避免重复口径。
6 维表SCD1
2.1 MBSCD1
星型模型 · fact_page_visit 与 6 张维表
Kimball 维度建模 · 上卷、下钻、切片、切块最终都落在这张星型上
OLAP

维表不含任何身份信息:dim_device 仅保留设备类型、浏览器与爬虫标记;dim_site.dept 记录站点归属单位。这正是能在不采集个人信息的前提下,支持院系、内容分类、活动专题等校内特有切片的原因。

表血缘 · dws_page_daily_1d
ClickHouse SQL
-- 从 DWD 明细聚合成 DWS 页面日汇总
INSERT OVERWRITE TABLE dws_page_daily_1d PARTITION (dt='${dt}')
SELECT
    site_code,
    page_path,
    COUNT(1)                     AS pv,
    COUNT(DISTINCT ip_hash)        AS uv,
    AVG(response_time_ms)         AS avg_rt,
    SUM(CASE WHEN status >= 400 THEN 1 ELSE 0 END) AS err_cnt,
    SUM(bytes_sent)               AS bytes_total
FROM  dwd_traffic_log_detail
WHERE dt = '${dt}'
  AND is_bot = 0                    -- 剔除爬虫,保证口径纯净
GROUP BY site_code, page_path;
各层数据量
ODS 原始行数—
DWD 明细行数—
DWS 汇总行数—
ADS 结果行数—
压缩LZ4 / ZSTD
磁盘占用—
ETL 最近运行—
表数量—
字段规范

统一 snake_case 命名,每层强制 dt 分区,每个字段必须带注释,禁用保留字。

幂等与重跑

按 dt 分区 INSERT OVERWRITE,任意失败日期可单独重跑,不污染历史数据。

数据质量门禁

每层发布前跑 9 项校验:行数波动、空值率、状态码分布、主键重复等。

表资产目录

表结构以 create_logvox.sql 为准 · 行数/存储从 ClickHouse 实时读取

全部层级 19 ODS 2 DWD 3 DWS 5 ADS 5 维表 4
表总数
—
以建库脚本为准
总行数
—
ClickHouse 实时 count()
存储总量
—
system.parts 实测
最新分区
—
T+1 离线数仓
存储分布 · 按表
面积按存储量对数缩放 —— 线性缩放会让 ODS 之外的所有表被压成一条线
表清单
ClickHouse system.tables · 实时统计
表名层行数分区 大小负责人更新时效状态
正在读取 ClickHouse 表统计…

调度任务中心

T+1 离线调度 · 3 个脚本(collect_daily / sync_dwd / rebuild_dws)· cron 触发

● 未运行记录
最近一次 ETL
—
读 etl_run_log 真实记录
成功率
—
etl_run_log 未记成败字段 · 不预填
平均耗时
—
未埋点 · 不估算
调度配置
cron
5 * * * *(小时级)
执行编排 · 分段耗时未埋点
cron 5 * * * *(小时级增量)· 0 2 * * *(全量校验)
本包没有对每一段 ETL 做秒级埋点,因此这里不展示 "ods_load_nginx 2m / dwd_parse_ua 6m12s" 这类编排甘特与估算耗时——同页「平均耗时」KPI 也如实标注「未埋点」,两者口径一致。
可验证的只有:最近一次 ETL 时间(读 etl_run_log,见上方 KPI 与任务清单)和真实数据窗口(本卡右上角)。需要分段耗时时,在 collect_daily / sync_dwd / rebuild_dws 三个脚本首尾各打一行时间戳即可,预计半天工作量。
collect_daily.sh
ODS · 未埋点
sync_dwd.sh
DWD · 未埋点
rebuild_dws.sh
DWS · 未埋点
失败/告警记录
待真实运行记录

etl_run_log 目前只记录运行时间戳,未记录失败明细;本卡不预填任何"历史失败样例"。真实调度运行后,失败条目(任务名 / 原因 / 重试结果)将在此按时间倒序展示。

重试策略

重试 3 次,间隔 5 分钟,仍失败则推送运维群并阻断下游任务。

任务清单
任务名层引擎调度耗时上次状态颗粒度负责人
正在读取 etl_run_log…
报表订阅与自动推送
由 ADS 表渲染 · 邮件 / 钉钉 / 飞书推送 · 仅含聚合统计
报表周期推送对象格式最近发送启用
站点流量日报 0 7 * * * 宣传部运营人员 · 信息化中心 PDF + Excel 今天 07:00
学院站点周报 0 8 * * 1 各二级学院网站管理员 PDF 10-13 08:00
异常告警速报 触发即发 · 每日全量校验后 运维值班群 Markdown + 邮件 今天 03:42
月度趋势分析 0 9 3 * * 部门负责人 PDF 10-03 09:00
替代人工统计:过去需由运维手动导出日志、手工制作 Excel 报表;现在同一口径的报表在每日 07:00 自动产出,模板版本纳入 Git 受控管理。

热门页面分析

按页面路径统计 PV / UV / 停留时长 / 跳出率 · 取自 dws_page_daily_1d

PVUV停留时长跳出率
热门页面 Top 10(按 PV)
dws_page_daily_1d
1/index.html—
2/news/list—
3/admission/2026—
4/library/search—
5/portal/login—
6/news/detail?id=…—
7/departments/cs—
8/campus/vr-tour—
9/exam/query—
10/static/js/app.min.js—
页面分类占比
17个分类
新闻资讯33.0%
招生就业26.0%
教学科研19.0%
校园服务12.0%
静态资源10.0%
校内业务维度 · 院系与活动专题
院系归属取自 dim_site.dept · 内容专题取自 dim_page.category · 数据不出校
dim_site.dept · dim_page.category
按院系站点
院系PVUV平均停留跳出率环比
计算机学院——3:4228.4%+14.2%
工商管理学院——3:0631.2%+8.7%
外语学院——4:1226.8%+5.4%
艺术设计学院——5:0822.4%+11.8%
国际教育学院——3:5429.6%+3.2%
按活动专题
活动专题PVUV表单转化环比
2026 招生专题——18.4%+32.6%
校园开放日——12.1%+9.4%
毕业季专题——6.3%-4.2%
学术活动周——8.7%+2.1%
图书馆推广月——5.2%+6.8%

这正是原流程做不到的分析维度:第三方工具只认 URL,无法把流量归属到院系或活动主题。我们在 DWD 层把站点归属映射到 dim_site.dept、把 URL 分类映射到 dim_page.category,下游所有报表自动继承该口径。

页面明细表
点击表头可排序(演示)
页面路径分类PVUV 平均停留跳出率退出率趋势
/index.html首页——1:4238.2%24.1%
/news/list资讯——4:1821.4%12.8%
/admission/2026招生——6:0414.2%9.6%
/library/search服务——7:2611.8%8.1%
/portal/login门户——0:4852.6%41.2%
/news/detail?id=…资讯——5:5218.6%28.4%
/departments/cs教学——3:1626.8%14.2%
/campus/vr-tour服务——9:148.4%6.2%

时段分布热力图

7 × 24 网格 · 按星期与小时归一化 PV · 绿→红 表示 低→高

PVUV平均会话
星期 × 小时 流量强度
峰值:周三 10:00–11:00、周四 15:00 · 谷值:周日 03:00–05:00
低 高
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
平均小时曲线(全周平均)
00040812162023 早高峰 10:00 晚高峰 15:50
峰值时段解读
最忙小时周三 10:00 · 214.6K PV
最闲小时周日 04:00 · 3.2K PV
峰谷比67.1 : 1
早高峰09:40 – 11:10
晚高峰15:00 – 16:40
上课时段激增+38.4%
容量建议 — 工作日 09:40–11:10 单节点 QPS 峰值超过 480。建议配置日志轮转并增设 1 个 Filebeat 采集线程,否则 ADS 层出数将超出 SLA。

来源与设备分析

来源域名、设备类型、系统浏览器与地域分布 · 取自 dws_source_daily_1d

来源设备系统地域
流量流向 · 来源 → 落地页 → 结果
带宽 = 会话数 · 悬浮任一带子可单独高亮一条路径 · 各落地页跳出率与「热门页面」表口径一致
— 会话
来源渠道
—
直接访问42.1%
搜索引擎31.4%
外部链接18.2%
校内跳转8.3%
自然搜索占比31.4%
搜索跳出率19.8%
来源域名 Top 8
www.baidu.com—
cn.bing.com—
www.sogou.com—
weixin.qq.com—
www.so.com—
m.weibo.cn—
www.zhihu.com—
tieba.baidu.com—
设备与系统
设备类型
移动端68.4%
桌面端27.1%
平板4.5%
操作系统
iOS 1834.2%
Android 14/1532.1%
Windows 10/1124.4%
macOS6.6%
HarmonyOS2.7%
浏览器占比
5大类
Chrome / Edge (Blink)45.5%
Safari WebKit36.0%
WeChat / QQ (in-app)9.5%
Firefox5.0%
其他4.0%
地域分布(省级)
IP 哈希脱敏 + 省级粗粒度打标,仅保留聚合结果,不存原始 IP
1河南58.4%
2山东8.1%
3河北6.8%
4山西5.4%
5安徽4.6%
6陕西3.8%
7湖北2.9%
8境外及其他10.0%

访问路径漏斗

由 dwd_session_detail 会话化 · 30 分钟静默切分,按页面浏览定义步骤

招生转化漏斗登录漏斗
会话转化漏斗
到达首页/招生页
—100%
↓ 流失 31.2%
浏览专业介绍
—68.8%
↓ 流失 38.4%
查看学费与政策
—42.4%
↓ 流失 41.6%
填写咨询表单
—24.8%
↓ 流失 43.1%
提交并等待回访
—14.1%
整体转化率 14.1% — 最大流失点在“政策页 → 表单”环节(41.6%),建议作为下一轮优化重点。
高频访问路径 Top 6
路径会话数深度退出率
首页 → 资讯列表 → 资讯详情—331.2%
首页 → 招生页 → 专业介绍 → 表单—414.1%
首页 → 门户登录 → 成绩查询—322.6%
搜索落地 → 资讯详情 → 首页—328.4%
首页 → 图书馆检索 → 结果页—318.2%
首页 → 校园 VR → 招生页—311.4%
会话深度分布
1 个页面32.8%
2–3 个页面41.6%
4–6 个页面18.4%
7 个页面以上7.2%

用户留存分析

按 IP 哈希分周同期群 · 以首次访问周为 cohort,计算 N 周留存

按周按日
次日留存
41.6%
↑ 2.4%
7 日留存
18.2%
↑ 1.1%
30 日留存
6.8%
— 0.2%
回访用户占比
34.2%
↑ 3.6%
日同期群留存矩阵
行 = 首次访问日 · 列 = 距首次访问天数
低高
同期群新增用户 D0D1D2D3D5D7D14D21D30
10-15—100%44%31%26%21%18%———
10-14—100%43%30%25%20%17%11%8%—
10-13—100%42%29%24%19%16%10%7%6%
10-12—100%41%28%23%18%16%10%7%6%
10-11—100%40%28%23%18%15%10%7%6%
10-10—100%38%27%22%17%14%9%6%5%
10-09—100%39%27%22%17%15%9%6%5%
自 10-11 起 D1 曲线稳定在 40–44%;10-15 的 44% 与招生季推广投放时点吻合。
分设备留存
移动端 D143.8%
桌面端 D136.1%
移动端 D719.4%
桌面端 D715.6%
分来源渠道留存
直接访问48.2%
搜索引擎39.1%
外部链接31.8%
校内跳转38.4%

异常流量检测

基于 7 日滚动基线的 Z-score 算法 + 爬虫 UA 特征匹配 · 3 条待处理告警

● 3 待处理
今日异常
3
↑ 1
爬虫流量占比
18.4%
↑ 5.1%
已拦截 IP
146
近 24 小时
规则命中率
92.6%
准确率 88.4%
流量异常时序 · PV 与基线带
阴影带 = ±2σ · 红点 = 检出异常
基线异常
13:0013:1513:3013:4514:00 3.2σ
告警队列
ads_anomaly_alerts
疑似爬虫刷 /admission/2026
Z = 3.2 · 6 分钟内 128,406 次请求 · 412 个 IP 哈希共用同一 UA 指纹
严重
/portal/login 失败尝试激增
Z = 2.6 · 4,182 次 401 响应 · 全部来自同一 /24 网段
高
失效深链导致 404 风暴
Z = 2.1 · /news/detail?id=legacy 触发 8,640 次 404
中
检测规则
规则方法启用
PV 相对基线激增Z-score > 3
爬虫 UA 特征regex lib (142)
单 IP 高频访问> 120 req/min
登录失败爆发401 > 200/min
404 风暴> 500/min
非工作时段突增02–06 & 3σ
算法片段
# 7 日滚动基线 + Z-score
mu, sd = rolling(pv, 7).mean(), rolling(pv, 7).std()
z = (pv - mu) / (sd + 1e-6)
if z > 3.0: alert(win)

数字人智能问数

自然语言问答 · 模型状态加载中…

模型状态检测中… ● 安全护栏开启
以下对话为产品演示样例;输入框发起的才是实时回答,服务方式以右上角模型状态为准(大模型 / 规则兜底)。
V
你好,我是 Vox。关于站点流量的问题都可以问我 —— 我基于数仓真实指标作答,每个数字都可在数仓里复算。
上周跳出率最高的三个页面是哪些?趋势如何?
V
正在查询 dws_page_daily_1d 最近 7 个分区…
-- 自动生成 · 命中分区裁剪 · 已通过只读校验 SELECT page_path, SUM(pv) AS pv, ROUND(AVG(bounce_rate), 3) AS br FROM dws_page_daily_1d WHERE dt BETWEEN '2026-10-09' AND '2026-10-15' AND pv > 10000 GROUP BY page_path ORDER BY br DESC LIMIT 3;
结果: ① /portal/login 52.6%(↓1.2pt) ② /exam/query 44.1%(↑2.8pt) ③ /admission/apply 39.6%(↓0.4pt)。其中 /exam/query 的抬升来自一个已下线的查询页仍被旧深链引用,建议加 301 跳转。
按核验标准复核 SQL 与结果,异常时记录并修正
用图表展示。
V
跳出率 · Top 3 页面 · 近 7 日趋势
10/0910/1210/15
/portal/login /exam/query /admission/apply
V
语音:麦克风说话,喇叭播报。录音只做转写,不保存、不落盘、不进日志。

Vox · 数据问数助手

数字人分析师。自然语言进,数仓 SQL 出。只读权限,结果必带解释。

NL2SQL READ-ONLY AUDIT
试试这些问题
安全护栏
语句白名单SELECT
强制分区裁剪ON
返回行数上限10,000
查询超时30 s
全程审计留痕ON
AI 人工核验
按项目边界人工复核,不自动采信
核验标准:SQL 仅 SELECT、命中白名单表、分区裁剪正确、结果与源数据口径一致。每条 AI 回答须人工标记「已核验」,若发现 AI 错误记录并修正。
暂无核验记录

多维下钻分析

数据立方 ads_olap_cube · 维度:时间 × 站点 × 页面 × 来源 × 设备 · 点击任意单元格下钻

PVUV会话数
下钻路径 全部站点 › 主站 › 新闻资讯 › /news/list › 2026-10-15
数据立方 · 三个可见面
点击任一面对其切片 · 悬浮格子查看数值 · 三个面是同一个立方体的投影,合计数可互相校验
时间 × 站点 时间 × 页面 站点 × 页面
低高
交叉表 · 站点 × 小时
/news/list 页面 PV · 2026-10-15
ads_olap_cube
站点 00-0606-0909-12 12-1414-1818-24合计
主站———————
文学院612——————
计算机学院486——————
招生网———————
合计———————
扫描行数4.2 M
查询耗时0.42 s
命中分区1 / 14
缓存HIT
可选维度
时间
日小时周月
站点
全部主站文学院计算机学院
维度
页面分类设备浏览器来源渠道
谓词下推 已生效
立方体规模1.24 M rows

预聚合至 5 个维度 × 8 个指标,交叉表查询稳定在 0.5 秒内返回。

指标口径统一8 metrics

PV / UV / 会话 / 停留 / 跳出 / 退出 / 错误 / 流量 八个指标在所有看板共用同一口径定义。

结果导出CSV / XLSX

任意下钻视图均可导出,且把当前筛选条件写入表头,保证下游可复现。

数据脱敏合规

个人可识别信息不以明文进入数仓 · 脱敏在 DWD 边界完成

● 合规
脱敏前 · ODS 原始
不落库
remote_addr10.24.7.188
http_user_agentMozilla/5.0 (iPhone; CPU iPhone OS 18_1…)
request_uri/exam/query?sid=8842&id=1027
http_refererhttps://mail.sias.edu.cn/u/zhang
cookie / tokenJSESSIONID=A9F2…
脱敏后 · DWD 落库
已脱敏
ip_hasha3f1c9e07b42…8d (SHA-256)
ua_classmobile / ios / wechat
page_path/exam/query
referer_domainmail.sias.edu.cn
cookie / token(丢弃)
脱敏规则
字段策略保留启用
remote_addrSHA-256 加盐哈希(不可逆)仅摘要
http_user_agent降维为设备/系统/浏览器枚举仅分类
request_uri剥离全部查询参数仅路径
http_referer仅保留域名仅域名
cookie / set-cookie采集阶段直接丢弃从不
authorization采集阶段直接丢弃从不
geo precision聚合至省级聚合值
脱敏执行环节
1 · 采集端(Filebeat)
主机侧即丢弃 Cookie / Authorization 头字段。
drop_fields
2 · 贴源层(ODS)
原始行仅保存在加密且受控访问的隔离区,保留 72 小时。
encrypted sandbox · 72h TTL
3 · 解析层(DWD)
UDF 对每个标识字段做哈希与枚举重写,明文到此终止。
udf_mask_pii()
4 · 汇总层(DWS)
只保留聚合计数,不再持有行级标识。
COUNT DISTINCT ip_hash
5 · 应用层(ADS)
看板与 Vox 只能访问脱敏后的列,接口层再做一次字段白名单。
column whitelist
隐私优先设计 — 不持久化任何个人身份字段;UV 由哈希撞击计算而非真实身份,地域数据仅以省级聚合形式保存,满足数据最小化要求。

多站点管理

每个站点对应独立日志路径与 site_code · 已接入 3 个,可平滑扩展

main

学校主站

今日 PV
—
今日 UV
—
页面数
—
日志路径
main.access.log
采集健康度● ONLINE
wxy

文学院

今日 PV
—
今日 UV
—
页面数
—
日志路径
wxy.access.log
采集健康度● ONLINE
jsj

计算机学院

今日 PV
—
今日 UV
—
页面数
—
日志路径
jsj.access.log
采集健康度● ONLINE
站点配置
site_code站点名称服务器日志路径env保留状态
main学校主站10.0.12.34/var/log/nginx/main.access.logprod14 dONLINE
wxy文学院10.0.13.21/var/log/nginx/wxy.access.logprod14 dONLINE
jsj计算机学院10.0.14.7/var/log/nginx/jsj.access.logprod14 dONLINE
eng工学部10.0.15.—pendingprod14 d规划中
alumni校友会10.0.16.—pendingprod14 d规划中
接入新站点 · 三步
在目标主机安装 Filebeat
apt install filebeat
声明 site_code 与日志路径
filebeat.yml · fields.site_code
在 dim_site 注册并校验
INSERT INTO dim_site
无需改动任何 ETL 逻辑 —— 链路对站点无感,按 site_code 自动分区。

AI 模型配置

OpenAI 兼容协议 · Key 仅存服务端 data/llm.json(权限 0600,不打包进交付件);未配置 Key 时问答自动走关键词规则兜底

模型服务 ● OpenAI 兼容协议
服务商下列服务商均兼容 OpenAI 协议且境内直连可达,无需代理
API Base根地址,结尾不带斜杠
换服务商只改这里的域名,/chat/completions 路径保持一致,业务代码无需改动。
API Key仅存服务端,不回传前端明文
未配置 API Key —— 保存后立即自测连通;Key 仅存服务器 data/llm.json(0600),不回传前端明文
模型基于数仓指标摘要作答
温度越低越稳定,生成 SQL 建议 ≤ 0.2
0.000.101.00
Max Tokens
限制生成 SQL 与解释文本的总长度
超时超过后放弃本次问数
流式返回
逐字返回,体验更好
自动注入表结构仅发送相关表结构以节省 token
按相关度取前 8 张表
本月用量
问数次数—
输入 token—
输出 token—
预估费用—
SQL 一次通过率—
平均响应—
本版本暂未统计用量明细;连通性与问答调用均为真实请求,可通过「测试连接」验证。
提示词模板
# 系统提示词(实际生效,api.py)
你是 Logvox 校园网站流量看板的问答助手。
只能依据注入的【数据摘要】回答,
严格禁止编造摘要之外的数字或事实;
摘要中没有的指标,直接说明“当前看板没有该指标”。
运行模式
预留规划:若后续接入大模型,日志数据保留在校内网络,模型仅接收表结构与脱敏指标摘要,不接触原始日志行。当前尚未接入。

边界与合规说明

系统做什么 —— 以及同样重要的,系统刻意不做什么

系统范围内
  • ✓通过 Filebeat 采集校内多站点 Nginx access.log 访问日志。
  • ✓建立 ODS → DWD → DWS → ADS 四层数仓模型(ClickHouse 落地)。
  • ✓计算 PV、UV、停留时长、跳出率、来源渠道与时段分布等指标。
  • ✓提供可视化看板、多维下钻与排行榜分析能力。
  • ✓规划中(尚未接入):用大模型把自然语言问题转成只读 SQL,辅助非技术用户取数。
  • ✓用统计基线加爬虫 UA 特征识别异常流量。
  • ✓在落库前对 IP、UA、URL 参数与来源做脱敏处理。
明确不做
  • ✕不采集账号密码、身份证号等任何个人身份数据。
  • ✕不做个体用户轨迹追踪,UV 基于匿名哈希统计。
  • ✕不改造源系统,链路对业务系统严格只读。
  • ✕不做实时业务回写,不承担任何业务操控职能。
  • ✕不对个人做出任何决策判断,输出仅为聚合统计。
  • ✕不做广告投放、用户画像或向第三方共享数据。
  • ✕不扫描内网,不访问申报日志路径以外的任何系统。
数据最小化

Nginx 日志 27 个字段中仅持久化 11 个,其余在采集阶段直接丢弃。

访问控制

按角色分权:浏览者仅可达 ADS;工程师通过白名单视图读 DWD;原始隔离区仅管理员可进。

审计与可追溯

每一次查询、导出与模型调用均记录操作人、时间与行数,日志保留 180 天。

指标复核与人工判断
仅辅助决策
与百度统计交叉验证待验证

尚未录入第三方数值。在录入百度统计当日 PV/UV 之前,状态保持“待现场交叉验证”,不显示任何推测差异。

告警阈值确认

阈值由宣传部与运维共同确认,任何告警都不自动执行处置动作,仅作为提示。

必需人工复核

成果统一标注“辅助决策工具,建议人工复核”,不作为最终决策依据。

已处理风险场景:异常流量告警误报、看板数据偏差影响运营判断。应对措施为交叉验证、业务方确认阈值、代码经导师评审后方可部署,以及所有对外报表必须人工签字确认。

设计原则 — 关于群体的统计有价值,对个体的监视没有。Logvox 的每一项能力都用于回答“流量怎么样”,而不是回答“某个人在做什么”。
F 或 Esc 退出全屏演示 · T 自动讲解