流量总览看板
聚合自 DWS 层 · 3 个站点 · 小时级增量(每小时第 5 分钟)+ 每日 02:00 全量校验 · 最新分区 hh=14
同比 / 月环比需要 ≥2 个完整周期(月 / 年)的数据;窗口不足时此处如实标注,不填估算值。日环比见上方 KPI 卡(真实计算)。
历史按 dt 分区保留 180 天,任意区间可回溯;第三方统计工具通常仅保留 30–90 天。
IT 运维 / 信息化学生管理子系统
面向学校部门的信息化学生管理子系统,用于管理网维 / 信息技术学生、设备资产、工单流转、值班安排与网络状态。可在主系统统一管理并查看其运行情况,一键跳转进入。
| 模块 | 状态 | 面向 | 说明 |
|---|---|---|---|
| 学生管理 | ● 已接线 | 网维 / 信息技术学生 | 成员来自 /api/users 真实账号(子系统内管理) |
| 设备资产 | ● 未录入 | 部门网络设备 | 台账表未建,录入后此处显示在线数 |
| 工单流转 | ● 未录入 | 网络维护 | 台账表未建,录入后此处显示待处理数 |
| 值班表 | ● 未录入 | 学生值班 | 排班由子系统维护,主系统暂不展示 |
| 网络监控 | ● 边界外 | 部门网络 | 延迟/丢包采集不在本项目范围(P20 第六节) |
工单台账未录入,此处不预填示例工单。子系统 itops.html 启用工单模块后,最近工单将在此展示(标题 / 优先级 / 状态)。
该子系统面向学校部门网络维护与信息技术学生管理,包含学生档案、设备资产、工单、值班与网络监控五大模块。点右上角「跳转至子系统」即可进入 itops.html;子系统内的业务数据可在此统一汇总查看。
运维调度中心
主系统统一派单给 IT 运维 / 信息化学生管理子系统。按项目边界,派单由运维人员人工执行,子系统接收后自动转入自身工单流程。
账号管理(仅管理员)
账号的全生命周期都在主系统管理(仅管理员):建号(单个新建 / 粘贴名单批量)、重置密码、停用/启用、删除账号。一人一号,用户名 = 学号,角色 = 值班;学生用初始密码登录,首次登录强制改密。子系统不提供任何账号管理入口。
子系统功能设置
在主系统统一启停 IT 运维子系统的各项功能模块。开关会写入共享本地存储,itops.html 读取后自动隐藏对应菜单;同一设备打开子系统中即刻生效。
说明:若某一功能被停用,主系统「IT 运维 / 信息化学生管理」入口仍保留,但子系统中对应菜单与视图将隐藏,防止误操作;重新开启后立即恢复。
现场样例核验
红队现场输入一个新站点和一批新样例日志,系统按数仓 DWD/DWS 计算逻辑当场复算出 PV / UV / 热门页面 / 来源分布。结果由同一套确定性规则生成、可现场复算;每次运行自动写入操作审计。
操作审计日志
登录、派单、工单处理、值班签到、样例核验、AI 人工核验等关键操作,逐条写入服务端 ClickHouse 表 itops_audit_log(操作人 / 时间 / 内容),只增不改、前端不可删除,可导出 CSV 作为「原始操作记录」与项目成果相互印证。
准实时运营视图
T+1 离线数仓上的小时级增量微批 · 最新分区 14:00 · 本轮不涉及秒级实时流处理
日志采集通道
Nginx access.log → 每日采集脚本 → ODS 落地 → DWD 明细 → DWS 汇总 → 看板(T+1 离线批处理)
数仓分层架构
ODS → DWD → DWS → ADS · 依赖单向 · 共 4 层 · 已建 19 张 / 规划 24 张
维表不含任何身份信息:dim_device 仅保留设备类型、浏览器与爬虫标记;dim_site.dept 记录站点归属单位。这正是能在不采集个人信息的前提下,支持院系、内容分类、活动专题等校内特有切片的原因。
-- 从 DWD 明细聚合成 DWS 页面日汇总 INSERT OVERWRITE TABLE dws_page_daily_1d PARTITION (dt='${dt}') SELECT site_code, page_path, COUNT(1) AS pv, COUNT(DISTINCT ip_hash) AS uv, AVG(response_time_ms) AS avg_rt, SUM(CASE WHEN status >= 400 THEN 1 ELSE 0 END) AS err_cnt, SUM(bytes_sent) AS bytes_total FROM dwd_traffic_log_detail WHERE dt = '${dt}' AND is_bot = 0 -- 剔除爬虫,保证口径纯净 GROUP BY site_code, page_path;
统一 snake_case 命名,每层强制 dt 分区,每个字段必须带注释,禁用保留字。
按 dt 分区 INSERT OVERWRITE,任意失败日期可单独重跑,不污染历史数据。
每层发布前跑 9 项校验:行数波动、空值率、状态码分布、主键重复等。
表资产目录
表结构以 create_logvox.sql 为准 · 行数/存储从 ClickHouse 实时读取
| 表名 | 层 | 行数 | 分区 | 大小 | 负责人 | 更新时效 | 状态 |
|---|---|---|---|---|---|---|---|
| 正在读取 ClickHouse 表统计… | |||||||
调度任务中心
T+1 离线调度 · 3 个脚本(collect_daily / sync_dwd / rebuild_dws)· cron 触发
etl_run_log 目前只记录运行时间戳,未记录失败明细;本卡不预填任何"历史失败样例"。真实调度运行后,失败条目(任务名 / 原因 / 重试结果)将在此按时间倒序展示。
重试 3 次,间隔 5 分钟,仍失败则推送运维群并阻断下游任务。
| 任务名 | 层 | 引擎 | 调度 | 耗时 | 上次状态 | 颗粒度 | 负责人 |
|---|---|---|---|---|---|---|---|
| 正在读取 etl_run_log… | |||||||
| 报表 | 周期 | 推送对象 | 格式 | 最近发送 | 启用 |
|---|---|---|---|---|---|
| 站点流量日报 | 0 7 * * * | 宣传部运营人员 · 信息化中心 | PDF + Excel | 今天 07:00 | |
| 学院站点周报 | 0 8 * * 1 | 各二级学院网站管理员 | 10-13 08:00 | ||
| 异常告警速报 | 触发即发 · 每日全量校验后 | 运维值班群 | Markdown + 邮件 | 今天 03:42 | |
| 月度趋势分析 | 0 9 3 * * | 部门负责人 | 10-03 09:00 |
热门页面分析
按页面路径统计 PV / UV / 停留时长 / 跳出率 · 取自 dws_page_daily_1d
| 院系 | PV | UV | 平均停留 | 跳出率 | 环比 |
|---|---|---|---|---|---|
| 计算机学院 | — | — | 3:42 | 28.4% | +14.2% |
| 工商管理学院 | — | — | 3:06 | 31.2% | +8.7% |
| 外语学院 | — | — | 4:12 | 26.8% | +5.4% |
| 艺术设计学院 | — | — | 5:08 | 22.4% | +11.8% |
| 国际教育学院 | — | — | 3:54 | 29.6% | +3.2% |
| 活动专题 | PV | UV | 表单转化 | 环比 |
|---|---|---|---|---|
| 2026 招生专题 | — | — | 18.4% | +32.6% |
| 校园开放日 | — | — | 12.1% | +9.4% |
| 毕业季专题 | — | — | 6.3% | -4.2% |
| 学术活动周 | — | — | 8.7% | +2.1% |
| 图书馆推广月 | — | — | 5.2% | +6.8% |
这正是原流程做不到的分析维度:第三方工具只认 URL,无法把流量归属到院系或活动主题。我们在 DWD 层把站点归属映射到 dim_site.dept、把 URL 分类映射到 dim_page.category,下游所有报表自动继承该口径。
| 页面路径 | 分类 | PV | UV | 平均停留 | 跳出率 | 退出率 | 趋势 |
|---|---|---|---|---|---|---|---|
| /index.html | 首页 | — | — | 1:42 | 38.2% | 24.1% | |
| /news/list | 资讯 | — | — | 4:18 | 21.4% | 12.8% | |
| /admission/2026 | 招生 | — | — | 6:04 | 14.2% | 9.6% | |
| /library/search | 服务 | — | — | 7:26 | 11.8% | 8.1% | |
| /portal/login | 门户 | — | — | 0:48 | 52.6% | 41.2% | |
| /news/detail?id=… | 资讯 | — | — | 5:52 | 18.6% | 28.4% | |
| /departments/cs | 教学 | — | — | 3:16 | 26.8% | 14.2% | |
| /campus/vr-tour | 服务 | — | — | 9:14 | 8.4% | 6.2% |
时段分布热力图
7 × 24 网格 · 按星期与小时归一化 PV · 绿→红 表示 低→高
来源与设备分析
来源域名、设备类型、系统浏览器与地域分布 · 取自 dws_source_daily_1d
访问路径漏斗
由 dwd_session_detail 会话化 · 30 分钟静默切分,按页面浏览定义步骤
| 路径 | 会话数 | 深度 | 退出率 |
|---|---|---|---|
| 首页 → 资讯列表 → 资讯详情 | — | 3 | 31.2% |
| 首页 → 招生页 → 专业介绍 → 表单 | — | 4 | 14.1% |
| 首页 → 门户登录 → 成绩查询 | — | 3 | 22.6% |
| 搜索落地 → 资讯详情 → 首页 | — | 3 | 28.4% |
| 首页 → 图书馆检索 → 结果页 | — | 3 | 18.2% |
| 首页 → 校园 VR → 招生页 | — | 3 | 11.4% |
用户留存分析
按 IP 哈希分周同期群 · 以首次访问周为 cohort,计算 N 周留存
| 同期群 | 新增用户 | D0 | D1 | D2 | D3 | D5 | D7 | D14 | D21 | D30 |
|---|---|---|---|---|---|---|---|---|---|---|
| 10-15 | — | 100% | 44% | 31% | 26% | 21% | 18% | — | — | — |
| 10-14 | — | 100% | 43% | 30% | 25% | 20% | 17% | 11% | 8% | — |
| 10-13 | — | 100% | 42% | 29% | 24% | 19% | 16% | 10% | 7% | 6% |
| 10-12 | — | 100% | 41% | 28% | 23% | 18% | 16% | 10% | 7% | 6% |
| 10-11 | — | 100% | 40% | 28% | 23% | 18% | 15% | 10% | 7% | 6% |
| 10-10 | — | 100% | 38% | 27% | 22% | 17% | 14% | 9% | 6% | 5% |
| 10-09 | — | 100% | 39% | 27% | 22% | 17% | 15% | 9% | 6% | 5% |
异常流量检测
基于 7 日滚动基线的 Z-score 算法 + 爬虫 UA 特征匹配 · 3 条待处理告警
| 规则 | 方法 | 启用 |
|---|---|---|
| PV 相对基线激增 | Z-score > 3 | |
| 爬虫 UA 特征 | regex lib (142) | |
| 单 IP 高频访问 | > 120 req/min | |
| 登录失败爆发 | 401 > 200/min | |
| 404 风暴 | > 500/min | |
| 非工作时段突增 | 02–06 & 3σ |
# 7 日滚动基线 + Z-score mu, sd = rolling(pv, 7).mean(), rolling(pv, 7).std() z = (pv - mu) / (sd + 1e-6) if z > 3.0: alert(win)
数字人智能问数
自然语言问答 · 模型状态加载中…
多维下钻分析
数据立方 ads_olap_cube · 维度:时间 × 站点 × 页面 × 来源 × 设备 · 点击任意单元格下钻
| 站点 | 00-06 | 06-09 | 09-12 | 12-14 | 14-18 | 18-24 | 合计 |
|---|---|---|---|---|---|---|---|
| 主站 | — | — | — | — | — | — | — |
| 文学院 | 612 | — | — | — | — | — | — |
| 计算机学院 | 486 | — | — | — | — | — | — |
| 招生网 | — | — | — | — | — | — | — |
| 合计 | — | — | — | — | — | — | — |
预聚合至 5 个维度 × 8 个指标,交叉表查询稳定在 0.5 秒内返回。
PV / UV / 会话 / 停留 / 跳出 / 退出 / 错误 / 流量 八个指标在所有看板共用同一口径定义。
任意下钻视图均可导出,且把当前筛选条件写入表头,保证下游可复现。
数据脱敏合规
个人可识别信息不以明文进入数仓 · 脱敏在 DWD 边界完成
| 字段 | 策略 | 保留 | 启用 |
|---|---|---|---|
| remote_addr | SHA-256 加盐哈希(不可逆) | 仅摘要 | |
| http_user_agent | 降维为设备/系统/浏览器枚举 | 仅分类 | |
| request_uri | 剥离全部查询参数 | 仅路径 | |
| http_referer | 仅保留域名 | 仅域名 | |
| cookie / set-cookie | 采集阶段直接丢弃 | 从不 | |
| authorization | 采集阶段直接丢弃 | 从不 | |
| geo precision | 聚合至省级 | 聚合值 |
多站点管理
每个站点对应独立日志路径与 site_code · 已接入 3 个,可平滑扩展
学校主站
文学院
计算机学院
| site_code | 站点名称 | 服务器 | 日志路径 | env | 保留 | 状态 |
|---|---|---|---|---|---|---|
| main | 学校主站 | 10.0.12.34 | /var/log/nginx/main.access.log | prod | 14 d | ONLINE |
| wxy | 文学院 | 10.0.13.21 | /var/log/nginx/wxy.access.log | prod | 14 d | ONLINE |
| jsj | 计算机学院 | 10.0.14.7 | /var/log/nginx/jsj.access.log | prod | 14 d | ONLINE |
| eng | 工学部 | 10.0.15.— | pending | prod | 14 d | 规划中 |
| alumni | 校友会 | 10.0.16.— | pending | prod | 14 d | 规划中 |
AI 模型配置
OpenAI 兼容协议 · Key 仅存服务端 data/llm.json(权限 0600,不打包进交付件);未配置 Key 时问答自动走关键词规则兜底
/chat/completions 路径保持一致,业务代码无需改动。# 系统提示词(实际生效,api.py) 你是 Logvox 校园网站流量看板的问答助手。 只能依据注入的【数据摘要】回答, 严格禁止编造摘要之外的数字或事实; 摘要中没有的指标,直接说明“当前看板没有该指标”。
边界与合规说明
系统做什么 —— 以及同样重要的,系统刻意不做什么
- ✓通过 Filebeat 采集校内多站点 Nginx access.log 访问日志。
- ✓建立 ODS → DWD → DWS → ADS 四层数仓模型(ClickHouse 落地)。
- ✓计算 PV、UV、停留时长、跳出率、来源渠道与时段分布等指标。
- ✓提供可视化看板、多维下钻与排行榜分析能力。
- ✓规划中(尚未接入):用大模型把自然语言问题转成只读 SQL,辅助非技术用户取数。
- ✓用统计基线加爬虫 UA 特征识别异常流量。
- ✓在落库前对 IP、UA、URL 参数与来源做脱敏处理。
- ✕不采集账号密码、身份证号等任何个人身份数据。
- ✕不做个体用户轨迹追踪,UV 基于匿名哈希统计。
- ✕不改造源系统,链路对业务系统严格只读。
- ✕不做实时业务回写,不承担任何业务操控职能。
- ✕不对个人做出任何决策判断,输出仅为聚合统计。
- ✕不做广告投放、用户画像或向第三方共享数据。
- ✕不扫描内网,不访问申报日志路径以外的任何系统。
Nginx 日志 27 个字段中仅持久化 11 个,其余在采集阶段直接丢弃。
按角色分权:浏览者仅可达 ADS;工程师通过白名单视图读 DWD;原始隔离区仅管理员可进。
每一次查询、导出与模型调用均记录操作人、时间与行数,日志保留 180 天。
尚未录入第三方数值。在录入百度统计当日 PV/UV 之前,状态保持“待现场交叉验证”,不显示任何推测差异。
阈值由宣传部与运维共同确认,任何告警都不自动执行处置动作,仅作为提示。
成果统一标注“辅助决策工具,建议人工复核”,不作为最终决策依据。
已处理风险场景:异常流量告警误报、看板数据偏差影响运营判断。应对措施为交叉验证、业务方确认阈值、代码经导师评审后方可部署,以及所有对外报表必须人工签字确认。