埋点信息
主要内容:
- 介绍埋点相关信息
分三端:
- Web端埋点
- pinpoint 服务调用链埋点
- pf 页面访问
- xhr 后台访问
- event 事件埋点
- userprofile 用户基础资料
- err web端js错误
- 移动端埋点
- page 页面访问
- request 后台服务
- event 事件
- login 用户登录
- error app错误
- CS端埋点(同上)
数据流:使用埋点sdk采集数据,NG做负载均衡后,均匀地分部到三台埋点网关服务器,经lua脚本解析处理后,通过flume采集到kafka。
lue解析:结合请求头和请求体信息,通过lua将所要的信息按照一定格式要求进行拼接,以便后续处理,如nifi、es等。
web端埋点
头部信息:
- av:埋点组件版本号
- v:埋点组件版本号
- key:子系统编码
- ref:请求发起时的页面URL地址
- rand:随机数(时间戳)
- pvid:一个session ID
- did:用户ID唯一标识
请求体:
- event_id:事件id
- tag:事件描述
- properties:自定义多个事件属性(不同项目组定义不同)
- empNo:登录工号(必选)
- event_path:事件路径(必选)
- response_time:响应时间
- pageTime:停留时间
- event_begin_time:事件开始时间
- event_end_time:事件结束时间
- event_trans_id:事件事务ID,多个连续事件,设置相同事务ID
- custom_data:自定义字段信息,json字符串格式
- uf:页面访问通用信息
- is_first_day:是否首日访问
- is_first_time:是否首次访问
- pageref:页面来源
- first_browser_language:首次使用的浏览器语言
- latest_referrer:最近一次站外地址
- screen_height:显示器高度
- screen_width:显示器宽度
使用lua解析后的日志格式(各字段之间"|"分割):
- fmt_localtime:访问服务器的时间
- remote_addr:客户端IP地址
- http_user_agent:用户浏览器其他信息,浏览器版本、浏览器类型等
- av
- v
- key
- ref
- rand
- pvid
- did
- properties中自定义的各个字段:若字段值是json:字段名1字段值1~字段名2字段值2~,若字段值不是json:使用"|"分割
- uf中的各个字段:使用"|"分割
例子:
1:2020-05-04 09:11:00|
2:10.5.18.143|
3:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36|
4:2.0.1.0001|
5:2.0.1|
6:100000103244|
7:http://mktapi.company.com.cn/zte-crm-eva-newdecui/indexb.html#/spare/newlyBuild?r=1588554179644|
8:1588554666849|
9:df4b-13e12f93|
10:ba6fd526-d578-4557-a7bf-d9745b8d2944|
11:1588554649971|http://mktapi.company.com.cn/zte-crm-eva-newdecui/indexb.html#/spare/newlyBuild_|response_time^5~event_end_time^1588554649976~event_path^http://mktapi.company.com.cn/zte-crm-eva-newdecui/indexb.html#/spare/newlyBuild?r=1588554179644~pageTime^463125~empNo^6237001361~event_begin_time^1588554649971|
12:false|false|http://api.smartsales.zte.com.cn/zte-crm-common-smartsalespc/|http://api.smartsales.zte.com.cn/zte-crm-common-smartsalespc/|zh-CN|768|1366