深度揭秘用户数据埋点采集技术 | 您的行踪已暴露

笔者对基本的用户数据埋点采集原理进行一些讲解，让大家了解我们在互联网上，到底会暴露哪些数据，这些数据会对我们产生怎样的影响。

我们先来看两个小故事：

No.1 神秘的银行贷款额度

前段时间，我经常收到招商银行信贷部的电话，本来我都是直接挂掉的，但是有一天打了好几次，我终于忍不了了，接起来问：“能不能不要再给我打了？说了不需要不需要！“

对方的回答却让我有些惊讶，甚至有被羞辱的感觉:：“真的不需要吗？真的不需要吗？“。

我再次强调：“真的不需要！“

然后对方说：“我这里看到你最近在招行 APP 里浏览了e招贷页面，猜想您可能有资金方面的需要，我们现在有xxx优惠，最高给您开到xx万，都是随借随还的…… “

我：“……”

No.2 数据统计差异的迷思

有一次，一个活动做完之后，运营同学拿着两张数据报表来问我：“为什么我们的数据跟外部的数据有这么大的差异呢？”。

我反问：“你确定两边的数据统计口径一致吗？”

运营同学答：“一致呀，都是用户访问量呀！”

我：“我的意思是，你的访问量是按照什么计算的？怎样才算是一个访问呢？即使统计口径一致，埋点和上报方法也有区别… blabla”

说完这些我猛然发现，这不是“人话“啊，怎么样才能把这些转换成谁都能听懂的“人话“呢？我陷入了沉思。

那么，通过这两个小故事，我们得到了哪些信息呢？

首先，我们在互联网上的一切动作，都可能有人在观察、记录、分析、预测。其次，大部分人并不知道，我们在上网时的信息和行为是如何暴露的，即使知道概念，也未必清楚细节。因为细节是魔鬼，而且说出来也很难被理解。

因此，笔者认为有必要对基本的用户数据埋点采集原理进行一些讲解，让大家了解我们在互联网上，到底会暴露哪些数据，这些数据会对我们产生怎样的影响。

图片来自 @姬小光

目录：

1. 网站或应用能采集哪些用户行为信息

1.1 硬件能力

1.2 软件能力

1.3 数据权限

1.4 用户输入

2. 目前主流的数据埋点技术

2.1 手动埋点

2.2 半自动

2.3 全自动埋点

3. 目前主流的数据上报技术

3.1 客户端主动上报

3.2 服务端获取信息

4. 基本的识别分析方法

4.1 设备唯一性

4.2 用户唯一性

4.3 用户行为分析

5. 主流的统计平台及工具

5.1 数据分析平台

5.2 行业分析报告

5.3 自建数据平台的利弊

1. 网站或应用能采集哪些用户行为

若要了解我们会暴露哪些数据，首先要知道我们的“敌人”有哪些能力。我将其分为四部分来讲，其中数据权限也算是软件能力的一种，差别在于需要用户的授权才能拿到。许多硬件能力也都是要用户授权使用的，只是有时候授权的提示过于复杂，容易混淆视听，不小心授权了你完全不理解的东西。

1.1 硬件能力

硬件能力包括设备能做的一切事情，这里的设备，可以是个人电脑、服务器、智能手机，以及其他智能设备等。那么，以个人电脑为例，它可以联网、办公、打游戏等等。用户的所有行为，都可能被记录，并通过网络发送到远程的某台服务器进行分析，这个大家是知道的。

如果是智能设备，能做的就更多了。比如摄像头、麦克风、陀螺仪、GPS、NFC 、蓝牙、WiFi 等等，都是硬件提供的能力。有了硬件基础，软件才能通过驱动程序获取这些硬件提供的信息，进入下一步的处理逻辑。

常见的智能设备有：手机、笔记本、iPad、ATM、自动售货机、快递柜、智能家居、智能水杯、智能手环，智能汽车等等。那么你可以思考一下，这些设备平时都具有哪些能力，可能采集你的什么信息？

1.2 软件能力

硬件基础为软件提供了基础能力，比如计算能力、存储空间、联网能力等等。智能设备中的软件也可以操作摄像头、麦克风等，甚至是在用户不知情的情况下开启，比如：前段时间某 APP 偷偷打开用户摄像头暴露的事件。

我们也会在影视作品中看到用户电脑或手机被黑客攻击之后，摄像头被偷偷打开，记录了用户的隐私影响，并以此要挟用户的事件。再如美剧《CSI 网络犯罪调查》中，黑客通过黑进用户的网络摄像头，长期观察用户日常生活习惯，终于找到机会在父母不知情的情况下，偷走了摄像头中的宝宝。这些，都是软件能力的体现。