“嵌入点是互联网获取数据的基础。数据采集系统是提高埋设点效率、保障埋设点规范和数据质量的利器。”

填补方法在网络上可以说是更常见的技术。 如果大到BAT，小到创业公司，没有填补的地方，数据源的大壁江山几乎都会丢失。 本文简要介绍了嵌入点的概要和数据采集系统。

01

–

什么是嵌入点

埋没点是用于捕获、处理和发送特定用户行为和事件的相关技术及其实现过程。 例如，用户点击了某个按钮，浏览了某个页面等。

刚入行的孩子问：“为什么必须填？ a )是为了获取数据。 也就是说，获取某个用户在何时、何地进行了哪些操作。 仔细想想。 如果不填充点，当用户单击前台的按钮时，怎么知道用户单击了？

有点技术背景的孩子们又说：“我点击某个按钮，网站不是一次就收到请求，而是从后台知道的吧？ 那我为什么要埋？ a )因为不是所有操作后台都可以接收请求，所以为了方便用户使用，许多网站页面一次请求并加载了很多内容。 其中的标签切换等本来就没有请求服务器，所以会漏掉数据。 不用说APP端，很多都是本地页面，页面被贴上了，没有向网络请求。

所以，如果有服务器和被要求的数据，不是就不用填充了吗？ 哈哈，这里引出了嵌入点的分类。前端埋点和后端埋点

前端嵌入点是指，如上所述，在网站的前端或APP中嵌入JS码或SDK，每当用户采取特定的行动时，都会收集这样的日志，并定期发送给服务器，从而实现前端的用户行为为什么叫“填充点”？ 那是因为将一段取码嵌入到各目标位置，形象化后被称为埋点。 前端嵌入工作量很大，例如页面上有20个按钮，通常需要每个按钮嵌入代码。 有些网站有几千页，嵌入代码会很累。

在后端填充点实际上是一种与服务器请求、交互的数据类型。 这样做不需要在前端填充积分，只需要在服务器上记录用户的每次请求即可。 例如，用户在电子商务网站上发生的搜索行为总是在每次输入关键字进行搜索时请求后端。 否则，得不到搜索结果。 这种情况下，只要记录每次服务端要求的内容、时间、人物等信息即可。 工作量比前端埋码小很多。

当然，朋友会问，那是不是例如我在搜索页面上输入了关键字但没有搜索到，如果是后端嵌入点就无法记录？ 你说得对。 但是，这样的数据一般很少，不需要为此数据创建前端嵌入点。 毕竟，后端嵌入点的实施比前端容易得多。 当然，如果要具体分析情况，使其真正精细化运营，用户即使只是一点点行为也需要进行统计，但需要衡量性价比。

本文主要想谈谈数据采集系统，关于如何进行嵌入点的设计、嵌入点的实施，以及各种嵌入点事件模型的介绍，涉及的内容还很多，在此暂不展开，待会再找时间深入共享

02

–

什么是数据收集系统

通常，埋设点的设计和实施都是人工进行的。 数据广告负责整理垃圾填埋场的需求，设计垃圾填埋场的规则，研发负责垃圾填埋场的落地。

但是，如前所述，填补要点的工作量巨大、重复内容多，肯定不是高效的方法。 更重要的是，填充完毕的点、收集的数据进行一系列的数据清洗、数据加工、数据开发，生产业务负责人想看的报告和报告。 这是一条很长的数据链。

数据收集系统应运而生。

其实现在市面上的数据收集系统还很多，很多网站都提供免费的数据收集服务。 例如谷歌的谷歌分析、百度统计、友会等。 本质上是数据收集系统。 以下是百度统计的截图：

GA善于收集网络方面的内容，友爱会集中在APP方面。

这些网站的核心原理是提供js(web端)或SDK (app端)，用户可以将此代码嵌入到自己的网站中，并在GA或百度统计中注册，以查看数据的各种表示形式。

只要没有个性嵌入点的需求，比如特别的按钮和特别的操作也想采集等，简单地在网站上进行全部嵌入点就可以了。

可见，该平台不仅大大节约了填充点的工作量，同时还节约了大量的数据处理、加工工作，拥有现成的可视化分析模块，非常方便。 下图：

得到的东西一定会失去。 你失去了什么？ 数据的安全性没有保障。 为什么？ 你嵌入第三方网站的JS和SDK本质上是收集了用户在前端的行为，并发送到了第三方服务器，所以你网站用户的情况，本质上是第三方网站很清楚。

另外，第三方平台正在收集流量相关内容，成交、搜索等后端相关内容是第三方，除非公司自身转发到第三方网站

网站是无法分析这部分内容的，对于分析的全面性来讲，是缺失的。然而，免费的使用，不香吗？这事情看如何衡量了。

但是，对于大厂，数据采集系统一般走向了自研的道路。

03

—

数据采集系统都包括哪些模块

所以，通常一个数据采集系统都包括了哪些模块呢？

（1）数据采集模块

这部分主要完成数据采集的各种配置，主要包括：站点接入、埋点申请、埋点方案等模块

（2）数据管理模块

这部分主要对采集的数据进行宏观管理。包括站点的管理、事件的管理等。

（3）统计分析模块

这部分主要是进行各种维度的流量数据分析。很多内容其实和BI分析系统有重叠，比如流量路径分析、留存分析、归因分析等等。还有很多基础的监控报表。

（4）采集监控模块

这部分主要是对采集的工程进行监控。

●用Pandas秒秒钟搞定24张Excel报表！

●10大Python数据可视化库！

后台回复“入群”即可加入小z数据干货交流群