数据产品三部曲：数据产品的前世（1）

笔者从企业信息化的发展历程开始盘点，从决策支持系统讲到商业智能，再讲到数据产品是如何诞生的。

这篇文章第一次外发是在2017年左右，当时这个系列确实写完了，因为受到某些影响这个系列只发了一篇文章后续的都没有对分享过。这次计划这段把这个文章重新整理完并分享出来。

作者开始搞数据产品是从09年开始搞数据产品，这些年七七八八的搞了一堆含内部工具类型、偏用户性质数据产品、还有平台级数据产品。 这次分享这个文章是按照面向内部视角的数据产品维度去写的。

一、数据价值的传承

自1954年计算机用于工资处理以后，一直到2016年的今天，企业在信息化处理上得到了长足的发展。

在这个发展中经历过了数据处理系统、Mis管理系统、决策支持、商业智能。企业的信息化程度随着时代的变迁已经发生了犹如阿波罗登月般的翻天覆地变化。

1. 决策支持系统

Dss决策支持系统是建立在对传统企业历史数据集成基础上的数据探索应用，（备注决策支持系统发展此处不再叙述，感兴趣的读者可以自行查询）自从数据仓库的出现给对企业的决策支持注入了新的活力，发展到现在的互联网、移动互联网对数据的应用又是一个崭新阶段。

不管是在哪个时代的企业高层都要做一项决策，其困难度也是不同的——

在20世纪60年到70年，决策中往往是需要查询多种异构数据源的业务系统、参考外部的数据，进行大量的数据分析后才能做出相关的决策来。

而进入到20世纪80年代后，随着计算机技术发展、各类数据统计分析的工具逐步健全，尤其是数据仓库的技术发展给传统企业的决策支持系统带来了更大的便利性。

2. 商业智能

传统企业更多地是围绕着日常经营去做经营分析，比如财务绩效状况、资产运营状况、偿债能力状况、发展能力状况等。

像前系列文章“我所经历的大数据平台史”提到数据平台的发展史与用户的演进，在传统企业前几代数据平台上支撑的是商业智能，辅助业务经营决策，为公司高层提供决策。其主要是支持企业的分析人员、管理人员、从多个维度进行信息的快速分析。

商业智能（Business Intelligence，简称BI）的概念最早是Gartner Group 的 Howard Dresner在1996 年提出来，传到国内有将之翻译为”商业智能”或”商务智能”。

商业智能的应用领域典型电信、银行、保险、零售等，所有建立了数据仓库的企业其商业智能建设的主要目标是企业决策支持。

商业智能通过对信息技术的运用在不同层面为战略、决策提供新的支持：提升决策者洞察力以及支持信息获取与分析。

在传统企业的商业智能时代，我个人对其的认识是商业智能本来是把数据分析和统计运算的结果以多角度的方式存储，然后在OLAP、Report平台上形成一个个面向不同业务需要的数据集市以可视化的展现，让公司的管理层可以通过看及时和合适方式展示出来的信息来决策，让基层可以用统计运算后的数据进行经营分析与企业日常运作。

这种方式的核心是Bill Inmon 、Ralph Kimball的数据仓库Data Warehouse与Codd创造OLAP一词，E.F.Codd发明了在线分析处理（OLAP）一词，来表示多维分所结合的模式，为客户提供OLAP 平台，通过开发一些Report、Dashboard，后台通过ETL 自动刷新数据。

其中ETL工具在当时使用的是Datastage、Informatica、微软Dts或自己开发的脚本等系列来做数据的清洗、转换、加载；而OLAP 平台基本上为BO、Congos、Oracle 等几家的OLAP引擎与报表设计平台。

在数据仓库 Data warehouse 中大家可以看到DW层为存储、管理数据设计的模型、数据集市中为 OLAP 而设计的模型。

其中数据集市的数据就是数据仓库各层的数据Join与Aggregate的数据集合。

传统的数据团队的困惑在盲目地跟着需求开发，导致开发成果无法确认是否有用、够用，也无法避免无休止的需求变更，导致系统开发成本高、周期长、失败率居高不下。

这样的数据平台最大的特点是庞大，初次使用感觉功能非常新鲜，但是在面对具体需求时使用起来难用，无法真正的解决问题。根本没有系统化、产品化，只是一堆数据的堆砌，僵死的报表或cube 开发、设计与开发与业务脱节非常严重，没有任何衔接可言。

随着时间的发展，业界听到的BI的声音越来越少了，反而是对探索数据的价值的数据分析、数据挖掘独立的声音出现——因为早期传统企业的BI在这件上非常吃力，在过去只是简单从不同角度的堆积数据看统计指标已经不适应决策要看原因，要看影响的程度，执行层面要根据数据分析、挖掘精确来执行。