汽车行业BI解决方案

BI系统解决方案
　　在**汽车俱乐部BI系统解决方案中，首先着重解决营业信息系统中数据疏散、重叠问题。因此，系统解决方案着重针对营业信息系统中，数据整合的解决方案举行详细说明，以案例的形式举行实例剖析。
       1、 数据整合 **汽车俱乐部的数据源系统泉源于Portrait、GPS、IPCC、Mis等多个系统而不是来自于单独系统，当把这些数据导入到数据堆栈举行剖析的时间，由于多个系统的存在从而使得有大量数据泛起重合的征象，这样在对数据堆栈的数据举行剖析（报表剖析）的时间会导致严重问题。最常见的是维度表信息的冗余，影响了报表的展现效果。
       针对俱乐部系统的现实问题，我们设计的解决方案是在数据源系统（Source System，简称SS）和数据堆栈（Data Warehouse，简称DW）的ETL处置惩罚历程中心，引入操作数据库（Operational Data System，简称ODS）。操作数据库ODS的作用：在多个源系统的数据统一导入到ODS中举行整合，然后将整合之后，周全而非冗余的数据原样复制到DW中。这样就在DW中就可以获得所需的完整而非冗余的数据，同时也在SS和DW之间形成数据缓冲，屏障了数据映射的要领和历程。
        方案的总体架构如下图所示。在本方案中，SS是由多个源系统组成，而ODS和DW均为唯一自力的系统，其中数据的抽取可以凭据数据量，及营业对数据的时间粒度需求。接纳全量抽取、一样平常更新抽取或二者联合的方式。

1. 1.1方案概述
        1) 从SS到ODS历程中ETL设计方案
在数据从SS抽取到ODS的历程中，ETL流程的作用就是将SS**样的数据导入到ODS中，并附加上源系统的相关信息（如泉源于哪个源系统，）、抽取时间等信息，这些信息都是通过在原有的SS数据结构的基础上增添一些字段来在ODS系统中记载。
        2) ODS系统中数据处置惩罚
当将数据从SS原样导入到ODS之后，会泛起多张表同时表现某个统一维度的问题（其中是由于差别的系统，如Portrait、MIS等系统，都有自己维度，而在SS到ODS的历程中数据的抽取方式是原样抽取，这样就会造成多个系统会有多张表在ODS中），而这些信息是有冗余、不齐整的。对于这类问题的解决方案就是精简掉冗余的信息，将数据不齐整之处由各个系统的相关信息来举行互补。在这个阶段中，需要把统一维度的信息都整合到统一张表中，而这张表的数据内容都是经由ETL程序来举行处置惩罚。根据营业逻辑，所有数据以并不冗余的方式存储，也就是说某条数据在表中只存在一条对应的记载。通过这样的处置惩罚，ODS系统为DW提供了唯一的维度表接口并可以直接引用。
其中维度表与事实表的详细实现方式，如下：
         维度表
        在维度表的整合历程中，一张Mapping表则是首先需要组成的。这张表的作用是唯一标识从多个源系统抽取过来的数据记载的对应关系：是否表现统一信息（维度内容），也就是说，这张Mapping表确定了多个系统过来的信息是否存在冗余，冗余的水平怎样；对于冗余的信息，则通过Mapping表的相关内容处置惩罚成为单一而完整的数据记载，这样保证了信息的唯一性。而对于信息冗余的规则，则是需要营业部门来举行界说，也就是说营业部门需要凭据原始数据的信息情形来制订冗余规则，如哪些记载的是重合的，并提供处置惩罚以后完整的数据信息，这些都要在Mapping表中体现出来。
Mapping表在整个维度表处置惩罚历程中处于一个很是要害的位置，需要BI系统开发方提供表结构，同时也需要营业部门提供相关内容，二者通力互助形成。
         事实表
        我们在处置惩罚完维度表（包罗天生维度表，并天生新的ODS 的System id）之后，将事实表的相关维度信息举行更新。通过这次ETL流程，事实表中的维度信息更新为ODS系统中经由处置惩罚后而获得的完整且并不冗余的维度信息，这样保证维度与事实信息的一致性。 在经由以上处置惩罚之后的维度，存储在ODS的对应表中，并重新天生System id，作为数据堆栈DW的唯一完整数据源。
        3) 从ODS到DW历程中数据抽取方案 这个历程无论是维度表照旧事实表的数据，都将直接原样的把ODS中最新的维度表和事实表数据抽取到DW中。

 1/3    1 2 3 下一页 尾页