大数据在智能交通职业的运用 上海逸迅信息科技有限公司 智能交通是国家“十二五”要点规划 “十二五”规划中明确指出，将大力推动交通信息化建造，大力开展智能交通， 进步交通运送的现代化水平。 “十二五”期间，国家将对智能交通投入超越1000亿元，其间城市智能交通投入 到达450亿元，估计到2015-2020年，智能交通给相关职业带来的商机将超越 1000亿元。 “十二五”规划智能交通投入 ? 估计未来5年内，我国将在 200个以上的大中型城市树立 城市交通指挥中心。 ? 其间，城市智能交通出资约 450亿元人民币，高速公路智 能交通体系出资约350亿元人 民币，其它智能交通体系出资 大约300亿元人民币。 单位：亿元 数据来历：《交通运送“十二五”开展规划》 智能交通工业开展现状 城市智能交通市场规划猜测 ? 城市智能交通职业“十二五”期间 估计均匀增速30%， ? 东部滨海城市的智能交通体系现已 初具规划，智能交通建造除硬件系 统进一步进步掩盖和功用晋级外逐 步向软件体系晋级和信息服务方向 过渡。 城市智能交通市场规划猜测 ? 中西部区域是城市化发展最快的地 区，新城市区的呈现带来了对智能 交通体系的激烈需求，遍及采纳的 “一步到位”的建造方法催生了大 批千万级全体解决计划项目的呈现。 ? 职业全体处于天真期向成长期的过 渡阶段职业需求增加显着。 智能交通与大数据 大数据，4个V 职业大数据，EB等级 运营类 电信话单 金融细账 金融收据 电力调度 智能电网 结构化为主 互联网大数据 专业类 音视频 地震勘探 气候云图 卫星遥感 雷达数据 物联网 电信信令 非结构为主 10%结构化 30%半结构化 60%非结构化 价值密度 结构化 半结构化 非结构化 办理类 文件 报表 邮件 剖析陈述 猜测陈述 结构化 +半结构化 监管类 公安网监 国安技侦 舆情监控 银监会稽察 食物溯源 环保监测 结构化 +半结构化 大数据技能可以运用于交通卡口视频和图片数据的实时搜集、存储、剖析、分类、 查询，可以供给比以往更快、更精确地剖析、猜测交通状况，并对可以影响杂乱 交通的潜在要素进行新的洞悉。 不断增加的数据带来的应战 应战 数据存储 ? 可以满意横向扩展要求，存储PB等级的数据 怎么存储大体量的数据 并从中获取想要的信息 ? 在大型智能交通运用中供给散布式数据中心 ? 满意数据快速容灾要求 体系吞吐 ? 图片和视频的并行传输带来了更高的体系I/0要求 ? 体系的I/O有必要可横向扩展 其他 结构化数据330TB 实时处理 ? 实时核算、监控告警 ? 互动查找 图片 1PB 视频 1.5PB 某二线台摄像机数据，每月数据) 模式辨认 ? 对很多历史数据的剖析处理要求 ? 需求一个并行处理数据的核算结构 大数据处理的需求和特色 新一代体系的建造需求 ? 增量式的、简直无限的 扩展 散布式 资源会集 核算和存 储散布 扩展性 传统渠道 纵向扩展 大数据渠道 横向扩展 扩展性 可用性 ? 要求体系总是在线运转 可用性 单份数据 数据仿制 灵敏性 ? 灵敏可动态改动的数据 模型 共同性 ? 数据终究共同 传统数据存储计划剖析 联系数据库集群+NAS存储计划 ? 将卡口文本、图片数据别离存储：用联系数据库 体系架构 集群（多节点）存储卡口文本数据，并支撑对数 据进行检索核算；用 NAS 会集存储（多节点） 技能来存储海量图片数据。 ? 文本数据存储：运用 Share Nothing 架构的智 能存储层，将数据库查询下移散布到存储层的各 个节点（具有核算才能），然后再将查询中心结 果汇总到数据库节点。 ? 图画数据存储：摄像头拍照的图画经工控机处理 优下风剖析 ? 优势：1、用依据传统联系型数据库的OLAP和 数据发掘运用相对比较老练2、上层的兼容性好。 ? 下风：1、集群规划受限（联系型数据库集群的 扩展才能有限）；2、需求购买NAS作为图片 存储，价格昂贵，NAS存储的扩展在PB现已出 现瓶颈。 后，图片与文本数据上传至中心体系，中心体系 的图画处理服务器经过核算处理后，将图画以文 件的 方法存储到磁盘阵列上；然后图画处理服务 器再将恳求发送给中心事务运用服务器，由事务 运用履行相应的事务逻辑处理，将元数据以及图 像的文件方位信息记录到联系数据库中。 大数据智能存储剖析计划剖析 依据Hadoop的海量数据存储计划 ? 选用依据Hadoop的海量数据存储计划，一起提 体系架构 供针对不同运用的数据实时剖析和查询功用。 ? 文本数据存储：文本类数据首要包含车牌、日期、 地址、色彩、车型、违法行为剖析成果、交通事 件辨认成果等。采纳散布式索引技能，完成海量 数 据状况下的全文检索在内的简略索引以及支撑 散布式检索集群检索技能；一起支撑联系型索引， 完成规范SQL 在内的杂乱查询需求 和面向运用 的各类优化。 优下风剖析 ? 优势：1、体系可扩展性强，2、会集I/O和性 能可线、跨数据中心大表，便于数据的统一办理 ? 下风：1、技能运用尚待时刻的查验 ? 图画数据存储：图画类数据首要指 50-500KB 的 图片文件数据（非结构化数据），选用依据 Hadoop/HBase/Lucene 的海量数据目标存储技 术，选用彻底扁平化的目标存储结构，扔掉了传 统文件体系的目录结构。 构建智能交通一站式云渠道 过车剖析 智能监控 智能防地 数据发掘 行车指引 办理体系 运用 展现 数据 查询 数据 剖析 智能 感知 根底查询 高档查询 轨道剖析 套牌剖析 行车反常 超速违章 磕碰剖析 OD核算 趋势剖析 信号调优 是非名单 告警办理 车牌剖析 流量剖析 是非名单 路途拥塞 报表办理 权限办理 运用 渠道 三废预算 车控制剖析 使命办理 监控办理 Mahout Sqoop 数据 存储 HBase HDFS 剖析 东西 MapReduce Hive 发掘东西 数据接口 数据 渠道 GIS体系 机动车挂号 体系 指挥调度系 统 GPS数据搜集 体系 其他 外部 体系 技能创新点 海量非结构化数据存储技能 视频、图片智能剖析散布式核算调度及结构 散布式、高功用数据库（在线实时查询） 图画处理、剖析、分类技能 依据语义的散布式视频查找技能 多维度数据叠加描绘技能 大数据智能交通运用介绍 海量数据存储 智能交通体系实时监控城市的交 通状况，将各个路口的车辆实时 抓拍数据传输到大数据云渠道进 行长期数据存储 实时数据查询 智能交通云渠道 智能数据剖析 经过大数据云渠道可实时掌控任 一车辆的行进，运转轨道、剖析 车辆是否违章 大数据云渠道对海量的交通信息 进行比对、剖析和猜测，为车辆 出行供给最优途径规划、交通管 理服务、刑侦剖析、模式辨认 即席查询 ? 在1PB的过车和图片数据中查询恣意车辆在恣意时刻点的过车信息，体系在 1S内回来查询成果。 卡口信 息查询 车牌信 息查询 区域信 息查询 路况监控 路途拥堵状况展现 ? 依据两个卡口之间的均匀车 速（两卡口即时车速的均匀 值），核算当时路途的拥堵 状况 ? 经过红、橙、黄、绿四种颜 色标识拥堵状况 拥堵 疏通 路况 区域拥堵状况展现 ? 依据卡口过车的实时速 率成区域测绘 ? 经过红、橙、黄、绿四 种色彩标识拥堵状况 拥堵 疏通 车辆长途监控调度 卡车调度： ? 为货运企业供给车辆方位、车载 状况、运送状况等的信息服务 ? 对车辆进行实时调度进步运送效 率。 安全监控： ? 使政府监管部门对危险品运送 把握危险品运送车辆的数量、 进行安全健康和办理 ? 方位、路途，及时发现反常状况 并帮忙快速施救 磕碰剖析 ? ? 剖析要求：剖析在某两个特定的时刻点在某区域A和区域B都呈现的车辆，经过散布式核算结构，实时 的进行很多过车数据比对。 例如上海最近产生多起偷盗，刑警侦办后确以为同一伙响马所为，A区案子一般产生在早上，B区案子 一般产生在下午，差人在A、B两区确认以某点为中心的半径2公里的区域为案子多发区，进行磕碰分 析，剖析成果输出上午在A区域内，下午在B区域内呈现的车辆 游览时刻剖析 依据车辆GPS数据的游览时刻剖析体系，可以用于进行城市 路途拥堵剖析、为大众供给行车路途规划等。 数据搜集 数据处理 车辆大数据剖析体系 GIS地图模块 数据发布 车辆数 据搜集 模块 交通信息网 站 GPS 数据 ? ? 车速核算模块 游览时 间数据 手机运用客 户端 GIS地图模块 ? 将GPS数据映射到正确的路段 车速核算模块 ? 导出依据GPS数据核算得出的行车 速度 ? 依据构成速度调集GIS数据预算用 户在两点之间的游览时刻 智能交通卡口运用展现 智能交通大数据一体机 预装智能交通云渠道软件 类型 8800S 最多支撑14块可插拔的刀片 支撑两个可热插拔的万兆以太网交换机 可支撑InfiniBand 机框 7U（12.1“ x 18.5” x 29“） 四个热插拔2500W电源，N 1冗余 Processor Blade 核算刀片 双路 E5-2650 v2 可晋级至4路 128G DDR3 （16X240-pin DDR3 DIMM ） 2*2T SATA （2 x 2.5“ Hot-swap HDD Bays） Storage Blade 存储刀片 单路/双路 E5-2600 v2 16 DDR3 （16X240-pin DDR3 DIMM ） 6*2T SATA（6x 2.5“ Hot-swap HDD Bays） ? 高密度 ? 扩展性 最高14刀 可堆叠 ? 高可用 ? 灵敏性 要害部件冗余 核算和存储刀 片按需装备