当前位置: >
什么是大数据架构?
  • 发表时间:2019-04-22 点击数:1
  • 来源:未知

      大数据 架构是用于摄取和处理大量数据(通常称为大数据”)的总体系统,因此可 以针对业务目的进行分析。该架构 可视为基于组织业务需求的大数据qq彩票登录平台的蓝图。大数据 架构旨在处理以下类型的工作:

  QQ截图20190422151921

  批量处理大数据源。

  实时处理大数据。

  预测分析和机器学习。

  精心设 计的大数据架构可以节省企业资金,并帮助 其预测未来趋势,从而做 出明智的业务决策。

  大数据架构的好处

  可用于 分析的数据量每天都在增长。而且,流媒体 资源比以往更多,其中包括流量传感器、健康传感器、事务日 志和活动日志中提供的数据。但拥有 数据只是业务成功的一半。企业还 需要能够理解数据,并及时 使用它来影响关键决策。使用大 数据架构可以帮助企业节省资金并做出关键决策,其中包括:

  降低成本。在存储大量数据时,hadoop和基于 云计算的分析等大数据技术可以显著地降低成本。

  做出更快、更好的决策。使用大 数据架构的流组件,企业可 以实时做出决策。

  预测未 来需求并创建新产品。大数据 可以帮助企业衡量客户需求并使用分析预测未来趋势。

  大数据架构的挑战

  如果做得好,大数据 架构可以为企业节省资金,并帮助 预测重要的趋势,但它并非没有挑战。在处理大数据时,需要注意以下问题:

  (1)数据质量

  无论何 时使用各种数据源,数据质 量都是一项挑战。这意味 着企业需要做的工作是确保数据格式匹配,并且没 有重复数据或缺少数据将会使分析不可靠。企业需 要先分析和准备数据,然后才 能将其与其他数据一起进行分析。

  (2)扩展

  大数据 的价值在于其数量。但是,这也可 能成为一个重要问题。如果企 业尚未设计架构以进行扩展,则可能 会很快遇到问题。首先,如果企 业不计划支持基础设施,那么支 持基础设施的成本就会增加。这可能 会给企业的预算带来负担。其次,如果企 业不打算进行扩展,那么其 性能可能会显著下降。这两个 问题都应该在构建大数据架构的规划阶段得到解决。

  (3)安全性

  虽然大 数据可以为企业提供对数据的深入了解,但保护 这些数据仍然具有挑战性。欺诈者 和黑客可能对企业的数据很感兴趣,他们可 能会尝试添加自己的伪造数据或浏览企业的数据以获取敏感信息。网络犯 罪分子可以制作数据并将其引入其数据湖。例如,假设企 业跟踪网站点击次数以发现流量中的异常模式,并在其 网站上查找犯罪活动,网络犯 罪分子可以渗透企业的系统,在企业 的大数据中可以找到大量的敏感信息,如果企 业没有保护周边环境,加密数 据并努力匿名化数据以移除敏感信息的话,网络犯 罪分子可能会挖掘其数据以获取这些信息。

  大数据 架构因公司的基础设施和需求而异,但通常包含以下组件:

  数据源。大数据 架构都从源代码开始。这可以 包括来自数据库的数据、来自实时源(如物联网设备)的数据,以及从应用程序(Windows日志)生成的静态文件。

  实时消息接收。如果有实时源,则需要 在架构中构建一种机制来摄取数据。

  数据存储。企业需 要存储将通过大数据架构处理的数据。通常,数据将 存储在数据湖中,这是一 个可以轻松扩展的大型非结构化数据库。

  批处理 和实时处理的组合。企业需 要同时处理实时数据和静态数据,因此应 在大数据架构中内置批量和实时处理的组合。这是因 为可以使用批处理有效地处理大量数据,而实时 数据需要立即处理才能带来价值。批处理 涉及到长时间运行的作业,用于筛选、聚合和 准备数据进行分析。

  分析数据存储。准备好 要分析的数据后,需要将 它们放在一个位置,以便对 整个数据集进行分析。分析数 据存储的重要性在于,企业的 所有数据都集中在一个位置,因此其 分析将是全面的,并且针 对分析而非事务进行了优化。这可能 采取基于云计算的数据仓库或关系数据库的形式,具体取 决于企业的需求。

  分析或报告工具。在摄取 和处理各种数据源之后,企业需 要包含一个分析数据的工具。通常,企业将使用BI(商业智能)工具来完成这项工作,并且可 能需要数据科学家来探索数据。

  自动化。通过这 些不同的系统移动数据需要通常以某种形式的自动化进行编排。数据的摄取和转换、批量移动和流处理,将其加 载到分析数据存储,最后获 得洞察力必须在可重复的工作流程中,以便企 业可以不断从大数据中获取洞察力。

   来源:企业网D1Net

友情链接:    787彩票平台   中国官方彩票   787彩票官方网站   a8彩票网