大数据基础套件(鲁班)

百度基于多年技术积累沉淀,传承精雕细琢的工匠精神,推出大数据基础套件(鲁班),帮助企业迈进数据智能和人工智能的新时代。

联系我们

方案概述

鲁班是百度提供的面向大数据分析处理的基础套件。主要提供数据仓库、日志分析和数据挖掘服务,另外还包括相应的一些基础服务。鲁班底层依赖由计算和存储构成的基础设施服务,可以运行在私有云、公有云和混合云的基础设施环境,同样我们也提供一体机的解决方案。

方案架构

方案构成

  • 百度大数据传输Minos

    提供通用的大数据传输服务,负责进行各种异构介质间的数据传输,例如MySQL、HDFS、Kafka、LocalFileSystem等等。业务方可以通过Minos收集这些数据,供离线和在线系统分析使用,从而充分发挥大数据的价值。

    了解详情
  • 百度离线处理Pingo

    Pingo是统一的批量和流式数据处理系统。它在弹性计算资源管理和优化的数据访问管理层之上,运行优化的Spark计算引擎,提供SQL分析和DataFrame API,支持低延时的流式数据加工和处理,对外提供REST Service任务执行接口。

    了解详情
  • 百度数据仓库Palo

    全托管的PB级别的MPP架构数据仓库服务,以较低的成本提供在大数据集上的多维分析和报表查询功能。ETL后的结构化数据导入到Palo中,便可以使用业界主流的BI工具进行实时分析和可视化展示,探索数据价值。

    了解详情
  • 百度Elasticsearch

    百度Elasticsearch是开源的全文检索和分析引擎Elasticsearch的托管服务,提供自动运维和调优,减少客户自行管理基础设施的开销,并完全兼容开源接口,便于您现有业务零成本迁移。

    了解详情
  • 百度在线计算IntelliS

    一站式大数据在线智能计算平台,助力用户快速搭建模型预测服务、在线特征计算、在线数据服务等。支持HDFS、KV数据库SimpleDB、图数据库GraphDB等多种数据源,帮用户实现从原始数据源到在线集群查询的全流程服务。

    了解详情
  • 百度大数据可视化Habo

    Habo是一站式的大数据商业智能可视化平台,它集成了多人协作、数据探查、交互式的可视化分析和灵活的作业调度等功能,帮助用户更快、更好的探索海量数据中隐藏的商业价值。

    了解详情

场景化解决方案

  • 数据仓库

    提供一站式数据存储、处理、分析和可视化的大数据平台服务,内嵌Apache Spark计算框架和Impala的MPP高性能查询引擎,无需经过繁琐的数据ETL/ELT过程,就可以通过一个简单易用方式,进行数据访问、加工处理、探查分析和数据可视化。

    了解详情
  • 日志分析

    提供完整的日志分析解决方案,覆盖日志收集、存储、分析、可视化展现等环节,能够快速的将存储在不同系统中的日志数据,转化为可以被搜索的事件,帮助企业在统一的系统中快速实现运维监控、危险预警、安全审计、故障排查等业务目标。

    了解详情
  • 数据挖掘

    内置数据预处理、特征工程,支持机器学习和深度学习等丰富的高层算法和框架,集成知识图谱、用户画像、个性化推荐等功能,覆盖模型训练、预测和部署的全流程。提供一站式、交互式、可视化的数据挖掘解决方案。

    了解详情

应用场景

  • 报表平台搭建

    Habo底层支持多种数据源,并提供种类繁多的可视化图表,提供了从数据源到报表转化的能力,方便用户快速构建报表平台。

  • 文本检索

    文本检索助力企业快速简便地实现对于非结构化数据的搜索功能。在大数据时代,百度提供了私有化及云端的文本检索解决方案,为企业搭建文本检索系统提供指南。

  • 实时特征计算

    通过IntelliS助力企业便捷地实现在线的数据特征抽取、Join等计算服务,使企业聚焦于计算逻辑研发,省去部署、运维及服务化的成本,从而快速实现商业目标。

  • 在线模型预测

    IntelliS内置多种深度学习模型,便捷的版本管理机制,便于企业快速实现在线预测服务,高效地版本迭代,从而快速实现商业价值最大化。

  • 数据库同步

    企业借助Minos,可以轻松实现各种异构介质间的数据传输,以及MySQL等数据库与HIVE或者其他的MPP数据仓库的实时同步。

  • 智能运维

    通过日志分析解决方案可以将散落在数千台机器上的日志集中整合,通过强大的查询语言快速的定位故障,更快的解决问题,缩短业务不可用时间,有效的提升服务质量。

  • 业务分析

    借助日志分析解决方案,企业可以基于用户访问日志及业务流程日志的采集及分析,更加清晰的了解用户行为特征,更加全面的掌握业务运营状况,构建用户及业务模型,科学把握业务发展方向。

  • 模型开发

    借助数据挖掘解决方案,企业可以在特征库中选择所需的特征,尝试不同的模型,并观察模型的评估结果,支持期间频繁增减特征,调整模型参数,多个版本之间对比,最终选择最优模型。

QQ群:650596829