百度大数据传输Minos

异构介质间数据传输神器,打通企业大数据孤岛,为大数据处理和分析奠定坚实基础,助力大数据价值挖掘。

联系我们

产品概述

随着业务的发展,企业数据分布在数据库、消息队列、本地存储等各种介质上,Minos提供通用的大数据传输服务,负责进行各种异构介质间的数据传输,例如MySQL、HDFS、Kafka、LocalFileSystem等等。业务方可以通过Minos收集这些数据,供离线和在线系统分析使用,从而充分发挥大数据的价值。

产品功能

  • 多源采集与多目的端存储

    从多种数据源向多种目的端传输,插件模式提高传输介质接入的便捷性。

  • 多传输模式支持

    广泛支持批量、流式以及实时的多种数据传输模式。

  • 本地计算支持

    支持数据过滤、抽取,并提供丰富的本地计算函数库。

  • 一站式管理

    提供统一管理平台,进行日志创建与管理,可以同时监控多个数据传输的状态。

产品架构

产品优势

  • 传输介质多样性

    通过一个系统可以方便的进行多种介质间数据传输,降低数据中转的开发、维护成本,保障传输效率。

  • 传输模式丰富性

    除了支持批量和流式的传输,用户还可以通过本系统直接订阅源端数据,满足实时计算的需求,减少数据传输中的消息队列,从而降低数据中转的额外开销。

  • 传输可管理性

    所有的传输agent由master统一管理,多master情况下由center master进行传输流的分配。用户可以通过页面查看各个数据源和数据流的执行情况,可以动态的修改配置。

应用场景

  • 日志传输

    业务平台每天产生大量的日志数据,可以借助Minos,将这些数据传输到HDFS或者消息队列等进行批量或者实时的计算。

  • 数据库同步

    业务方可以借助Minos,实现MySQL数据与HIVE或者其他的MPP数据仓库的实时同步。

客户案例

  • 百度公司内部大部分产品线使用Minos作为日志传输的基础工具,目前服务于上百个产品线,每天有效日志传输流超千份,每天传输的数据超P级。
  • 某银行借助Minos每天实现实时数据同步,将MySQL组织的业务数据同步传输到Hbase、Greenplum,进行数据分析以实现风险控制,为某银行的个性化金融服务提供坚实的数据基础。
QQ群:650596829