异构介质间数据传输神器,打通企业大数据孤岛,为大数据处理和分析奠定坚实基础,助力大数据价值挖掘。
从多种数据源向多种目的端传输,插件模式提高传输介质接入的便捷性。
广泛支持批量、流式以及实时的多种数据传输模式。
支持数据过滤、抽取,并提供丰富的本地计算函数库。
提供统一管理平台,进行日志创建与管理,可以同时监控多个数据传输的状态。
通过一个系统可以方便的进行多种介质间数据传输,降低数据中转的开发、维护成本,保障传输效率。
除了支持批量和流式的传输,用户还可以通过本系统直接订阅源端数据,满足实时计算的需求,减少数据传输中的消息队列,从而降低数据中转的额外开销。
所有的传输agent由master统一管理,多master情况下由center master进行传输流的分配。用户可以通过页面查看各个数据源和数据流的执行情况,可以动态的修改配置。
业务平台每天产生大量的日志数据,可以借助Minos,将这些数据传输到HDFS或者消息队列等进行批量或者实时的计算。
业务方可以借助Minos,实现MySQL数据与HIVE或者其他的MPP数据仓库的实时同步。