"目前我在使用 hadoop emapreduce 这个产品,我该怎么选择到底是用 mapreduce 还是用 spark 呢?"
目前我在使用 hadoop emapreduce 这个产品,我该怎么选择到底是用 mapreduce 还是用 spark 呢?
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
Hadoop MapReduce 是一整套生态, 就算使用 Spark 也离不开 HBase,Hive,Pig,Impala 或其他 Hadoop 项目。建议两者共同使用。
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
Hadoop MapReduce 是一整套生态, 就算使用 Spark 也离不开 HBase,Hive,Pig,Impala 或其他 Hadoop 项目。建议两者共同使用。