处理来自大量APP开发的数据

在花了几页讨论如何将存储成本与数据值相匹配并消除那些非常低价值的数据之后，让我们将注意力转回到一个更激动人心的问题，当我们的数据很有价值时，它们是如此之多我们无法有效地处理它们，我们该怎么办？

在花了几页讨论如何将存储成本与数据值相匹配并消除那些非常低价值的数据之后，让我们将注意力转回到一个更激动人心的问题，当我们的数据很有价值时，它们是如此之多我们无法有效地处理它们。我们应该做什么？如果你在代数中，你可能已经知道这个问题的答案了。请记住，在求解方程之前，您的代数或微积分老师教您简化它们。同样，这个帮助您成功解决数学问题的建议可以帮助您解决处理大量数据的问题。如果您可以轻松地对数据进行分段或将其与服务相关联，那么我们只需要应用我们在第22章到第24章中学到的概念.AKF扩展立方体将满足您的需求。但是，当您需要遍历整个数据集以生成答案时，如果您想要计算国会图书馆所有书籍中的单词数量，或者要清点一个非常庞大且复杂的库存系统，您应该怎么做？我们想快速完成这项工作，我们需要找到一种有效的方式来分配工作。这种工作分布可以采用多个遍历系统的形式，第一次遍历分析（或映射）工作，以及第二次遍历计算（或简化）工作。谷歌推出了一个软件框架来支持这种大型数据集的分布式处理，称为MapReduce。 “以下是该模型的描述以及如何应用它来解决更大的问题。简而言之，MapReduce有一个map函数和一个reduce函数.Map函数的输入是一个键。值对，它生成一个中间键这个外行人可能不会立即找到它的用处，但这里的目的是让app开发一个分布式进程来为另一个分布式进程创建有用的中间信息。所以后者编译。输入密钥可能是文档，或指向文档某一部分的名称或指针。 值可以是文档中所有单词的内容。在我们的分布式库存系统中，密钥可以是库存的位置，值可以是位置中货物的名称，库存中的每个货件名称将出现一次。例如，如果您有五个螺钉和两个钉子，则值可能是螺钉，螺钉，螺钉，螺钉，螺钉，钉子，钉子。