云计算环境下的关联挖掘在图书销售中的研究

云计算环境下的关联挖掘在图书销售中的研究内容摘要：

第３ １卷第 １１期　　　 ２０１４年 １ １月　　 计算机应用与软件 Ｃｏ ｍｐ ｕ ｔ ｅ ｒＡｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓａ ｎ ｄＳ ｏ ｆ ｔ ｗａ ｒ ｅ Ｖｏ ｌ  ３ １ Ｎｏ ． １ １ ４ Ｎｏ ｖ ．２ ０１ 云计算环境下的关联挖掘在图书销售中的研究 郭　健　任永功 （辽宁师范大学计算机与信息技术学院　辽宁 大连 １１６０８１） 摘　要　　随着大数据时代的到来，如今人们已经淹没在海量的信息当中。云计算技术的出现，为解决在海量数据中高效地挖掘出 有价值的信息问题提供了新的思路。利用云计算的分布式处理和虚拟化技术的优势，提出一种基于 Ｍａ ｐ／ Ｒｅ ｄ ｕ ｃ ｅ编程模型与编码 操作相结合的分布式关联规则挖掘算法———ＭＣＭ Ａｐ ｒ ｉ ｏ ｒ ｉ算法；设计并实现一个基于 Ｈａ ｄ ｏ ｏ ｐ云平台的网上图书销售系统。为进一 步验证该系统的高效性，在该系统中利用 ＭＣＭ Ａｐ ｒ ｉ ｏ ｒ ｉ算法进行图书推荐服务的应用。实验对比结果表明，该系统实现了快速分析 与查询、可靠存储的功能，可以明显提高关联规则挖掘效率。 关键词　　 云计算　Ｈａ ｄ ｏ ｏ ｐ　Ｈｂ ａ ｓ ｅ 　Ａｐ ｒ ｉ ｏ ｒ ｉ 　图书销售 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ ： １ ０． ３ ９ ６ ９／ ｊ ．ｉ ｓ ｓ ｎ． １ ０ ０ ０ ３ ８ ６ｘ ． ２ ０ １ ４． １ １． ０ １ ２ ＲＥＳＥＡＲＣＨ ＯＮＡＳＳＯＣＩ ＡＴＩ ＯＮＲＵＬＥＭＩ ＮＩ ＮＧ Ｉ ＮＢＯＯＫ ＳＡＬＥＳＵＮＤＥＲ ＣＬＯＵＤＣＯＭＰＵＴＩ ＮＧ ＥＮＶＩ ＲＯＮＭＥＮＴ Ｇｕ ｏＪ ｉ ａ ｎ　Ｒｅ ｎＹｏ ｎ ｇ ｇ ｏ ｎ ｇ （Ｓｃ ｈｏ ｏ ｌｏ ｆＣｏ ｍｐ ｕ ｔ ｅ ｒａ ｎ ｄＩ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎＴｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ，Ｌ ｉ ａ ｏ ｎｉ ｎｇＮｏ ｒ ｍａｌＵｎｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ，Ｄａｌ ｉ ａｎ１１６０８１，Ｌｉ ａｏ ｎｉ ｎｇ，Ｃｈｉ ｎａ） Ａｂｓ ｔ ｒ ａ ｃ ｔ 　　Ｗｉ ｔ ｈｔ ｈ ｅａ ｄ ｖ ｅ ｎ ｔｏ ｆｂ ｉ ｇｄ ａ ｔ ａｅ ｒ ａ ，ｐ ｅ ｏ ｐ ｌ ｅａ ｒ ｅｎ ｏ ｗｏ ｖ ｅ ｒ ｗｈ ｅ ｌ ｍｅ ｄｂ ｙｍａ ｓ ｓ ｉ ｖ ｅｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ．Ｔｈ ｅｅ ｍｅ ｒ ｇ ｅ ｎ ｃ ｅｏ ｆｃ ｌ ｏ ｕ ｄｃ ｏ ｍｐ ｕ ｔ ｉ ｎ ｇｔ ｅ ｃ ｈ  ｎ ｏ ｌ ｏ ｇ ｙｐ ｒ ｏ ｖ ｉ ｄ ｅ ｓｎ ｅ ｗｉ ｄ ｅ ａｆ ｏ ｒｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｔ ｌ ｙｍｉ ｎ ｉ ｎ ｇｔ ｈ ｅｖ ａ ｌ ｕ ａ ｂ ｌ ｅｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎｆ ｒ ｏ ｍ ｍａ ｓ ｓｄ ａ ｔ ａ ．Ｂｙｕ ｔ ｉ ｌ ｉ ｓ ｉ ｎ ｇｉ ｔ ｓａ ｄ ｖ ａ ｎ ｔ ａ ｇ ｅ ｓｉ ｎｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ａ ｎ ｄｖ ｉ ｒ ｔ ｕ ａ ｌ ｉ ｓ ａ ｔ ｉ ｏ ｎ，ｗｅｐ ｒ ｅ ｓ ｅ ｎ ｔａｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄａ ｓ ｓ ｏ ｃ ｉ ａ ｔ ｅｒ ｕ ｌ ｅｍｉ ｎ ｉ ｎ ｇａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ（ＭＣＭ Ａｐ ｒ ｉ ｏ ｒ ｉ ），ｗｈ ｉ ｃ ｈｉ ｓｂ ａ ｓ ｅ ｄｏ ｎｔ ｈ ｅｃ ｏ ｍｂ ｉ ｎ ａ ｔ ｉ ｏ ｎｏ ｆＭａ ｐ／ Ｒｅ  ｄ ｕ ｃ ｅｐ ｒ ｏ ｇ ｒ ａ ｍｍｉ ｎ ｇｍｏ ｄ ｅ ｌａ ｎ ｄｃ ｏ ｄ ｉ ｎ ｇｏ ｐ ｅ ｒ ａ ｔ ｉ ｏ ｎ．Ｗｅａ ｌ ｓ ｏｄ ｅ ｓ ｉ ｇ ｎａ ｎ ｄｉ ｍｐ ｌ ｅ ｍｅ ｎ ｔａ ｎｏ ｎ ｌ ｉ ｎ ｅｂ ｏ ｏ ｋ ｓ ｔ ｏ ｒ ｅｓ ａ ｌ ｅ ｓｓ ｙ ｓ ｔ ｅ ｍｗｉ ｔ ｈＨａ ｄ ｏ ｏ ｐｆ ｒ ａ ｍｅ ｗｏ ｒ ｋｕ ｓ ｉ ｎ ｇ ｃ ｌ ｏ ｕ ｄｃ ｏ ｍｐ ｕ ｔ ｉ ｎ ｇ ．Ｔｏｆ ｕ ｒ ｔ ｈ ｅ ｒｖ ｅ ｒ ｉ ｆ ｙｔ ｈ ｅｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｃ ｙｏ ｆｔ ｈ ｅｓ ｙ ｓ ｔ ｅ ｍ，ｗｅｕ ｓ ｅＭＣＭ Ａｐ ｒ ｉ ｏ ｒ ｉａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍｔ ｏｉ ｍｐ ｌ ｅ ｍｅ ｎ ｔｔ ｈ ｅａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎｏ ｆｂ ｏ ｏ ｋｒ ｅ ｃ ｏ ｍ ｍｅ ｎ ｄ ａ ｔ ｉ ｏ ｎ ｓｓ ｅ ｒ ｖ ｉ ｃ ｅｉ ｎｉ ｔ ．Ｃｏ ｎ ｔ ｒ ａ ｓ ｔ ｅ ｄｅ ｘ ｐ ｅ ｒ ｉ ｍｅ ｎ ｔ ａ ｌｒ ｅ ｓ ｕ ｌ ｔ ｓｄ ｅ ｍｏ ｎ ｓ ｔ ｒ ａ ｔ ｅｔ ｈ ａ ｔｔ ｈ ｉ ｓｓ ｙ ｓ ｔ ｅ ｍａ ｃ ｈ ｉ ｅ ｖ ｅ ｓｔ ｈ ｅｆ ｕ ｎ ｃ ｔ ｉ ｏ ｎ ｓｏ ｆｆ ａ ｓ ｔａ ｎ ａ ｌ ｙ ｓ ｉ ｓａ ｎ ｄｑ ｕ ｅ ｒ ｙａ ｓｗｅ ｌ ｌ ａ ｓｒ ｅ ｌ ｉ ａ ｂ ｌ ｅｓ ｔ ｏ ｒ ａ ｇ ｅ ，ａ ｎ ｄｃ ａ ｎｓ ｉ ｇ ｎ ｉ ｆ ｉ ｃ ａ ｎ ｔ ｌ ｙｉ ｍｐ ｒ ｏ ｖ ｅｔ ｈ ｅｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｃ ｙｏ ｆａ ｓ ｓ ｏ ｃ ｉ ａ ｔ ｉ ｏ ｎｒ ｕ ｌ ｅ ｓｍｉ ｎ ｉ ｎ ｇ ． Ｋｅ ｙ ｗｏ ｒ ｄｓ 　　Ｃｌ ｏ ｕ ｄｃ ｏ ｍｐ ｕ ｔ ｉ ｎ ｇ 　Ｈａ ｄ ｏ ｏ ｐ　Ｈｂ ａ ｓ ｅ 　Ａｐ ｒ ｉ ｏ ｒ ｉ 　Ｂｏ ｏ ｋｓ ａ ｌ ｅ ｓ Ｄｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄＦｉ ｌ ｅＳ ｙ ｓ ｔ ｅ ｍ）和 Ｍａ ｐ／ Ｒｅ ｄ ｕ ｃ ｅ编程模型，同时还 包 括 ０　引　言 Ｈｂ ａ ｓ ｅ 、Ｃｏ ｍｍｏ ｎ、Ａｖ ｒ ｏ 、Ｈｉ ｖ ｅ等其他子项目，通过它们的互补可以 为 Ｈａ ｄ ｏ ｏ ｐ的核心层提供更好的服务。针对传统的 Ａｐ ｒ ｉ ｏ ｒ ｉ关联 随着互联网技术的飞速发展，如今消费者通过网络购买书 规则算法存在的缺陷，研究者曾提出了多种可以并行实现的关 籍的行为已经成为一种主流的消费方式，网上图书销售平台正 联规则挖掘算法 ［８－１０］，有效地提高了算法的效率，但仍存在不 逐渐向个性化与智能化的方向发展，其中图书推荐服务是其重 足及可提升空间。凭借云计算的分布式处理和虚拟化技术的优 ［１， ２］ 。关联规则挖掘是数据挖掘领域的一个经典的研究 势，文章利用目前最流行的 Ｈａ ｄ ｏ ｏ ｐ平台以及 Ｍａ ｐ／ Ｒｅ ｄ ｕ ｃ ｅ编程 ，它主要是通过对数据项的统计来获得频繁项集，进而 模型对传统的 Ａｐ ｒ ｉ ｏ ｒ ｉ算法进行了研究和改进，提出了基于编码 描述事物之间的联系以及它们之间的相关性，通过这种方法可 操作和 Ｍａ ｐ／ Ｒｅ ｄ ｕ ｃ ｅ编程模型的 ＭＣＭ Ａｐ ｒ ｉ ｏ ｒ ｉ算法，来准确快速 点之一 课题 ［３］ 以方便准确地为用户推荐出他们需要的产品。其中，沃尔玛超 地找出知识模型之间的联系。并将改进的 ＭＣＭ Ａｐ ｒ ｉ ｏ ｒ ｉ算法应 市的“啤酒与尿布”这一经典的商业案例就是最早运用数据分 用在基于 Ｈａ ｄ ｏ ｏ ｐ框架技术以及 Ｗｅ ｂ技术实现的图书销售系统 析以及关联规则的方法创造了巨大的商业价值。 中，进行图书推荐服务。 权威机构 ２ ０ １ １年发布的统计数据显示，全球数据总量每过 两年就会增长一倍，预计到 ２ ０ ２ ０年人类拥有的数据总量将会达 到惊人的 ３ ５万亿 ＧＢ［４，５］。云计算技术 ［６］的出现给海量数据挖 １　基于 Ｍａ ｐ／ Ｒｅ ｄｕｃ ｅ的 ＭＣＭ Ａｐｒ ｉ ｏ ｒ ｉ算法 由于云计算环境具有分布式的特点，可支持算法的并行执 掘领域 带 来 新 的 机 遇，特 别 是 当 今 主 流 的 云 计 算 平 台 Ｈａ  ｄ ｏ ｏ ｐ［７］，它通过服务的方式提供动态可伸缩的虚拟化资源的计 收稿日期： ２０１３－０３－１８。辽宁省科技计划项目（２０１２２３２００１）；辽 算模式，可以让用户很方便地开发和执行处理海量数据的应用 宁省自然科学基金项目（２０１２０２１１９）。郭健，硕士生，主研领域：Ｗｅ ｂ数 程序。其中 Ｈａ ｄ ｏ ｏ ｐ的 核 心 是 分 布 式 文 件 系 统 ＨＤＦＳ（Ｈａ ｄ ｏ ｏ ｐ 据挖掘。任永功，教授。 　 第１ １期　　　 　 ５１ 郭健等：云计算环境下的关联挖掘在图书销售中的研究 行，从而提高挖掘效率。因此，近年来关于并行数据挖掘算法的 研究不断升温，也出现了众多在并行环境下对关联规则算法的 研究。基于 Ｈａ ｄ ｏ ｏ ｐ集群框架以及 Ｍａ ｐ／ Ｒｅ ｄ ｕ ｃ ｅ编程模型，文章 提出了一种新的能够在云计算环境中进行分布式处理的 ＭＣＭ Ａｐ ｒ ｉ ｏ ｒ ｉ算法。 １． １　Ｍａ ｐ／ Ｒｅ ｄｕｃ ｅ编程模型 Ｍａ ｐ／ Ｒｅ ｄ ｕ ｃ ｅ是 Ｇｏ ｏ ｇ ｌ ｅ设计的一种软件架构，是一种并行程 序编程模型 ［１１］，通过函数式编程语言来建立映射（ｍａ ｐ）、化简 （ｒ ｅ ｄ ｕ ｃ ｅ ）等概念，使编程人员在不熟悉分布式并行模型的情况 下也可以很方便地实现大规模数据集的并行计算。如图 １所 示。以下是 Ｍａ ｐ／ Ｒｅ ｄ ｕ ｃ ｅ的执行流程 ［１２］： （１）ｍａ ｐ阶段　开始执行时先指定一个 ｍａ ｐ函数，用来把 输出的键值对进行哈希处理映射成一组新的键值对，同时 ｍａ ｐ 为每一个 ｒ ｅ ｄ ｕ ｃ ｅ任务的输出创建一个分区（ｐ ａ ｒ ｔ ｉ ｔ ｉ ｏ ｎ ｅ ｒ ，通常是 Ｈａ ｓ ｈ Ｐａ ｒ ｔ ｉ ｔ ｉ ｏ ｎ ｅ ｒ ），然后根据哈希处理后的键值对来确定该项记 录放在哪个分区里。 （２）ｓ ｈ ｕ ｆ ｆ ｌ ｅ阶段　Ｍａ ｐ／ Ｒｅ ｄ ｕ ｃ ｅ确定每个 ｒ ｅ ｄ ｕ ｃ ｅ的输入全 容易获得频繁 １项集。 步骤 ２　对整理后的项进行编码。扫描数据库，根据用户 定义的支持度，删除不满足最小支持度计数的项，对整理后的 项，根据其在交易中出现的记录进行编码表示。该方法克服了 Ａｐ ｒ ｉ ｏ ｒ ｉ算法需要多次扫描数据库的缺点，同时算法具有良好的 并行性和可伸缩性。 具体的编码规则为： 对于 设交易集 Ｔ＝｛ｔ ｔ …，ｔ ，项集 Ｉ＝｛ｉ ｉ …，ｉ １， ２， ｎ｝ １， ２， ｍ｝， 任何一个给定的事务数据库 Ｄ，令 ｆ ，ｆ （Ｄ） ＝ｒ ，则 ｒ ：Ｄ→ ｒ ｉ ｊ ｉ ｊ ｉ ｊ定 义为如下形式： １　　　 Ｉ ｊ∈ Ｔ