分布式数据表BigTable的云计算与数据挖掘应用

BC-PDM分布式数据挖掘系统正在云计算和数据挖掘领域展开研究。

Bigtable是一种分布式数据库，用于管理庞大的数据集。它为大数据环境提供高可扩展性和容错能力。

使用软件代理进行数据挖掘的参考（Hillol Kargupta, Brian Stafford, Ilker Hamzaoglu）

Google Bigtable是一种专为处理大规模数据而设计的分布式存储系统，其数据模型包括稀疏的多维排序Map，通过行关键字、列关键字和时间戳来标识和存储数据。Bigtable的设计简单灵活，支持PB级别的数据存储，并在成千上万台服务器上水平扩展。

随着云计算和数据挖掘技术的发展，各行各业开始积极探索其应用。以下是一些关键头文件示例：start_time, date, 开始时间 imsi, VARCHAR(10), IMSI calling, VARCHAR(10), 用户号码 user_ip, VARCHAR(10), 用户IP地址 APN, VARCHAR(10), 访问方式 imei, VARCHAR(10), 终端标识号 rat, int, 2G/3G网络标识 app_type, int, 应用类型 lac, VARCHAR(10), xm Cell_ID, VARCHAR(10), xm source_ip, VARCHAR(1

对分布式环境中数据挖掘的全面调查。

该研究提出基于支持向量机的分布式数据挖掘模型 DSVM，以解决分布式环境中数据挖掘遇到的挑战。DSVM 利用特征多叉树来表示分布式数据集的总体特征，并使用壳向量来实现分布式支持向量机的增量更新。实验表明，DSVM 在解决存储开销、效率、安全性和隐私性等问题方面取得了成效。

云计算的发展史可以追溯到20世纪末，随着信息技术的快速进步，云计算逐渐成为现代数据管理和分析的重要工具。

提出了一种用于生成关联规则挖掘大项集的并行和分布式处理计算框架的DDCP算法。该算法基于大规模事务数据库，有效地将数据分片并进行分布式或并行处理，通过节点间的通信减少了数据传输量。算法通过实例验证了其正确性和可行性，在分布式或并行环境中能够高效地进行数据挖掘。