基于HBase和Hive的芒果TV综艺弹幕数据分析

本项目展示了大数据技术在娱乐领域的应用实例，涵盖数据分析、数据爬取和数据可视化等多个环节。利用HBase、Hive和MySQL等工具，实现了对芒果TV综艺节目弹幕的深入分析。HBase作为分布式列式存储系统，提供高吞吐量的数据读写能力，适用于海量非结构化数据存储。Hive则通过SQL-like语言（HQL）简化了对Hadoop文件系统中数据的查询与分析。MySQL用于存储元数据或作为数据源，通过Sqoop与Hadoop生态系统集成。数据分析过程中，利用Python编写的爬虫从网页抓取弹幕数据，经过清洗和预处理后，利用ECharts进行数据可视化，展示弹幕数量、时间分布及热门内容，帮助理解观众互动和节目热度。