本地项目

成功在本地复现了 Kaggle 上的 TED 演讲项目！ 目前已完成数据描述、相关性分析以及简单的可视化部分。由于网络连接和机器配置的限制，最后几部分内容未能成功运行。

适用于 macOS 的 Hadoop 源代码编译的本机库，解决因缺少本机库导致的 Hadoop 安装报错。

Emlog本地体验包，简单易用，双击即可完成安装。请确保安装目录不包含中文或空格，以保证程序顺利运行。

安装本地Redis只需解压即可，无需额外配置。

为博客文章中Maven项目创建准备本地存储库文件，以便在创建项目之前提前下载。

本地数据预处理 3.1 数据集简介 本实验使用小数据集 small_user.csv，共包含 30 万条记录，从大规模数据集 raw_user.csv 中提取。 3.2 数据预处理 删除数据头第一行的记录（字段名称）：sed -i '1d' small_user.csv

将 winutils.exe、hadoop.dll 文件复制至 C:WindowsSystem32 目录即可进行本地调试。

Scala是一种多范式编程语言，结合了面向对象和函数式编程的特性。在Scala开发中，有效地管理本地的库和框架至关重要。开发者通常将Scala库保存在本地文件系统中，以便快速引用和提高构建效率。这些库可以通过Maven或Gradle等构建工具添加到项目依赖中，也可以在没有网络连接时使用。管理本地库需要注意保持最新版本，确保一致性和定期清理。使用版本管理工具来跟踪和管理本地库的更新，有助于提高开发效率和项目的可维护性。

本地调试 Hadoop 经常绕不过一个坑：Windows 上跑不起来？其实就是缺个关键的winutils.exe。压缩包里的hadoop-common-bin-master是从 Hadoop 源码编出来的，结构清爽，适合你拿来直接做本地测试。还有winutils.exe，就是让 Hadoop 在 Windows 上跑通的关键工具，没有它，别说起服务了，命令都执行不了。要跑通这些，先装好 JDK，把HADOOP_HOME环境变量指到你解压的目录里，记得再把bin目录加到PATH里。搞定后在命令行里敲个hadoop version，能出来版本信息就环境基本 OK 了。对了，压缩包里有个解压密码.d

Windows 下折腾 Hadoop 的朋友，对hadoop.dll和winutils.exe肯定不陌生。这俩东西就是你想在本地跑起来 Hadoop 时的“钥匙”，缺一不可。是winutils.exe，用来绕过系统权限检查，没它各种 HDFS 命令直接报错。 hadoop.dll的作用也挺关键，是支持 Hadoop 在 Windows 环境下运行的动态链接库，尤其在调用底层 API 时起作用。你一开始不会注意到它，直到遇到一些稀奇古怪的错误，才发现原来是它的问题。 我自己是在搞 HDFS 调试时踩了不少坑。后来在这篇文章里看到怎么用winutils.exe和hadoop.dll配 Window