本地运行

Windows 下折腾 Hadoop 的朋友，对hadoop.dll和winutils.exe肯定不陌生。这俩东西就是你想在本地跑起来 Hadoop 时的“钥匙”，缺一不可。是winutils.exe，用来绕过系统权限检查，没它各种 HDFS 命令直接报错。 hadoop.dll的作用也挺关键，是支持 Hadoop 在 Windows 环境下运行的动态链接库，尤其在调用底层 API 时起作用。你一开始不会注意到它，直到遇到一些稀奇古怪的错误，才发现原来是它的问题。 我自己是在搞 HDFS 调试时踩了不少坑。后来在这篇文章里看到怎么用winutils.exe和hadoop.dll配 Window

hadoop2.9.1 和 hadoop2.9.0 的 win32/64 版本里头，把hadoop.dll和winutils.exe都打包好了，适合在 Windows 下本地跑 Hadoop 项目的同学。嗯，解压之后按步骤来就行，别忘了加环境变量哦。你要是在搞 HDFS 或 MR 开发，用这个还挺省事的，兼容性也不错。

适用于 macOS 的 Hadoop 源代码编译的本机库，解决因缺少本机库导致的 Hadoop 安装报错。

Emlog本地体验包，简单易用，双击即可完成安装。请确保安装目录不包含中文或空格，以保证程序顺利运行。

安装本地Redis只需解压即可，无需额外配置。

为博客文章中Maven项目创建准备本地存储库文件，以便在创建项目之前提前下载。

运行图形界面设计后，将显示下图所示的图形。其设置如右图所示。

本地数据预处理 3.1 数据集简介 本实验使用小数据集 small_user.csv，共包含 30 万条记录，从大规模数据集 raw_user.csv 中提取。 3.2 数据预处理 删除数据头第一行的记录（字段名称）：sed -i '1d' small_user.csv

将 winutils.exe、hadoop.dll 文件复制至 C:WindowsSystem32 目录即可进行本地调试。

Scala是一种多范式编程语言，结合了面向对象和函数式编程的特性。在Scala开发中，有效地管理本地的库和框架至关重要。开发者通常将Scala库保存在本地文件系统中，以便快速引用和提高构建效率。这些库可以通过Maven或Gradle等构建工具添加到项目依赖中，也可以在没有网络连接时使用。管理本地库需要注意保持最新版本，确保一致性和定期清理。使用版本管理工具来跟踪和管理本地库的更新，有助于提高开发效率和项目的可维护性。