Scray：适用于大数据、Spark、数据版本化、NoSQL 和 SQL 存储的 Lambda 架构框架

基于 Spark 的大数据推荐系统，效率高、代码结构也挺清晰，适合做入门实战。项目用到了协同过滤算法，推荐逻辑比较主流，训练、评估和实时推荐全流程都能跑通。用的是 Spark 的 MLlib 和 Streaming 模块，适合平时对推荐算法感兴趣，又想搞点大数据项目实操的朋友。预逻辑也整理得挺细，尤其是 DataFrame 操作那块，写得比较优雅，适合拿来参考或二次开发。如果你刚好在找一个能落地的推荐系统 demo，这个挺合适的。

大数据面试题囊括了多个关键领域的知识，包括Linux和Shell基础、Hadoop生态系统、Zookeeper、Flume、Kafka、Hive、HBase、Sqoop及Scala编程。这些题目详细解释了每个领域的重要概念和技术要点。具体包括：1. Linux和Shell方面，涵盖了常用命令和脚本编写；2. Hadoop的核心概念，如HDFS和MapReduce的工作原理；3. Zookeeper在集群管理中的作用及常用命令；4. Flume的数据收集和处理方式；5. Kafka的消息系统架构和实时数据处理能力；6. Hive的SQL查询接口及其特性；7. HBase的列式存储和数据模型设计；

大数据的核心利器——Hadoop，扩展性强、扛压能力也不错，适合那种动不动就几个 T 起步的场景。Admaster 数据挖掘总监写的这篇文章算是比较经典的入门级资源了，讲得清楚，内容也扎实。如果你刚接触 Hadoop，或者想搭一套靠谱的大数据架构，可以先看这个。Hadoop的优势挺的：计算分布式，节点挂了也不怕，性价比高。尤其是和Spark、Hive这些组合起来，大批量日志、用户行为数据，效率那是杠杠的。文章里也顺带讲了下大数据的背景，比如 IDC 那组 1.8 万亿 GB 的数据预测，虽然现在看着不稀奇，但放在 2011 年，可是吓人的大数。如果你想继续深入，推荐几个实战资料：Hadoop

开源大数据技术架构的内容比较全，适合刚入行或者想快速上手的同学。像Spark、HBase、Scala这些组合在一起，实战价值高，而且讲得蛮细，基本能照着搭建环境。还有些硬件选型建议和实际项目案例，挺接地气，适合企业项目做参考。

基于 CDH6.3.2、Scala 2.12.0、Java 1.8 和 Maven 3.6.3 编译的 Spark-3.2.2 源码。此资源可用于在 CDH6.3.2 集群中配置 Spark 客户端以使用 Spark-SQL。

该Redis版本专为Windows x64架构设计，经过严格测试，运行稳定可靠，适合于生产环境部署。

Spark 的 2.1.1 版本压缩包，真挺适合想在本地或者集群上玩转大数据的你。核心模块清晰，像是任务调度的Spark Core、写 SQL 像查数据库一样顺手的Spark SQL、还有能搞流的Spark Streaming，都上手。嗯，spark-2.1.1.tgz下载解压就能用，设置好环境变量就能跑。搭配YARN或Kubernetes也方便。

Haraka NoSQL巧妙地将数据存储在支持内存的对象中。用法示例：var NoSQL = require('haraka-nosql'); var nosql = new NoSQL('myindex', { storage: 'redis', // 或者 'ram' 或 'ssc' expire: 10 // 分钟 }); 导出以下功能：nosql.set('foo', 'bar', function (err, result) { if (err) { // 错误处理代码 return; } // 处理结果 }); 您可以选择跳过回调函数。所有方法都支持此操作。nosql.set('f

嘿，做大数据的朋友看过来！这个基于HDFS、Spark和Hive的大数据企业级框架，简直是开发的好帮手。，HDFS了分布式的数据存储，PB 级数据没问题，保证数据的高可用性和可靠性。而Spark则通过内存计算让你可以大幅提升数据速度，尤其是在需要频繁迭代的数据时，速度提升。你用过SparkSQL吗？它支持用 SQL 或者 DataFrame API 来数据，简直是为那些熟悉 SQL 的同学量身定做。再说到Hive，它是离线批任务时的好帮手，可以轻松用 SQL-like 的查询语法大数据。哦对了，框架中的数据流定义是通过简洁的YAML文件完成的，让整个流程看起来更清晰直观，管理起来也挺方便的。整