执行引擎

Azkaban是一款用于调度和管理大数据处理任务的开源工作流执行引擎。它提供了一个方便的Web界面，用户可以在其中创建、管理和监控工作流。安装Azkaban的过程包括下载并解压azkaban-web-server-0.1.0-SNAPSHOT.tar.gz压缩包，配置所需的Java Development Kit (JDK)、数据库（如MySQL或H2）以及Apache Maven等环境，然后修改配置文件并通过Maven进行编译和启动。详细步骤包括解压文件、环境准备、配置文件修改、编译打包、启动服务以及初始化数据库。最终，用户可以通过浏览器访问Web界面来管理其工作流。

Impala 的官方文档，内容挺全，讲得也比较细，适合你平时查资料或者搞性能调优时用。Impala 的实时查询能力还蛮厉害的，支持直接用标准 SQL查Hadoop里的数据，响应也快，查询写起来跟用普通数据库差不多，门槛挺低。Impala 的MPP 架构，查询的时候能并行，性能比老的MapReduce快不少，适合你需要快速出结果的时候，像做报表、搞数据就挺方便。和HDFS、HBase这些老朋友集成得也比较顺，支持的数据格式也多，像Parquet、Avro、ORC都能直接用，数据搬来搬去挺麻烦的，用 Impala 可以省不少事。嗯，查询的时候 Impala 还挺省事，数据基本都在内存里，低延迟，也

MySQL存储引擎的比较是数据库管理中一个重要的课题，不同的存储引擎具有各自的优势和适用场景。

ODBC 连接 Access 数据库用得比较多的朋友，AccessDatabaseEngine这个小工具你一定得试试。安装方便，兼容性也挺好，尤其在老项目时，省了不少事。Access 的驱动老是找不到？用Access 数据库引擎装上就好，点这里直接下载。支持 ODBC 调用，用起来还是比较稳的。用64 位 Access 数据库引擎时注意别跟 Office 版本打架，是你系统是 64 位但 Office 是 32 位的，那就得选对版本才行，不然安装时候容易报错。这儿是 64 位的下载。你要是用MFC或C++接数据库，建议看看这两篇文章：MFC 连接 Access 数据库、VC++连接 ODBC，

Spark 的大一统框架，真是省心。内存计算的思路聪明，省去了反复写磁盘那一步，跑批速度提升一截。RDD也比较灵活，支持各种转换操作，响应快，代码也不复杂。 SparkCore的基础功能扎实，包括调度、容错、内存管理啥的都有，适合搭建底层逻辑。如果你搞实时计算，SparkStreaming也能用，接口和批那套一致，基本无缝过渡。 用惯了 Hadoop 再来上手 Spark，体验挺不一样的。MapReduce虽然稳定，但写起来太啰嗦了。Spark 内存中搞定中间数据，性能肉眼可见的上来了。像做机器学习、图计算的，MLlib和GraphX也都能直接上。 不过别太迷信性能，Spark 调优也有门槛，

InnoDB存储引擎是MySQL推荐使用的存储引擎，提供了事务安全性、行级锁定等功能。 InnoDB存储引擎中，数据表有单独的结构文件（*.frm），索引集中存储在表空间文件ibdata1中。

MySQL 的存储引擎是个蛮关键的模块，尤其是你在做表结构设计或者优化性能的时候，绕不过这个话题。InnoDB和MyISAM算是老熟人了，各有千秋，懂点内幕你会更有底气选对引擎。 InnoDB 的行级锁还挺香的，多个用户同时读写都不怎么打架，配合事务，数据完整性也更有保障。写电商后台、支付系统那种对一致性要求高的场景，用它就对了。 MyISAM 的表级锁就显得“憨厚”一些了，插入一条记录都得锁整张表，适合那种读多写少、不太在意事务的系统，比如内容管理后台或者小型数据展示页面。 两种引擎的文件结构也有点差别，像 MyISAM 会分成.frm、.MYD、.MYI几个文件，文件丢了就挺麻烦。Inno

在 Hive 中，一条 SQL 语句可能包含多个 Job，默认情况下这些 Job 会顺序执行。如果这些 Job 之间没有依赖关系，可以通过设置参数 set hive.exec.parallel=true 来实现 Job 的并发执行。默认情况下，可以并发执行的 Job 数量为 8。

Map阶段：读取输入数据并将其映射为键值对。 Shuffle和Sort阶段：对map产生的键值对进行分发、排序和分区。 Reduce阶段：对分好区的键值对进行聚合、规约和输出。 框架应用：- Hadoop：MapReduce处理大规模数据的核心引擎。- Hive：使用MapReduce在HDFS上执行SQL查询。- HBase：使用MapReduce在HDFS上存储和处理大规模非关系数据。

在SQL环境中执行指定语句。