流程引擎

利用卡方检验，再次筛选特征词，降低维度至 1000 维。 采用 K 折交叉验证评估分类器性能。StratifiedKFold 用于将数据集分成 n_folds 份，分别进行验证和训练，并计算平均分类准确率作为性能指标。

Impala 的官方文档，内容挺全，讲得也比较细，适合你平时查资料或者搞性能调优时用。Impala 的实时查询能力还蛮厉害的，支持直接用标准 SQL查Hadoop里的数据，响应也快，查询写起来跟用普通数据库差不多，门槛挺低。Impala 的MPP 架构，查询的时候能并行，性能比老的MapReduce快不少，适合你需要快速出结果的时候，像做报表、搞数据就挺方便。和HDFS、HBase这些老朋友集成得也比较顺，支持的数据格式也多，像Parquet、Avro、ORC都能直接用，数据搬来搬去挺麻烦的，用 Impala 可以省不少事。嗯，查询的时候 Impala 还挺省事，数据基本都在内存里，低延迟，也

MySQL存储引擎的比较是数据库管理中一个重要的课题，不同的存储引擎具有各自的优势和适用场景。

ODBC 连接 Access 数据库用得比较多的朋友，AccessDatabaseEngine这个小工具你一定得试试。安装方便，兼容性也挺好，尤其在老项目时，省了不少事。Access 的驱动老是找不到？用Access 数据库引擎装上就好，点这里直接下载。支持 ODBC 调用，用起来还是比较稳的。用64 位 Access 数据库引擎时注意别跟 Office 版本打架，是你系统是 64 位但 Office 是 32 位的，那就得选对版本才行，不然安装时候容易报错。这儿是 64 位的下载。你要是用MFC或C++接数据库，建议看看这两篇文章：MFC 连接 Access 数据库、VC++连接 ODBC，

Spark 的大一统框架，真是省心。内存计算的思路聪明，省去了反复写磁盘那一步，跑批速度提升一截。RDD也比较灵活，支持各种转换操作，响应快，代码也不复杂。 SparkCore的基础功能扎实，包括调度、容错、内存管理啥的都有，适合搭建底层逻辑。如果你搞实时计算，SparkStreaming也能用，接口和批那套一致，基本无缝过渡。 用惯了 Hadoop 再来上手 Spark，体验挺不一样的。MapReduce虽然稳定，但写起来太啰嗦了。Spark 内存中搞定中间数据，性能肉眼可见的上来了。像做机器学习、图计算的，MLlib和GraphX也都能直接上。 不过别太迷信性能，Spark 调优也有门槛，

InnoDB存储引擎是MySQL推荐使用的存储引擎，提供了事务安全性、行级锁定等功能。 InnoDB存储引擎中，数据表有单独的结构文件（*.frm），索引集中存储在表空间文件ibdata1中。

MySQL 的存储引擎是个蛮关键的模块，尤其是你在做表结构设计或者优化性能的时候，绕不过这个话题。InnoDB和MyISAM算是老熟人了，各有千秋，懂点内幕你会更有底气选对引擎。 InnoDB 的行级锁还挺香的，多个用户同时读写都不怎么打架，配合事务，数据完整性也更有保障。写电商后台、支付系统那种对一致性要求高的场景，用它就对了。 MyISAM 的表级锁就显得“憨厚”一些了，插入一条记录都得锁整张表，适合那种读多写少、不太在意事务的系统，比如内容管理后台或者小型数据展示页面。 两种引擎的文件结构也有点差别，像 MyISAM 会分成.frm、.MYD、.MYI几个文件，文件丢了就挺麻烦。Inno

数据加载步骤：- 建立数据库结构- 装载数据- 组织数据入库- 人工方法- 计算机辅助数据入库

作业种类 不同的作业种类对应着不同的DS操作流程。

Oozie 是 Cloudera 公司为 Apache 开源的工作流引擎框架，用于在 Hadoop 平台上管理和调度作业。