Web挖掘与文本分类中的特征选择算法

作者：吴子清（乔治）。这个项目提供了一个基于Matlab的GUI，用于预处理Kaggle竞赛数据，进行功能选择和分类方法测试，特别是Santander客户满意度。运行后可评估分类性能的平均AUC值，并生成测试数据集的结果csv文件。包含两个主要文件Customer_GUI.m和Customer_GUI.fig，以及三个数据文件：train.mat，test.mat和ID.mat。运行简单，适用于Matlab竞赛者。

针对112Gb/s PM-(D)QPSK系统，特别是具有2.5GHz最大频偏的典型激光器，存在 |△f-f_e|=π/2 或 |f-f_e|=Rs/4 的情况。此时，若能判断频偏估值是否错误，则可利用此规律直接获得正确频偏估值，并将其作为G-PADE的初始设置值。 判断频偏估值正确与否可通过BER轻松实现，因为正确和错误的估值对应着截然不同的BER：一个接近0.5，另一个略大于0。因此，无论初始真实频偏为何值，G-PADE的初始化问题都能得到解决。方法如下： G-PADE开始工作前，利用四次方法对一段符号进行频偏估计，同时监测该段符号的BER。 通过BER判断估值是否收敛正确。 若正确，则

Scikit-feature 是由亚利桑那州立大学数据挖掘和机器学习实验室开发的 Python 开放源代码库（GNU通用公共许可证v2.0）。该库为特征选择提供了广泛的支持，是一个集成研究、比较、评估的应用平台。其核心目的是共享在特征选择领域广泛使用的算法，方便研究人员和从业人员对新算法进行实证评估。\ 由于项目开发的暂时停止和 scikit-learn 的更新，库中的一些模块可能已贬值。若恢复更新，开发者将会评估是否将此分叉项目重新集成到原始项目中。\ 分叉的项目信息：项目站点\ 原始 scikit-feature 项目信息：项目站点\ 文档链接

蚁群优化算法在Matlab中的应用非常广泛。

表4.7 总结了在高维数据挖掘中特征选择方法vV算法中问变量的取值范围。这些变量的理论和实测范围包括定点设计属性输入符号的实部和虚部，以及幅度。具体包括(-2, +2)和(-16, +16)的幅度。此外，还涵盖了一组符号四次方后的求和结果，以及该结果的幅度(-128, +128)。各组符号的相位调整在(+1, +4)之间，确保输出符号的相位偏估计结果精确有效。

针对高维数据的特性，即变量数远多于样本数，并且数据呈现异质性，基于众数回归分析和变量选择降维技术，提出了一种创新的特征选择方法。该方法利用局部二次逼近算法(LQA)和最大期望(EM)算法，提供了估计算法和最优调节参数的选取策略。通过模拟数据实验分析显示，该方法在非正态误差分布情况下，比传统的基于最小二乘和中位数的正则化估计方法具有更高的预测能力和稳健性。

数据挖掘竞赛题目：文本分类 附件资源：* 训练数据集* 测试数据集* 评分标准

论文提出了一种基于独立类别特性的改进 KNN 文本分类算法，该算法通过利用文本的不同类别特征来提高分类精度。

在数据挖掘、机器学习和模式识别领域，特征选择是一个至关重要的问题。针对传统信息增益在类和特征分布不均时存在的偏好问题，本研究提出了一种基于信息增益率和随机森林的特征选择算法。 该算法融合了filter和wrapper模式的优势，首先从信息相关性和分类能力两个方面对特征进行综合度量，然后采用序列前向选择（SFS）策略进行特征选择。算法以分类精度作为评价指标对特征子集进行度量，最终获得最优特征子集。 实验结果表明，该算法不仅可以有效降低特征空间维度，还能提升分类算法的分类性能和查全率。