医疗挖掘

使用软件代理进行数据挖掘的参考（Hillol Kargupta, Brian Stafford, Ilker Hamzaoglu）

基于邻域系统的决策表压缩方法，挺适合搞医疗诊断这类数据量大又偏离散的场景。用代表元素代替一堆相似样本，数据量一下子就下来了，压缩还不影响决策力，挺实用的。尤其在数据预阶段，能省不少事，省内存、跑得快，效果也比传统聚类好点。嗯，写算法的人还专门做了模拟测试，稳。想搞医疗挖掘、做智能辅助诊断的你，不妨看一眼。

易迅医疗信息系统以医生为核心，注重满足其需求。利用软件系统帮助医生高效、智能、安全地完成非主观性的临床工作。系统通过积累临床经验知识，并促进医生间的经验交流和信息共享，提升医疗水平，让医生解脱重复性的工作。

利用基于区分矩阵的计算方法简化了从病历样本数据出发的医疗信息处理过程，使其更为高效和便捷。所得的产生式分类规则简明易懂，具有实际应用的参考价值。

这些数据经过Matlab处理，专门用于图像处理。

关联规则挖掘作为数据挖掘的重要内容之一，利用Apriori算法分析病人的症状与疾病数据，揭示其之间的关联规则，探讨其在医疗信息系统中的应用。

CCDM 2014数据挖掘竞赛专注于医学诊断数据，提出了普遍存在的多类标问题和多类分类问题。针对类别不平衡和训练样本稀缺的挑战，为优化数据挖掘任务，引入了二次集成学习的新框架。该框架首先利用首次集成学习获得高置信度样本，加入原始训练集，再次进行训练，以获得更高泛化性能的分类器。竞赛结果显示，与传统集成学习相比，二次集成学习在两个问题上均表现出色。

近年来，医疗数据挖掘作为一个交叉学科变得越来越重要。技术进步推动了基于Web-Weka和D3.js的临床数据挖掘及可视化技术的发展。

Spark 的数据预能力真的是蛮强的，是在医院这种结构复杂又数据量大的场景下，表现挺稳定。你可以把结构化的就诊记录、非结构化的检查报告，统统扔进去，跑个 RDD 转换或者用 DataFrame 清洗一下，效率还不错。 Spark 的分布式计算在多节点下跑预任务，几百万条数据压力也不大。比如用withColumn搞字段拆分，用filter剔除无效记录，用groupBy做一些分组统计，整个链路下来，代码量不多，可维护性也不错。 如果你对数据预这一块还想扩展一下思路，我给你找了几个还不错的资料： 基于 Spark 的交互式数据预：讲得比较细，适合深入了解。 光谱数据预：主要是非结构化数据的

这个程序是用M文件编写的，运行环境为Matlab，也可以转化为C++运行。它的功能是自动执行医疗影像的分割操作。