数据集的划分,说简单点就是“分配训练任务”,怎么分,分多少,都是门学问。训练集和测试集要搭配得当,模型才不会一味死记硬背。文章里除了讲原则,也带你用Python动手练练,像train_test_split
这种函数,简单好用,建议多试试。
搞推荐系统、分类模型,甚至做图像识别,第一步都是数据拆分。你要是随便分,测试出来的效果就会不靠谱,部署上线分分钟翻车。文章里有个不错的建议:按比例划分+打乱数据顺序,比较保险。
文中还搭配了几个实战链接,像是用在SVM、ARIMA、FastText这种场景的,你可以直接点进去看看,里面不少数据集还挺干净的,拿来做实验刚刚好。
实际操作那段也不复杂,用sklearn.model_selection
就能搞定,像下面这样:
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
如果你刚接触模型训练,或者对数据集划分不太熟,建议先把这篇文章看一遍,思路会清晰多。后面再去跑别的模型时就不容易出错了。