DQN

用神经网络做权重优化的目标检测项目，融合了CNN、DQN和SVM这三块内容。说白了，就是用强化学习来教一个智能体去找图像里的目标，还挺有意思的。训练是在 Google Cloud GPU 上跑的，效果还不错，跑完能自动框出目标位置。 特征提取靠的是预训练的 CNN，像是先把图像切出几个区域，提取每一块的特征。用Deep Q Network，一步步调整边框的位置，目标就是尽少地移动几次就把对象框出来。再用一个SVM 分类器确认框出来的东西是不是目标类别。 项目结构也清晰，Matlab代码整理得还行，比较适合用来做强化学习和图像的结合实验。适合已经有点深度学习基础、又想试试强化学习落地的同学。 代

强化学习的入门资料太多，但讲得清楚又实用的不多。《第 9 课：强化学习与 DQN.pdf》就是个还不错的选择，思路清晰，还穿插了多应用案例。比如从 Atari 游戏的像素画面学会玩 Breakout，这事听着就挺炸裂的吧。 强化学习的核心问题像是credit assignment和exploration-exploitation dilemma，说白了，就是到底要多大胆去尝试，学到的到底是对是错。文里还提到用Q-learning来估未来收益，状态多了还可以接入深度神经网络搞定高维空间。嗯，蛮贴近实战的。 比较有意思的一点是它不是死讲算法，比如讲到“重演”策略，顺带提了自动驾驶、广告推荐这些落地