Abstract: 本文主要介绍强化学习现阶段的情况,以及未来的去向的一种预测。
Keywords: modern Reinforcement Learning,现代强化学习,Psychology,心理学,Neuroscience,神经系统科学,mathematics,数学
强化学习和人工智能
现代强化学习 Modern Reinforcement Learning
现在的RL可以很有效的跟其他学科结合产生出一些特定领域非常客观的结果,尤其是在工程和自然科学领域。当然RL也可以在金融等方面有所作为,称为一个有力的工具。
RL在未来一段时间内,会成为AI或者机器学习中的主力,但需要结合一下这些学科的相互扶持,以下列举包括但不限于:
- Statistics(统计)
- Optimization(优化)
- other Mathematics(其他数学)
- Psychology(心理学)
- Neuroscience(神经系统科学)
说RL是未来的一个倾向是有原因的:
- RL最接近任何动物的学习方式
- RL的核心算法有很多都是直接来自biological learning system
而且RL可以和生物研究相配合,生物研究可以提供给RL一些数据,而RL可以创建一些reward system的模型。
Psychology和Neuroscience会在14和15章中介绍,而本书主要部分是介绍RL在工程和AI中的相关内容。
弱方法和强方法(Weak or Strong Method)
讲一段历史,1960’s 那段时间,大家认为general principle是扯淡的,根本没这东西,所以没人研究这类算法,他们认为只要数据足够多,就能产生智慧,当然现在来看,他们的看法局限性很大,但是别忘了,后面二十年的结果会导致我们现在的热门研究也有局限性,所以,不要到处鼓吹某项技术能成为永远,包括RL可能就是未来AI中的一个小角色,或者一个雏形,至于CNN什么的,就是个SVM,玩来玩去,其实也就是在没有理论指导下的随机结果。
general principle被认为是weak method,而与此相对的是strong method。
weak方法基于:
- search
- learning
strong方法基于:
- specific knowledge
总结(Conclusion)
介绍了介绍RL的最后一部分,后面基本就开始深入各个分支进行介绍了。
需要指出的是,RL在AI中作用目前不知道有多重要或多不重要,本书作者说:
It is not clear how far back the pendulum will swing, but reinforcement learning research is certainly part of the swing back toward simpler and fewer general principles of artificial intelligence.
这段不翻译了,对于技术科技类的内容:”信”的翻译不能做到 “雅达”,”雅达”的翻译不能做到 “信”
References
- Sutton R S, Barto A G. Reinforcement learning: An introduction[J]. 2011.
原文来自:https://face2ai.com/RL-RSAB-1-1-4-Reinforcement-Learning/转载标明出处