広告予算配分問題は，広告効果の最大化を目的とし，所与の総予算をいつ，どの広告媒体に，どれくらい割り当てるかを決める逐次意思決定問題である．特に広告媒体は，その性質や商習慣に基づき2種類に大別されることが一般的である．1つ目はテレビ広告をはじめとする予約型広告である．予約型広告は，高い広告効果を期待できる反面，広告枠の買い付けからそのフィードバックまでに遅延が生じるという性質を持つ．2つ目はインターネット広告をはじめとする運用型広告である．運用型広告は，広告枠の買い付けに対して即時的なフィードバックが期待できる反面，広告取引に不確実性が伴うという性質を持つ．限られた総予算の中で高い広告効果を実現するためには，予約型広告と運用型広告のフィードバックタイミングの違いや運用型広告の不確実性を踏まえた上での，横断的な広告予算の動的配分が求められる．本研究では，この予約型・運用型横断の広告予算配分問題をマルコフ決定過程として定式化し，モデルフリーの強化学習を用いて解決することを目指す．さらに，実データを用いた実験によって，その性能を検証する．