通过切换策略实现MDP中的最优约束sc-LTL规划

我们研究了在马尔可夫决策过程中，为规划问题综合最优策略的方法，其中目标和安全约束均采用协安全线性时序逻辑（sc-LTL）进行指定。由于 sc-LTL 规约的复杂性，我们的问题本质上是非马尔可夫的，并且可能需要对策略进行随机化，以平衡目标与约束。我们提出了一种新颖的方法，将带约束的 sc-LTL 规划问题化简为扩展模型上的带约束可达性问题。随后我们证明，由针对各个 sc-LTL 规约的平稳策略构造的一类切换策略，对于带约束的可达性问题而言足以实现最优性。我们的研究结果使得可以通过一个易于处理的线性规划来计算最优策略。网格世界案例研究表明，我们的切换策略能够在目标与安全约束之间实现最优权衡，并验证了该方法的最优性和可处理性。