Appendix: OntheExpressivityofMarkovReward