O estado aqui é contínuo (posição, velocidade, ângulo, velocidade angular) — não dá para desenhar uma "grade" como no GridWorld. Empurre o carrinho manualmente para sentir por que balançar é difícil e depois treine o Q-learning (com o mesmo truque de discretização em bins da Seção 4 do notebook) para ver uma política equilibrar o poste sozinha.
0.02s o ambiente aplica a física do pêndulo invertido: uma força fixa empurra o
carrinho para a esquerda ou para a direita (essas são as únicas duas ações
possíveis), a gravidade puxa o poste, e o novo estado
(x, ẋ, θ, θ̇) é calculado pelas equações de movimento do pêndulo invertido.
O episódio termina (falha) se o carrinho sair de ±2.4 m ou o poste inclinar mais que
±12° — e termina com sucesso se sobreviver 500 passos. Como o estado é
contínuo, para usar Q-learning tabular cada uma das 4 variáveis é cortada em faixas ("bins") e a
combinação de faixas vira um estado discreto — exatamente como na Seção 4 do notebook.