[...]e eu consigo entra por baixo.
Antes vou precisar que tu me certifique de uma coisa: os tiles que apresentam esse "problema" são os que estão ali no campo denominada A4? Pois se forem, por padrão, todos os autotiles do A4 são passáveis por baixo.
Mas por quê disso?
Se reparar nos tiles padrões, os tilesets com A4 e tratam de gráficos para montanhas, muralhas, estruturas sólidas sobre as quais se é possível caminhar. Essa possibilidade de entrar por baixo de uma mecânica para o topo dessas estruturas serem acessíveis, assim podendo serem feitas muralhas em que se pode caminhar em cima sem o risco de ir para o tile ao lado que é um de chão, saka? Enfim, esse "problema" é o funcionamento padrão do tileset. Caso não queira lidar com ele, tu pode passar os autotile para o tileset A3 (talvez requira algum ajuste na imagem) ou procurar um script que mude o funcionamento do tileset A4, imagino que exista algum.