Segundo o Código da Estrada, quando dois veículos se encontram numa via estreita e não é possível o cruzamento, o veículo que está mais próximo do local onde podem cruzar tem a obrigação de fazer marcha atrás para permitir a passagem do outro. Como você está mais próximo desse local, deve ser você a recuar.