Continuar ou Desistir?

Estou conhecendo um cara, porém sinto dúvidas se devo ou não continuar a manter contato. A princípio, conversávamos apenas pelas redes sociais. O papo foi fluindo, até que um dia nos encontramos. Foi uma tarde muito agradável. Conversamos sobre diversos assuntos, caminhamos pelo Parque, lanchamos, ele me trouxe em casa. Foi muito bacana. Não rolou nenhum beijo, naquele dia.
Na mesma semana nos encontramos novamente, ele veio à minha casa, conversamos, lanchamos e chegamos no assunto da sexualidade. Antes dele ir embora tomei atitude e o beijei. Ele correspondeu. Porém foi embora em seguida. Depois conversamos pelo celular e ele disse que correspondeu e as conversas foram se estreitando. Continuamos nos falando.
Na semana passada, entre uma conversa e outra, falamos sobre sexo. Na primeira vez, ele me repreendeu porque eu disse que no início de namoro, o casal não pode ficar sozinho que faz alguma "brincadeira". Ele achou que comparar sexo a brincadeira é coisa de "peão". E no dia seguinte, ele falou algo que deu a entender que ele queria transar comigo. E eu acabei perguntando se ele queria ir a um motel. Ele me falou que eu era muito ansioso. Que estava com a impressão de que eu só queria sexo. E que eu devia ter falado antes. Fiquei muito mal com aquilo, pois não quero apenas sexo. Eu estou/estava curtindo conhecê-lo.
Ele havia me falado, antes desse conflito, que quando há algo que ele não gosta, ele se afasta logo. E ele notadamente ficou chateado comigo. Ficou frio. Mas continuou tentando manter contato. Mas de maneira fria. Por fim, perguntei até quando ele continuaria frio comigo. Ele disse que não estava frio e mudou a postura. Se mostrou mais caloroso. E voltamos a nos falar.
A questão é: desde então me sinto inseguro. Não sei se devo continuar mantendo contato. Não sei se ele quer ou não continuar me conhecendo. Ele puxa assunto, mas, muitas vezes demora a me responder. Tenho medo de estar sendo carente e inseguro e colocar tudo a perder, mas tenho medo de estar sendo enrolado ou dele estar me mantendo por perto para inflar o ego dele.