E errado amar alguem fora do casamento?

As vezes me pergunto se e errado ou nao?perguntei isso para duas psicologas e duas opnioeS diferentes.
Conheci uma pessoa fora do casamento ja vai fazer dois anos e ele tambem e casado. Faz um ano que nao nos vemos , mas conversamos por msg sempre. Nao conseguimos mais nos afastarmos.
Nos gostamos muito , mas fico pensando se e errado ?
Nao temos coragem de nos separar por fazer os filhos sofrerem.