Somente 1 irmão trabalhar e ser cobrado ajudar a família

Somos 4 irmãos, todos com mais de 18 anos. Sou o do meio e o único que se formou e atualmente trabalha com um bom cargo e estabilidade.
Desde que comecei a crescer profissionalmente sou cobrado pela minha família (pais e irmãos) a ajudar, participar de vaquinhas que só eu pagava. O pior foi quando consegui juntar dinheiro e comprar um carro. Enquanto treinava a direção, o meu pai acabou dominando o meu carro, vendeu o dele para usar o meu. Isso me gerou desentendimentos, acusações de egoista e pessoa má, pois não queria dar para o meu pai um carro que me custou dinheiro e esforço.
Meus outros irmaos não trabalham, vivem acomodados, um com mais de 30 anos.
Estou desabafando pois não acho que estou errado, corri atrás para conseguir minhas coisas, quando um parente está em apuros eu ajudo (gastei 10 mil em uma cirurgia). Mas fico com a consciência pesada pelos meus pais nessas situações que preciso dizer não e sou mal compreendido pelos outros.
Como lidar com uma situação dessas?