A língua significa o idioma que você fala e, de uma certa forma, a sua língua(idioma, vocabulário, expressões idiomáticas) faz parte de todo um contexto cultural. Então, seguindo esta linha de raciocínio: Ao dizer "A língua é minha pátria." significa que a língua na qual você é falante representa o lugar da onde você vem.
