Es klappt, wenn man das nicht in eine Zeile schreibt, sondern
wie Ralph geschrieben hat, das im dem Format macht:

host domain1.de
IdentityFile ~/.ssh/domain1_rsa
host domain2.de
IdentityFile ~/.ssh/domain2_rsa