Det bör inte uttalas på nåt speciellt överhuvudtaget, och "det stavas så" är aldrig ett argument. Uttalet ligger till grund för stavningen, inte tvärtom.
"Matter of fact" uttalas vanligen i amerikansk engelska [mæɾəɹəfækt]. Lägg märke till att konsonanten i mitten av "matter", som du stavar "d", inte är ett [d], utan nåt som kallas en flap. Det går fortare och lättare att bara låta tungan fladdra förbi där [t] uttalas än att uttala ett [t]. I princip alla /t/ och /d/ mellan vokaler uttalas så i amerikansk engelska, tex. även "ladder", "metal" och "fitter".
Att "of" uttalas med en reducerad vokal är inte konstigare än att "the" vanligtvis inte uttalas [ði] med tydlig vokal. Vanliga korta ord förenklas. Att [v] försvinner är på grund av [f]:et i ordet efter. Jag tror inte att ens du uttalar ett så tydligt [v] i "avfall".
Problemet löst?