Hab die Lösung gefunden, leider hat es nicht mit TYPO3 Bordmitteln geklappt was ich doch sehr merkwürdig finde.
Die einzige Lösung ist dieser mySQL Befehl der Löscht die festverankerten Daten raus.
DELETE FROM sys_file WHERE sys_file.missing=1 AND sys_file.uid NOT IN (SELECT sys_file_reference.uid_local FROM sys_file_reference WHERE sys_file_reference.uid_local=sys_file.uid)
```