In aktuellen Composer-basierten TYPO3-Projekten ist eigentlich nur relevant, was im public/-Ordner liegt. Pfade wie typo3_src/, typo3cms/ oder typo3conf/xsd/ existieren dort schlicht nicht mehr. Die kann man also bedenkenlos rauswerfen.
Was weiterhin Sinn macht: Disallow: /typo3/, weil das Backend auch in Composer-Projekten unter diesem Pfad erreichbar ist.
Bei typo3temp/ hat sich auch einiges geändert. Der liegt jetzt unter public/typo3temp/, und die alten Allow-Regeln für CSS und JS sind in der Regel nicht mehr nötig, weil Assets heute über andere Wege ausgeliefert werden (z.B. über den _assets/-Pfad).
Ob man Ordner aus public/fileadmin/ blockieren will, ist ziemlich projektabhängig. Eventuell will man sogar, dass bestimmte Verzeichnisse indexiert werden können, z.B. für die Google-Bildersuche.
Ein möglicher Ausgangspunkt für aktuelle Projekte:
User-agent: *
Disallow: /typo3/
Sitemap: https://example.com/sitemap.xml
Minimalistisch, aber als Basis taugt das. Von da aus kann man projektspezifisch ergänzen.
Besonders wichtig: Den Sitemap-Verweis nicht vergessen. TYPO3 bringt einen eigenen Sitemap-Generator mit, aber die robots.txt muss auch darauf verweisen. Wir hatten schon den Fall, dass Kundenseiten aus den Suchergebnissen verschwunden sind, weil weder robots.txt noch sitemap.xml existierten. Das ist schnell passiert und fällt erst auf, wenn der Traffic einbricht.