Nun, mit Bordmitteln musst du halt überlegen, wie du dein CSS und JS bundelst (eventuell nutzt du auch SCSS/PostCSS oder TypeScript). Vor Vite Asset Collector nutzte ich z.B. Gulp um die einzelnen CSS-/JS-Dateien für den Produktiveinsatz zu erstellen. Problem dabei war, dass ich (S)CSS, JS und auch Bilder im Site-Package hatte, anstatt in den entsprechenden Extensions.
Mit dem VAC bin ich nun frei, die Assets abzulegen wo ich möchte, da VAC sich darum kümmert, die Assets einzusammeln, zu minifizieren und entsprechende Dateien zu bundeln. Also, indirekt hast du eventuell Vorteile in der Performance durch das Bundeln, da nun nicht mehr viele einzelne Dateien ausgeliefert werden (je nachdem, wie du es bisher gemacht hast).
Eine Alternative wäre Encore zu nutzen (habe ich bisher nicht) oder das Frontend-Tooling selbst aufzubauen (Webpack, Parcel, etc.).
VAC nimmt mir persönlich viel Arbeit ab, ich hab das Bundling, ich hab Hot-Reloading der Assets. Und für den Produktivbetrieb lass ich die Assets bauen und das war's. Wenig Aufwand für mich.
Und: Vite supports all common CSS processors and TypeScript out-of-the-box
Mein Tipp: Einfach mal ausprobieren.