Voice-Pro von ABUS AI Korea bündelt YouTube-Download, Stimmisolation, Transkription, Übersetzung und Zero-Shot Voice Cloning in einer einzigen Open-Source-Oberfläche – vollständig lokal auf der eigenen NVIDIA GPU.
Der Tech-Stack kombiniert WhisperX für Speech-to-Text, Demucs für Quelltrennung sowie F5-TTS und Kokoro für Zero-Shot Voice Cloning, das Stimmen bereits aus wenigen Sekunden Audiomaterial reproduziert.
Das Tool ist kostenlos auf GitHub verfügbar, läuft unter Windows mit NVIDIA-Grafikkarte und erfordert keine Cloud-Anbindung – sämtliche Daten bleiben lokal.
Das Open-Source-Projekt Voice-Pro hat sich als umfassende All-in-One-Lösung für AI-gestütztes Audio-Dubbing, Voice Cloning und mehrsprachige Videosynchronisation etabliert. Wie aus dem offiziellen Repository von ABUS AI Korea hervorgeht, vereint die Software sämtliche Schritte eines professionellen Dubbing-Workflows – vom Medienimport bis zur fertigen, stimmgeklonten Audiodatei – in einer browserbasierten Gradio-Oberfläche. Damit adressiert Voice-Pro direkt Content Creator, Entwickler und Lokalisierungsteams, die bisher auf teure SaaS-Dienste oder fragmentierte Tool-Ketten angewiesen waren.
Die Neuerungen im Detail
Voice-Pro ist kein einzelnes Modell, sondern orchestriert eine ganze Kette spezialisierter Open-Source-KI-Komponenten zu einem durchgängigen Pipeline-Workflow.
Medienimport und Quelltrennung
Der erste Schritt nutzt yt-dlp, den de-facto Standard-Downloader für YouTube und über 1.000 weitere Plattformen, um Quellmaterial herunterzuladen. Anschließend trennt Demucs, Metas neuronales Netzwerk zur Audio-Separation, Sprache sauber von Musik und Hintergrundgeräuschen. Diese Isolation ist entscheidend für die Qualität aller nachfolgenden Schritte – ohne saubere Stimmspuren liefern selbst die besten TTS-Modelle unbefriedigende Ergebnisse.
Transkription und Übersetzung
Für die Spracherkennung setzt Voice-Pro auf WhisperX, eine optimierte Variante von OpenAIs Whisper-Modell mit wortgenauem Timestamping und Sprecherdiarisierung. Laut der WhisperX-Dokumentation erreicht das System eine bis zu 70-fach schnellere Verarbeitung als das Original-Whisper durch Batched Inference. Die Transkripte werden anschließend über integrierte Übersetzungs-APIs oder lokale Modelle in die Zielsprache übertragen.
Zero-Shot Voice Cloning
Das Herzstück der Pipeline bilden die TTS-Engines:
F5-TTS – ein Flow-Matching-basiertes Text-to-Speech-Modell, das Stimmen aus nur wenigen Sekunden Referenzaudio klont, ohne jedes Mal ein Fine-Tuning zu benötigen.
Kokoro TTS – ein leichtgewichtiges, aber überraschend natürlich klingendes Modell mit Unterstützung für mehrere Sprachen einschließlich Englisch, Japanisch, Koreanisch und Chinesisch.
Voice-Pro ermöglicht Zero-Shot Voice Cloning vollständig lokal auf einer NVIDIA GPU – ohne dass Audiodaten jemals einen externen Server erreichen.
Systemanforderungen
Betriebssystem: Windows 10/11
GPU: NVIDIA mit mindestens 4 GB VRAM (empfohlen: 8 GB+ für flüssiges Echtzeit-Cloning)
RAM: Mindestens 16 GB
Speicher: Etwa 20 GB für Modelle und Abhängigkeiten
Die Installation erfolgt laut Repository über ein automatisiertes Installationsskript, das sämtliche Abhängigkeiten – Python, PyTorch, CUDA-Bibliotheken und die einzelnen Modelle – in einer isolierten Umgebung einrichtet.
Warum das wichtig ist
Demokratisierung von Studio-Workflows
Professionelle Videolokalisierung kostet bei spezialisierten Dienstleistern laut Branchenschätzungen zwischen 5 und 25 US-Dollar pro Minute Videomaterial. Voice-Pro reduziert diese Kosten auf die Stromrechnung der eigenen GPU. Für Solo-Creator, die ihren YouTube-Kanal in 5 oder 10 Sprachen gleichzeitig anbieten wollen, ist das ein fundamentaler Paradigmenwechsel.
Datenschutz als Killer-Feature
Während kommerzielle Alternativen wie ElevenLabs oder Resemble AI Audiodaten in die Cloud senden, bleibt bei Voice-Pro alles lokal. Für Unternehmen, die mit vertraulichem Material arbeiten – etwa interne Schulungsvideos, medizinische Inhalte oder juristische Aufzeichnungen – ist das ein entscheidendes Kriterium. Gerade im Kontext der EU-DSGVO und des EU AI Act gewinnt lokale Datenverarbeitung zunehmend an Bedeutung.
Kritische Einordnung
Trotz des beeindruckenden Feature-Sets gibt es Limitierungen, die nicht verschwiegen werden sollten:
Nur Windows: macOS- und Linux-Nutzer bleiben aktuell außen vor, was die Community-Reichweite einschränkt.
NVIDIA-Abhängigkeit: AMD- oder Intel-GPUs werden nicht unterstützt. Ohne CUDA kein Voice-Pro.
Qualität vs. Komfort: Zero-Shot Voice Cloning hat sich in den letzten 12 Monaten enorm verbessert, erreicht aber bei komplexen Emotionen, Dialekten oder Flüstern noch nicht die Qualität von Fine-Tuning-Ansätzen.
Rechtliche Grauzone: Die Technologie ermöglicht das Klonen beliebiger Stimmen – die ethische und rechtliche Verantwortung liegt vollständig beim Nutzer.
Verfügbarkeit & Fazit
Voice-Pro ist kostenlos und Open Source unter der MIT-Lizenz auf GitHub verfügbar. Die Installation erfordert eine Windows-Maschine mit NVIDIA GPU und dauert laut Dokumentation etwa 20 bis 30 Minuten inklusive Modell-Downloads.
Voice-Pro ist die derzeit vollständigste Open-Source-Lösung für lokales AI-Dubbing und Voice Cloning – ein Tool, das vor zwei Jahren ein sechsstelliges Enterprise-Budget erfordert hätte.
Wer bereit ist, sich mit der Einrichtung auseinanderzusetzen und über die passende Hardware verfügt, bekommt einen bemerkenswert ausgereiften Workflow. Für den produktiven Einsatz in Agenturen oder Content-Teams empfiehlt sich allerdings ein gründlicher Test der Audioqualität in der jeweiligen Zielsprache, bevor man bestehende Pipelines ersetzt.
Häufig gestellte Fragen (FAQ)
Was ist Voice-Pro und für wen eignet es sich?
Voice-Pro ist ein kostenloses Open-Source-Tool von ABUS AI Korea, das AI-Dubbing, Voice Cloning und Videolokalisierung in einer Oberfläche vereint. Es richtet sich an Content Creator, Entwickler und Lokalisierungsteams, die mehrsprachige Audio-Workflows lokal auf der eigenen NVIDIA GPU betreiben wollen – ohne Cloud-Abhängigkeit und ohne laufende Abo-Kosten.
Wie unterscheidet sich Voice-Pro von ElevenLabs oder Resemble AI?
Der wichtigste Unterschied ist die vollständig lokale Verarbeitung: Audiodaten verlassen nie den eigenen Rechner, was Voice-Pro DSGVO-freundlicher macht. Kommerzielle Dienste bieten dafür oft höhere Stimmqualität, mehr Sprachen und einfacheres Onboarding. Voice-Pro ist kostenlos, erfordert aber eine NVIDIA GPU und technisches Setup-Know-how.
Welche Hardware wird für Voice-Pro benötigt?
Mindestens eine NVIDIA GPU mit 4 GB VRAM (empfohlen 8 GB+), 16 GB RAM und 20 GB freier Speicherplatz unter Windows 10/11. Ohne NVIDIA-Grafikkarte mit CUDA-Unterstützung ist das Tool aktuell nicht nutzbar. macOS und Linux werden derzeit nicht offiziell unterstützt.
Ist Voice Cloning mit Voice-Pro legal?
Die Technologie selbst ist legal, aber das Klonen fremder Stimmen ohne Einwilligung kann gegen Persönlichkeitsrechte und ab 2025 auch gegen Bestimmungen des EU AI Act verstoßen. Die Verantwortung für den rechtmäßigen Einsatz liegt beim Nutzer. Für eigene Stimmen oder lizenzierte Aufnahmen bestehen in der Regel keine rechtlichen Hürden.
Welche Sprachen unterstützt Voice-Pro?
Durch die Kombination aus WhisperX (Transkription in über 90 Sprachen) und den TTS-Engines F5-TTS sowie Kokoro deckt Voice-Pro eine breite Sprachpalette ab. Die Cloning-Qualität variiert jedoch je nach Sprache – Englisch, Koreanisch, Japanisch und Chinesisch sind laut Repository am besten optimiert.
Florian Schröder ist Experte im Online-Marketing mit Schwerpunkt PPC (Pay-Per-Click) Kampagnen. Die revolutionären Möglichkeiten der KI erkennt er nicht nur, sondern hat sie bereits fest in seine tägliche Arbeit integriert, um innovative und effektive Marketingstrategien zu entwickeln.
Er ist überzeugt davon, dass die Zukunft des Marketings untrennbar mit der Weiterentwicklung und Nutzung von künstlicher Intelligenz verbunden ist und setzt sich dafür ein, stets am Puls dieser technologischen Entwicklungen zu bleiben.
Wir verwenden Technologien wie Cookies, um Geräteinformationen zu speichern und/oder darauf zuzugreifen. Wir tun dies, um das Surferlebnis zu verbessern und um personalisierte Werbung anzuzeigen. Wenn Sie diesen Technologien zustimmen, können wir Daten wie das Surfverhalten oder eindeutige IDs auf dieser Website verarbeiten. Wenn Sie Ihre Zustimmung nicht erteilen oder zurückziehen, können bestimmte Funktionen beeinträchtigt werden.
Funktional
Immer aktiv
Die technische Speicherung oder der Zugang ist unbedingt erforderlich für den rechtmäßigen Zweck, die Nutzung eines bestimmten Dienstes zu ermöglichen, der vom Teilnehmer oder Nutzer ausdrücklich gewünscht wird, oder für den alleinigen Zweck, die Übertragung einer Nachricht über ein elektronisches Kommunikationsnetz durchzuführen.
Vorlieben
Die technische Speicherung oder der Zugriff ist für den rechtmäßigen Zweck der Speicherung von Präferenzen erforderlich, die nicht vom Abonnenten oder Benutzer angefordert wurden.
Statistiken
Die technische Speicherung oder der Zugriff, der ausschließlich zu statistischen Zwecken erfolgt.Die technische Speicherung oder der Zugriff, der ausschließlich zu anonymen statistischen Zwecken verwendet wird. Ohne eine Vorladung, die freiwillige Zustimmung deines Internetdienstanbieters oder zusätzliche Aufzeichnungen von Dritten können die zu diesem Zweck gespeicherten oder abgerufenen Informationen allein in der Regel nicht dazu verwendet werden, dich zu identifizieren.
Marketing
Die technische Speicherung oder der Zugriff ist erforderlich, um Nutzerprofile zu erstellen, um Werbung zu versenden oder um den Nutzer auf einer Website oder über mehrere Websites hinweg zu ähnlichen Marketingzwecken zu verfolgen.
