Voxtral 3, czyli Mistral buduje stack technologiczny dla agentów głosowych
Voxtral 3 od Mistrala to modele do transkrypcji i syntezy mowy oraz SDK do agentów głosowych, od 0,0035 USD za minutę. Więcej o tym co potrafi i ile kosztuje w artykule.
Ten artykuł w innych językach:العربيةDeutschEnglishEspañolFrançaisItaliano日本語简体中文
W tym artykule
20 października Mistral opublikował Voxtral 3, nową rodzinę modeli do konwersji mowy na tekst i tekstu na mowę, razem z SDK do budowy agentów głosowych. Wszystko jest dostępne przez API Mistrala, a w wątku na Hacker News ogłoszenie zebrało prawie 500 punktów.
Co nowego w Voxtral 3?
Według zapowiedzi Voxtral 3 to cztery modele i jedno SDK:
- Voxtral Small Transcribe 3 – najdokładniejszy model do transkrypcji, z rozpoznawaniem mówców (tzw. „diarization”), podpowiadaniem fachowych terminów i wykrywaniem końca wypowiedzi.
- Voxtral Mini Transcribe 3 – mniejszy model (4B parametrów) do transkrypcji.
- Voxtral Mini Transcribe Realtime 3 – transkrypcja na żywo z opóźnieniem poniżej 500 ms, pomyślana pod agentów.
- Voxtral Speech 3 – synteza mowy z kontrolą emocji, tempa i akcentowania. Według dokumentacji modelu pierwszy dźwięk pojawia się po ok. 90 ms.
Do tego dochodzi SDK do agentów głosowych zbudowane na LiveKit. Słuchanie, rozumowanie, wywoływanie narzędzi i mówienie działają w jednym strumieniu, a według Mistrala każda tura rozmowy przetwarza się w mniej niż sekundę. Agent może korzystać z wyszukiwania w sieci i z danych z naszych systemów, a połączyć się z nim można przez SIP (czyli zwykły telefon) albo WebRTC.
Voxtral Speech 3 potrafi też klonować głos. Do podstawowego klonowania potrzeba ponad 30 minut nagrań, a do zastosowań profesjonalnych Mistral oferuje tzw. „Pro Voice”, która według zapowiedzi oddaje również charakterystyczny styl mówcy.
Ile kosztuje Voxtral 3?
Ceny z ogłoszenia:
| Model | Cena |
|---|---|
| Voxtral Small Transcribe 3 | 0,004 USD za minutę |
| Voxtral Mini Transcribe 3 | 0,0035 USD za minutę |
| Voxtral Mini Transcribe Realtime 3 | 0,008 USD za minutę |
| Voxtral Speech 3 | 13 USD za 1 mln znaków |
| API agentów głosowych | 0,04 USD za minutę (z Mistral Small 4) lub 0,08 USD za minutę (z innym modelem) |
Godzina transkrypcji najmniejszym modelem to więc ok. 21 centów. Mistral porównuje się tu z Whisperem, ElevenLabs, Deepgramem i Gemini, ale to wyłącznie pomiary samej firmy, więc z osądem poczekam na niezależne testy.
Czy Voxtral 3 obsługuje język polski?
Tak, przynajmniej w transkrypcji. Według zapowiedzi modele do zamiany mowy na tekst obsługują ponad 50 języków, w tym wszystkie 24 oficjalne języki UE, a polski jest na tej liście według benchmarku FLEURS.
Z syntezą mowy jest mniej jasno. W ogłoszeniu czytamy o ponad 35 językach i 50 dialektach (polski jest w bibliotece głosów), ale karta modelu w dokumentacji podaje 9 języków (sprawdź polski głos w playgroundzie, zanim na nim coś zbudujesz).
Czy jest coś nie tak?
Jest, i to właśnie dominuje w dyskusji na Hacker News. Poprzednie modele Voxtral miały otwarte wagi (np. Voxtral Mini 3B na Hugging Face), a przy Voxtral 3 ogłoszenie nie wspomina ani o wagach, ani o licencji. Mistral pisze o „self-deployment on your own infrastructure”, ale wdrożenie on-premise wymaga kontaktu z działem sprzedaży. Jeden z komentujących podsumował to krótko: „Closed model unfortunately”.
Oceny jakości też są mieszane. Część osób chwali transkrypcję i rozpoznawanie mówców w poprzednich wersjach, inni piszą, że nowe głosy w demo brzmią bardziej sztucznie, a do transkrypcji lokalnie polecają Parakeet. Traktujmy więc zapowiedzi z dystansem, dopóki nie zobaczymy szerszych testów.
Jak wypróbować Voxtral 3?
Mamy dwie drogi:
- Playgroundy w Mistral Studio – można tam przetestować transkrypcję, syntezę mowy, klonowanie głosu i agentów głosowych, po zalogowaniu do konsoli Mistrala.
- API – klucz generujemy w konsoli, a szczegóły są w dokumentacji audio. Endpointy działają w UE, USA i globalnie.
Jeśli szukamy czegoś do uruchomienia u siebie, Voxtral 3 się nie nada (przynajmniej na razie). Wtedy lepiej sięgnąć po starsze, otwarte wersje i uruchomić AI lokalnie. A kto buduje szybkiego agenta głosowego, może porównać Voxtral 3 z Mercury Voice, które Inception pokazało razem z Mercury 3.
FAQ
Czy Voxtral 3 jest open source?
Na razie nic na to nie wskazuje. Ogłoszenie nie podaje licencji ani linków do wag, a wdrożenie na własnej infrastrukturze wymaga kontaktu z Mistralem. Otwarte wagi mają starsze modele Voxtral.
Ile kosztuje transkrypcja w Voxtral 3?
Od 0,0035 USD za minutę (Voxtral Mini Transcribe 3) do 0,008 USD za minutę w trybie na żywo. Synteza mowy kosztuje 13 USD za milion znaków.
Czym Voxtral 3 różni się od poprzedniego Voxtrala?
Poprzednie wersje były osobnymi modelami do transkrypcji lub syntezy mowy, w dużej części z otwartymi wagami. Voxtral 3 to cała rodzina modeli plus SDK do agentów głosowych, dostępna przez API.