Magazín Experiment: Kdo mluví? Jak AI přepisuje chaotickou konverzaci? A jaké je to hrát si s viry?

Umělá inteligence dnes zvládne přepsat řeč na text bez větších potížích. Problémy ale nastávají ve chvíli, kdy mluví několik lidí najednou nebo je kolem hluk. Vědci z Fakulty informačních technologií VUT v Brně proto vyvíjejí systém, který si poradí i s takovými situacemi. Jejich cílem je, aby hlasové systémy rozuměly lidské řeči a dokázaly ji přepsat na text stejně spolehlivě jako člověk – nejen v klidné a spisovné mluvě, ale i v běžné komunikaci plné ruchů a emocí.

Čtěte také

Boj s úpadkem faktů. Vědci z VUT vyvíjejí nástroj pro ověřování tvrzení v internetových diskusích

S vývojářem řečových systémů Alexandrem Polokem a jeho kolegy z Fakulty informačních technologií VUT zkoušíme, jak si program Dixtral poradí s tím, na čem dnešní přepisovací systémy často selhávají. V hlučné kuchyňce mluví několik lidí najednou.

„Jsme v kuchyňce, je tady ozvěna, několik lidí s různými zájmy, v pozadí hučí varná konvice,“ popisuje Polok.

Pak se přesouváme k počítači, kde se nahrávka bouřlivé debaty o tom, co si kdo dá k jídlu, začne přepisovat. „Dostaneme přepis každého mluvčího. Software se snaží rozdělit repliky jednotlivých lidí. Celé je to založené na neuronových sítích.“

Rozpoznávání řečníků

Počítač totiž zvuk neslyší jako člověk. Nejprve ho převede na číselná data, podle kterých se učí rozpoznávat slova, emoce i intonaci. Hlavní rozdíl oproti většině dnešních přepisovacích systémů spočívá ve způsobu zpracování nahrávky. „Nejdříve spustíme diarizaci, která určí, kdo a kdy mluví. Teď mluví třeba Honza, potom Adam,“ vysvětluje Polok.

Dixtral propojuje diarizaci (určuje řečníky a kdy hovoří) a porozumění mluvenému obsahu v jednom systému|foto:Marek Hensl, Český rozhlas

Teprve potom začne systém řeč přepisovat. Nejprve si tedy rozdělí jednotlivé mluvčí a až poté se soustředí na jejich projev. „Říká se, že modely už zvládají přepsat cokoliv. To ale není úplně pravda. Jakmile začneme používat třeba dialekt, modely začnou selhávat.“

Stačí nářečí, hluk nebo několik lidí mluvících současně a přesnost běžných systémů podle Poloka rychle klesá. Když ale systém jednotlivé řečníky oddělí, dokáže jejich řeč mnohem spolehlivěji přepsat i analyzovat.

„Dokáže například zodpovídat různé otázky nebo rozpoznat emoce.“ Model umělé inteligence tak nepracuje jen s přepisem. Umí z něj vyčíst další informace a odpovídat na otázky týkající se obsahu rozhovoru.

Pro školy, firmy i záchranáře

Využití je podle Poloka široké. „Pokud máme někoho, kdo má problémy se sluchem, může pro něj být přepis řeči do textu velmi přínosný.“

Alexander Polok a Šimon Sedláček z VUT testující systém Dixtral|foto:Marek Hensl, Český rozhlas

Podle Šimona Sedláčka z Fakulty informačních technologií VUT může systém ušetřit čas všude tam, kde vznikají dlouhé zvukové záznamy – od pracovních porad až po konference. „Já v tom vidím velké využití ve vzdělávání, když má člověk k dispozici třeba nahrávky univerzitních přednášek.“

Vědci chtějí zdokonalením řečových systémů zlepšit komunikaci s umělou inteligencí – od hlasových asistentů přes zákaznické linky až po tísňové služby. „Jedná se o kritické systémy, které budou například řešit velký nápor volajících v krizových situacích.“

Testovací verze systému je zdarma dostupná na webu pcspeech-demo.fit.vut.cz. Vývoj ale podle vědců pokračuje. Přestože si systém poradí i s češtinou, zatím nejlepších výsledků dosahuje v angličtině.

Kde budou mít voiceboti své limity a proč člověka v některých situacích nikdy zcela nenahradí? I o tom mluvil s odborníkem na řečové systémy z Fakulty informačních technologií VUT Radimem Kudlou vědecký reportér Marek Hensl. Poslechněte si v záznamu celého Magazínu Experiment.