Vall-E, công cụ AI mới của Microsoft có thể bắt chước giọng nói con người chỉ nhờ tham khảo mẫu âm thanh 3 giây đầu vào

Vall-E, một mô hình ngôn ngữ mới từ Microsoft vừa được giới thiệu với chức năng có thể bắt chước bất kỳ giọng nói nào chỉ bằng việc sử dụng một mẫu âm thanh tham khảo ba giây. 60.000 giờ dữ liệu giọng nói bằng tiếng Anh đã được sử dụng để thử nghiệm tính năng của công cụ AI mới ra mắt này. 

Các nhà nghiên cứu từ Đại học Cornell tuyên bố trong một báo cáo rằng công cụ AI mới này có thể bắt chước cảm xúc và giọng điệu của người nói. Khả năng này đã được Microsoft minh họa trên trang GitHub của hệ thống TTS (Hệ thống chuyển đổi âm thanh thành giọng nói). Vall-E sẽ chuyển chữ viết thành giọng nói bất kỳ văn bản nào với tông giọng giống đoạn âm thanh mẫu dài 3 giây, nhưng lại có thể biến tấu giọng nói đó ở bất kỳ trạng thái cảm xúc nào (tức giận, mệt mỏi, trung lập, thích thú, ghê tởm, v.v.).

Minh họa cho thấy điều này vẫn đúng ngay cả khi Vall-E nói những từ không hề có trong file âm thanh.

Theo các nhà nghiên cứu, “Vall-E có khả năng thích ứng giọng nói trong từng ngữ cảnh. và có thể có thể tổng hợp giọng nói được cá nhân hóa chất lượng cao chỉ nhờ bản ghi âm đầu vào dài 3 giây. Kết quả thử nghiệm cho thấy Vall-E vượt trội đáng kể so với hệ thống zero-shot [chuyển văn bản thành giọng nói] tiên tiến nhất về độ tự nhiên của giọng nói và sự giống nhau của người nói”. Họ cũng tiết lộ: “Ngoài ra, chúng tôi nhận thấy Vall-E có thể lưu giữ cảm xúc của người nói và môi trường âm thanh của file âm thanh gốc.”

Tuy nhiên, các nhà nghiên cứu cũng đưa ra những cảnh báo về hệ quả của công cụ này.

Các nhà nghiên cứu cho biết: “Vì Vall-E có thể tổng hợp giọng nói để duy trì danh tính của người nói nên nó có thể tiềm ẩn những rủi ro khi sử dụng sai mô hình, chẳng hạn như giả mạo nhận dạng giọng nói hoặc mạo danh một người nói cụ thể”. “Chúng tôi đã tiến hành các thử nghiệm với giả định rằng người dùng đồng ý trở thành người nói mục tiêu trong quá trình tổng hợp giọng nói. Khi mô hình được khái quát hóa cho những người nói không để lộ nhận dạng trong thế giới thực, nó sẽ bao gồm một giao thức để đảm bảo rằng người nói chấp thuận việc sử dụng giọng nói của họ và một mô hình phát hiện giọng nói tổng hợp.