Text-zu-Sprache hinzufügen

Text-zu-Sprache ist eine Form von unterstützender Technologie, die Textzeichenfolgen in Sprachlaute mithilfe einer künstlichen Stimme umwandelt. Neben der Verbesserung der Zugänglichkeit deiner Erlebnisse für Spieler mit Seh-, Mobilitäts- oder kognitiven Beeinträchtigungen ermöglicht TTS die dynamische Generierung von Sprache, sodass du Audio nicht für alle möglichen narrativen Szenarien im Voraus aufnehmen musst.

Mit der Gingerbread House - Start .rbxl-Datei als Ausgangspunkt und Gingerbread House - Text-zu-Sprache als Referenz zeigt dir dieses Tutorial, wie du sowohl grundlegende als auch kontextbezogene TTS-Audios zu deinen Erlebnissen hinzufügst, einschließlich Anleitungen zu:

• Auslösen von TTS für gängige Gameplay-Szenarien, die sich nie ändern werden, wie z. B. UI-Interaktionen und Tutorials.
• Konfigurieren von TTS, sodass es sich an die Spieleraktionen, den Umweltstatus oder flexible Ziele anpasst.

Wenn du während des Prozesses an einem Punkt feststeckst, kannst du Gingerbread House - Text-zu-Sprache als Referenz verwenden, um deinen Fortschritt zu vergleichen.

Audioobjekte

Um TTS-Audio zu erzeugen, ist es wichtig, die Audioobjekte zu verstehen, mit denen du im Laufe dieses Tutorials arbeiten wirst. Es gibt fünf Haupttypen von Audioobjekten für TTS:

• Das AudioTextToSpeech-Objekt wandelt Textzeichenfolgen in Sprachlaute um.
• Das AudioEmitter-Objekt ist ein virtueller Lautsprecher, der Audio in die 3D-Umgebung ausstrahlt.
• Das AudioListener-Objekt ist ein virtuelles Mikrofon, das Audio aus der 3D-Umgebung aufnimmt.
• Das AudioDeviceOutput-Objekt ist ein physisches Hardwaregerät in der realen Welt, wie ein Lautsprecher oder Kopfhörer.
• Wires transportieren Audioströme von einem Objekt zum anderen.

Alle diese Audioobjekte arbeiten zusammen, um TTS-Geräusche als Reaktion auf Spieleraktionen auszugeben. Schauen wir uns an, wie das in der Praxis für 3D-Audio funktioniert, indem wir ein Beispiel eines Spielers betrachten, der einen Kopfhörer trägt, während er mit seinem Laptop ein Erlebnis spielt:

• Das AudioTextToSpeech lädt und wandelt Text in Audio um, wann immer ein Spieler ein Teil in der Nähe eines nicht spielbaren Charakters (NPC) berührt.
• Das AudioEmitter strahlt einen Stream des TTS-Audios vom NPC in die 3D-Umgebung aus.
• Ein Wire transportiert den Stream vom AudioTextToSpeech zum AudioEmitter, sodass der Stream aus dem NPC kommt.
• Das Kindobjekt AudioListener des Charakters hört diesen Sound in der 3D-Umgebung und gibt ihn zurück an seinen Kopfhörer.
• Das AudioDeviceOutput-Objekt transportiert den Sound vom AudioListener zum physikalischen Lautsprecher des Spielers oder in diesem Fall zu seinen Kopfhörern.

Die folgenden Abschnitte gehen tiefer und verweisen auf diese Objekte, während du lernst, sowohl grundlegende als auch kontextbezogene Audios abzuspielen. Während du diese Objekte mit den kommenden Techniken überprüfst, kannst du genauer vorhersagen, wie du Sound aus dem Erlebnis an den Spieler aufnehmen und weitergeben kannst.

Grundlegendes TTS

Grundlegendes TTS ist die häufigste Form von Text-zu-Sprache, bei der die künstliche Stimme eine Textzeichenfolge liest, unabhängig vom Kontext des Spielers oder der Umgebung. Das bedeutet, dass immer wenn der Spieler das TTS-Audio auslöst, die Wörter und die Art und Weise, wie die künstliche Stimme die Wörter liest, konsistent bleibt, egal wie der Zustand des Spielers, seine Aktionen oder der Umweltstatus sind.

Diese Form von TTS ist in den meisten Gameplay-Szenarien nützlich, z. B. wenn Spieler mit UI-Menüs, Tutorials oder routinemäßigen NPC-Interaktionen wie Verkäuferangeboten oder Feindeschreien interagieren. Roblox stellt die folgenden Arten von Stimmen zur Verfügung, mit denen du für jede dieser Interaktionen experimentieren kannst:

Um das grundlegende 3D-TTS-Audio in der Beispieldatei Gingerbread House - Text-zu-Sprache nachzubilden:

1. Aktiviere einen Standardlistener, der an deinen Spielercharakter angehängt ist.

   1. Wähle im Explorer-Fenster den SoundService aus.
   2. Setze im Eigenschaften-Fenster DefaultListenerLocation auf Character. Wenn du das Erlebnis startest, erstellt die Engine automatisch:

      • Ein AudioListener unter dem Humanoid.RootPart jedes Spielercharakters, sodass du Geräusche in deinen realen Lautsprechern entsprechend der Position und der Größe der Schallquellen innerhalb des Erlebnisses hören kannst.
      • Ein AudioDeviceOutput unter SoundService.
2. Navigiere im Explorer-Fenster zu Workspace ⟩ DialogueVolume und:

   1. Füge ein AudioTextToSpeech-Objekt ein, um einen Audio-Sprechgenerator für das Volumen um den Schneemann zu erstellen.
   2. Füge ein AudioEmitter-Objekt ein, um einen positionalen Stream aus DialogueVolume auszustrahlen.
   3. Füge ein Wire-Objekt hinzu, um den Stream vom Audio-Sprechgenerator zum Audio-Abstrahler zu transportieren.
3. Wähle das AudioTextToSpeech-Objekt aus, und setze im Eigenschaften-Fenster:

   1. Setze Text auf "Sammle jede letzte Gumpdrop, um mein Zuhause zu öffnen!"
   2. Setze VoiceId auf 2, um die künstliche Stimme als britische Frau zu emulieren.
   3. Setze die Lautstärke auf 3, um das Audio bei hoher Lautstärke abzuspielen, sodass du das TTS-Geräusch über anderen Audioquellen im Erlebnis hörst.
4. Wähle das Wire-Objekt aus, und setze im Eigenschaften-Fenster:

   1. Setze SourceInstance auf dein neues AudioTextToSpeech, um anzugeben, dass du das Kabel für den Transport von Audio von diesem speziellen Audio-Sprechgenerator verwenden möchtest.
   2. Setze TargetInstance auf dein neues AudioEmitter, um anzugeben, dass du das Kabel für den Transport von Audio zu diesem speziellen Audio-Abstrahler innerhalb des Volumens verwenden möchtest.
5. Gehe zurück im Explorer-Fenster, navigiere zu StarterPlayer ⟩ StarterCharacterScripts, füge ein LocalScript hinzu, benenne es in PlayBasicTTSAudioWhenInVolume um und füge den folgenden Code in das lokale Skript ein:

local Workspace = game:GetService("Workspace")
local Players = game:GetService("Players")

local humanoid = script.Parent:WaitForChild("Humanoid")
local volumeDetector = Workspace.DialogueVolume
local trigger = humanoid:WaitForChild("Animator")
local debounce = false
local localPlayer = Players.LocalPlayer

volumeDetector.Touched:Connect(function(hit)
  if debounce then 
    return
  end

  local hitCharacter = hit:FindFirstAncestorWhichIsA("Model")
  local hitPlayer = Players:GetPlayerFromCharacter(hitCharacter)
	
  if hitPlayer ~= localPlayer then
    return
  end

  debounce = true
	
  local audioTextToSpeech = Workspace.DialogueVolume.AudioTextToSpeech
  audioTextToSpeech:Play()
  audioTextToSpeech.Ended:Wait()

  debounce = false
end)

1. Teste das Erlebnis, um den Anleitungstext zu hören, wenn dein Spielercharakter das Volumen um den Schneemann berührt.

Du kannst mit diesem Audio weiter experimentieren, indem du die Eigenschaften Text, VoiceID, Pitch und Speed auf neue Werte änderst. Die erzeugte Sprache wird völlig anders, ohne dass du eine neue Audiodatei für jedes Szenario aufnehmen und hochladen musst.

Kontextbezogene TTS

Kontextbezogene TTS ist eine fortgeschrittenere Form von Text-zu-Sprache, bei der die künstliche Stimme eine Textzeichenfolge in Bezug auf den Spieler, den Zustand ihrer Umgebung oder den Gameplay-Status liest. Das bedeutet, dass immer wenn der Spieler das TTS-Audio auslöst, die Wörter und die Art und Weise, wie die künstliche Stimme die Wörter liest, entsprechend angepasst wird.

Diese Form von TTS ist nützlich für Gameplay-Szenarien, die sich ständig ändern, wie z. B. richtungsbezogene Audiohinweise, Zielstatus oder einzigartige NPC-Interaktionen. Dementsprechend, weil kontextbezogene TTS transformiert werden muss, um genau zu sein, musst du Gameplay-Elemente konfigurieren, sodass du deren Status nachverfolgen kannst, während Spieler durch die Umgebung navigieren und Gameplay-Ziele abschließen.

Es gibt viele Möglichkeiten, diese Aufgabe zu erfüllen, das Beispiel verwendet benutzerdefinierte Attribute, um die Farbe und Standort jedes Gumpdrops zu verfolgen, den der Spieler sammeln muss, um das Lebkuchenhaus zu betreten. Weitere Informationen zu Attributen findest du unter Eigenschaften und Attribute.

Um das kontextbezogene 3D-TTS-Audio in der Beispieldatei Gingerbread House - Text-zu-Sprache nachzubilden:

1. Navigiere im Explorer-Fenster zu Workspace ⟩ GumDrops.
2. Konfiguriere drei benutzerdefinierte Attribute, um den gelben Gumpdrop zu verfolgen.

   1. Wähle den gelben Gumpdrop aus, navigiere dann im Eigenschaften-Fenster zum Abschnitt Attribute und klicke auf das Pluszeichen. Ein Popup-Dialog wird angezeigt.
   2. Gib im Feld Name ColorDescription ein.
   3. Wähle im Dropdown-Menü Typ string aus.
   4. Klicke auf die Schaltfläche Speichern.
   5. Setze das neue Attribut ColorDescription auf gelb.
   6. Erstelle mit diesem Verfahren zwei weitere Attribute mit den folgenden Werten.

3. Konfiguriere drei benutzerdefinierte Attribute, um den grünen Gumpdrop zu verfolgen.

   1. Wähle im Explorer-Fenster den grünen Gumpdrop aus.
   2. Erstelle im Eigenschaften-Fenster drei Attribute mit den folgenden Werten.

4. Konfiguriere drei benutzerdefinierte Attribute, um den roten Gumpdrop zu verfolgen.

   1. Wähle im Explorer-Fenster den roten Gumpdrop aus.
   2. Erstelle im Eigenschaften-Fenster drei Attribute mit den folgenden Werten.

5. Navigiere im Explorer-Fenster zu Workspace ⟩ HintVolume, dann:

   1. Füge ein AudioTextToSpeech-Objekt ein, um einen Audio-Sprechgenerator für das Volumen um das Rentier zu erstellen.
   2. Füge ein AudioEmitter-Objekt ein, um einen positionalen Stream aus HintVolume auszustrahlen.
   3. Füge ein Wire-Objekt hinzu, um den Stream vom Audio-Sprechgenerator zum Audio-Abstrahler zu transportieren.
6. Wähle das Wire-Objekt aus, und setze im Eigenschaften-Fenster:

   1. Setze SourceInstance auf dein neues AudioTextToSpeech, um anzugeben, dass du das Kabel für den Transport von Audio von diesem speziellen Audio-Sprechgenerator verwenden möchtest.
   2. Setze TargetInstance auf dein neues AudioEmitter, um anzugeben, dass du das Kabel für den Transport von Audio zu diesem speziellen Audio-Abstrahler innerhalb des Volumens verwenden möchtest.
7. Gehe zurück im Explorer-Fenster, navigiere zu StarterPlayer ⟩ StarterCharacterScripts, füge ein LocalScript hinzu, benenne es in PlayContextTTSAudioWhenInVolume um und füge den folgenden Code in das lokale Skript ein:

local Workspace = game:GetService("Workspace")
local Players = game:GetService("Players")

local humanoid = script.Parent:WaitForChild("Humanoid")
local volumeDetector = Workspace.HintVolume
local trigger = humanoid:WaitForChild("Animator")
local debounce = false
local localPlayer = Players.LocalPlayer

function getRemainingGumdrops(): {Part}
  local gumdropsFolder = Workspace.Gumdrops
  local gumdrops = gumdropsFolder:GetChildren()
  local remainingGumdrops = {};
  for _, gumdrop in gumdrops do
    if gumdrop:GetAttribute("Active") then
      remainingGumdrops[#remainingGumdrops + 1] = gumdrop
    end
  end
  table.sort(remainingGumdrops, function(a, b)
    return a:GetAttribute("HintOrder") < b:GetAttribute("HintOrder")
  end)
  return remainingGumdrops
end

function getReindeerHint(remainingGumdrops: {Part}): string
  local remainingGumdrops = getRemainingGumdrops()
  if (#remainingGumdrops == 0) then
    return "Es sind keine Gumpdrops mehr übrig. Schau im Haus nach."
  end
  local nextGumdrop = remainingGumdrops[1]
  local colorDescription = nextGumdrop:GetAttribute("ColorDescription")
  local locationDescription = nextGumdrop:GetAttribute("LocationDescription")
  local message = #remainingGumdrops > 1
    and  "Es sind noch " .. #remainingGumdrops .. " Gumpdrops übrig. Suche nach dem " .. colorDescription  .. "en " .. locationDescription  .. "."
    or "Es ist noch ein Gumpdrop übrig. Er ist " .. colorDescription .. " und er ist " .. locationDescription .. "."
  return message
end

volumeDetector.Touched:Connect(function(hit)
  if debounce then 
    return
  end

  local hitCharacter = hit:FindFirstAncestorWhichIsA("Model")
  local hitPlayer = Players:GetPlayerFromCharacter(hitCharacter)
	
  if hitPlayer ~= localPlayer then
    return
  end

  print("Spieler hat das Volumen berührt.")
  debounce = true

  local remainingGumdrops = getRemainingGumdrops()
  local message = getReindeerHint(remainingGumdrops)

  local audioTextToSpeech = Workspace.HintVolume.AudioTextToSpeech
  audioTextToSpeech.Text = message
  audioTextToSpeech:Play()
  audioTextToSpeech.Ended:Wait()

  debounce = false
end)

1. Teste die Erlebnisse, um kontextuelle Hinweise zu hören, wenn dein Spielercharakter das Volumen um das Rentier berührt. Das TTS-Audio ändert sich je nach Anzahl und Farbe der Gumpdrops, die der Spielercharakter bereits in der Umgebung gefunden hat.