إضافة تحويل الكلام إلى نص

تحويل الكلام إلى نص (STT) هو شكل من أشكال التكنولوجيا التي تنشئ تلقائيًا نصوصًا من أصوات الكلام. مع STT، يمكنك إنشاء عوالم أكثر غمرًا من خلال السماح للاعبين بالتحدث إلى الشخصيات غير القابلة للعب، وتوليد نصوص دون الحاجة إلى تسجيل صوتي محدد مسبقًا، وتحسين إمكانية الوصول للاعبين الذين يعانون من قيود حركية أو بصرية، وتوفير عناصر تحكم يدوية للاعبين من خلال اختصارات صوتية لإجراءات مثل فتح مخزونهم أو إلقاء تعويذة.

باستخدام منزل الزنجبيل - البداية .rbxl كنقطة انطلاق، يوضح لك هذا الدليل كيفية إضافة نص يتم توليده ديناميكيًا من الكلام إلى تجربتك، بما في ذلك إرشادات حول كيفية تنفيذ STT حتى يتمكن اللاعب من التفاعل مع الكائنات في عالمك ثلاثي الأبعاد.

كائنات الصوت

لإنشاء صوت STT، من المهم أن نفهم كائنات الصوت التي ستعمل بها طوال هذا الدليل. هناك ثلاثة أنواع من كائنات الصوت لـ STT:

• كائن AudioDeviceInput هو جهاز مادي في العالم الحقيقي، مثل ميكروفون في حاسوب محمول أو هاتف أو سماعة رأس.
• كائن AudioSpeechToText يحول أصوات الكلام إلى سلاسل نصية.
• Wires تحمل تدفقات الصوت من كائن إلى آخر.

تعمل جميع هذه الكائنات الصوتية معًا لتوليد نص STT استجابةً لأفعال اللاعب. على سبيل المثال، إذا كان اللاعب يرتدي سماعة رأس أثناء لعب تجربة باستخدام حاسوبه المحمول:

• يلتقط AudioDeviceInput كلام اللاعب كما يُقال في ميكروفونه وكتيار صوتي.
• تحمل Wire التيار الصوتي من AudioDeviceInput إلى AudioSpeechToText.
• يحول AudioSpeechToText كلام اللاعب إلى نص.
• تقرأ التجربة هذا النص وتقوم بتنفيذ إجراء، مثل عرض النص المنطوق على الشاشة أو فتح باب عند أمر اللاعب.

تفعيل استخدام الميكروفون

قبل إضافة STT إلى تجربة، يجب أولاً تفعيل استخدام الميكروفون ونشر التجربة.

1. افتح ملف منزل الزنجبيل - البداية في Studio.
2. أنشئ نسخة محلية.
3. انشر نسختك المحلية من التجربة.
4. عد إلى Studio، انتقل إلى ملف ⟩ إعدادات التجربة ⟩ الاتصالات.
5. قم بتشغيل تمكين الميكروفون.
6. احفظ تغييراتك.

إضافة التقاط كلام بسيط

لإضافة التقاط كلام بسيط إلى نسختك المحلية من ملف منزل الزنجبيل - البداية:

1. قم بتمكين استخدام أحدث واجهة برمجة التطبيقات للصوت.

   1. في نافذة Explorer، حدد VoiceChatService.
   2. في نافذة الخصائص، تعيين UseAudioApi إلى مفعل.

2. أنشئ كائنات الصوت الأساسية التي ستتيح لك التقاط الكلمات المنطوقة.

   1. في نافذة Explorer، انتقل إلى Workspace > DialogueVolume.
   2. احذف جميع الكائنات داخل مجلد DialogueVolume.
   3. أدخل الكائنات التالية في مجلد DialogueVolume:

      • AudioDeviceInput لالتقاط الكلام.
      • AudioSpeechToText لتحويل الكلام إلى نص.
      • Wire لحمل التيار من إدخال جهاز الصوت إلى مثيل STT.
   4. في نافذة الخصائص لكائن AudioSpeechToText، قم بتعيين حالة Enabled إلى ON.
   5. في نافذة الخصائص لكائن Wire:

      1. قم بتعيين SourceInstance إلى AudioDeviceInput الجديد ليحدد أنك تريد أن تحمل السلك الصوت من هذه المثيلة الصوتية المحددة.
      2. قم بتعيين TargetInstance إلى AudioSpeechToText الجديد ليحدد أنك تريد أن تحمل السلك الصوت إلى هذه المثيلة الصوتية المحددة.

3. قم بتعيين خاصية Player لإدخال جهاز الصوت إلى اللاعب المحلي في وقت التشغيل. هذا يخبر Roblox من أي ميكروفون المستخدم يجب التقاط الصوت.

   1. في نافذة Explorer، انتقل إلى StarterPlayer > StarterCharacterScripts.
   2. أدخل LocalScript وسمه ListenForMagicWord.
   3. ألصق الشيفرة التالية في البرنامج النصي المحلي الجديد:

   local audioDeviceInput = workspace:WaitForChild('DialogueVolume'):WaitForChild('AudioDeviceInput')
   
     -- يربط الميكروفون باللاعب المحلي
     audioDeviceInput.Player = game.Players.LocalPlayer

اختبار التقاط الكلام الخاص بك

بعد إضافة التقاط الكلام البسيط، يمكنك اختبار التجربة للتأكد من أن تنفيذ STT الخاص بك يعمل بشكل صحيح. يجب أن يؤدي التحدث في الميكروفون إلى ملء خاصية AudioSpeechToText بنسخة نصية من كلامك.

لاختبار التقاط الكلام:

1. تحت اختبار > العملاء والخوادم، اختر اختبار الفريق.
2. انقر على بدء لبدء خادم الاختبار.
3. في خادم الاختبار الجديد، قم بإلغاء كتم صوت الميكروفون وتحدث ببعض الكلمات.
4. في نافذة Explorer، انتقل إلى Workspace > DialogueVolume > AudioSpeechToText.
5. في نافذة الخصائص لـ AudioSpeechToText، تأكد من أن الكلمات التي قدتها في الميكروفون قد ظهرت كقيمة لخاصية Text.

استخدام STT مع طريقة اللعب

لربط STT بطريقة اللعب وجعل باب منزل الزنجبيل يفتح عندما يقول اللاعب "افتح يا سمسم" في الميكروفون الخاص به:

1. أنشئ حدث عن بُعد لربط العميل بالخادم.

   1. في نافذة Explorer، أدخل RemoteEvent تحت ReplicatedStorage.
   2. سمها OpenDoor.

2. أضف نصًا جديدًا لحركة فتح باب منزل الزنجبيل.

   1. تحت ServerScriptService، أدخل نصًا جانب الخادم Script.
   2. سمها DoorService.
   3. ألصق الشيفرة التالية في النص الجديد:

   -- يحصل على خدمة ReplicatedStorage للتخزين المشترك بين الخادم والعميل
     -- يحصل على TweenService لنظام التويين
     local ReplicatedStorage = game:GetService("ReplicatedStorage")
     local TweenService = game:GetService("TweenService")
   
     -- يسمح للعميل بطلب من الخادم لفتح الباب
     local remoteEvent = ReplicatedStorage:WaitForChild("OpenDoor")
   
     -- وظيفة تحرك الباب للأسفل وتفتح
     local function openDoor()
       local doorPart = workspace:WaitForChild("Door")
       local tweenInfo = TweenInfo.new(2, Enum.EasingStyle.Linear)
       local tween = TweenService:Create(doorPart, tweenInfo, {Position = doorPart.Position + Vector3.new(0, -15, 0)})
       tween:Play()
     end
   
     -- يربط الوظيفة بالحدث
     remoteEvent.OnServerEvent:Connect(openDoor)

3. ربط الباب بتحويل الكلام إلى نص حتى يحدث إجراء عندما يتحدث اللاعب في ميكروفونه.

   1. اذهب إلى StarterPlayer > StarterCharacterScripts.
   2. افتح نص ListenForMagicWord الذي أنشأته سابقًا.
   3. أضف الأسطر التالية:

   -- يحصل على خدمة ReplicatedStorage للتخزين المشترك بين الخادم والعميل 
     local ReplicatedStorage = game:GetService("ReplicatedStorage")
   
     -- يحصل على RemoveEvent الذي سيطلقه العميل للخادم
     local remoteEvent = ReplicatedStorage:WaitForChild("OpenDoor")
   
     -- يجد عقدة STT في رسمة المشهد
     -- يتم تحديث خاصية النص الخاصة بالعقدة عندما تتعرف على الكلام
     local speechToText = workspace:WaitForChild('DialogueVolume'):WaitForChild('AudioSpeechToText')
   
     -- وظيفة تخبر الخادم بفتح الباب إذا التقط STT اللاعب وهو يقول "افتح يا سمسم"
     speechToText:GetPropertyChangedSignal('Text'):Connect(function()
       local text = speechToText.Text
   
       if text == '' then
         return
       end
       print(text)
   
       if (text.find(text, 'افتح يا سمسم') ~= nil)  then
         remoteEvent:FireServer()
       end
     
       speechToText.Text = ''
     end)

4. اختبر تنفيذ STT الخاص بك.

   1. تحت اختبار > العملاء والخوادم، اختر اختبار الفريق.
   2. انقر على ابدأ لبدء خادم الاختبار.
   3. في خادم الاختبار الجديد، اقترب من الباب، ألغِ كتم صوت الميكروفون، وقل "افتح يا سمسم". يجب أن يفتح الباب ويسمح لك بالدخول إلى منزل الزنجبيل.