جزء من سلسلة مقالات حول
الذكاء الاصطناعي
الأهداف الرئيسية ذكاء عام اصطناعي وكيل ذكي تحسين الذات المتكرر  [لغات أخرى]‏ التخطيط رؤية حاسوبية لعب لعبة عامة تمثيل المعرفة معالجة اللغة الطبيعية روبوتية سلامة الذكاء الاصطناعي
النهج تعلم الآلة ذكاء اصطناعي رمزي تعلم متعمق شبكة بايزية خوارزمية تطورية نظام ذكي هجين  [لغات أخرى]‏ تكامل الأنظمة  [لغات أخرى]‏
التطبيقات المعلوماتية الحيوية تزييف عميق علوم الارض مالية ذكاء اصطناعي مولد الفن صوت  [لغات أخرى]‏ موسيقى الحكومة الصحة صناعة الصحة العقلية ترجمة آلية عسكرية الفيزياء المشاريع  [لغات أخرى]‏
الفلسفة وعي اصطناعي الغرفة الصينية الذكاء الاصطناعي الصديق مشكلة التحكم/السيطرة الأخلاقيات الخطر الوجودي اختبار تورنغ التنظيم
التاريخ الجدول الزمني التقدم شتاء الذكاء الاصطناعي طفرة الذكاء الاصطناعي
مصطلحات مصطلحات
ع ن ت

تقنية التزييف الصوتي العميق (بالإنجليزية: Audio deepfake)، والتي يشار إليها أيضًا باسم استنساخ الصوت (بالإنجليزية: voice cloning) أو الصوت العميق (بالإنجليزية: deepfake audio)، هي تطبيق للذكاء الاصطناعي مصمم لتوليد كلام يحاكي أفرادًا معينين بشكل مقنع، وغالبًا ما يقوم بتوليف عبارات أو جمل لم يتحدثوا بها أبدًا.^[1][2][3][4] تم تطويره في البداية بهدف تحسين جوانب مختلفة من حياة الإنسان، وله تطبيقات عملية مثل إنشاء الكتب الصوتية ومساعدة الأفراد الذين فقدوا أصواتهم بسبب الظروف الطبية.^[5][6] بالإضافة إلى ذلك، فإن لها استخدامات تجارية، بما في ذلك إنشاء مساعدين رقميين مخصصين، وأنظمة تحويل النص إلى كلام ذات صوت طبيعي، وخدمات ترجمة الكلام المتقدمة.^[7]

أصبحت عمليات التلاعب الصوتي العميق، والتي يشار إليها باسم عمليات التلاعب بالصوت بدءًا من أوائل عشرينيات القرن الحادي والعشرين، متاحة على نطاق واسع باستخدام الأجهزة المحمولة البسيطة أو أجهزة الكمبيوتر الشخصية.^[8] وقد تم استخدام هذه الأدوات أيضًا لنشر معلومات مضللة باستخدام الصوت.^[3] وقد أدى هذا إلى مخاوف تتعلق بالأمن السيبراني بين عامة الناس في جميع أنحاء العالم بشأن الآثار الجانبية لاستخدام التزييفات الصوتية العميقة، بما في ذلك دورها المحتمل في نشر المعلومات المضللة والمضللة في منصات التواصل الاجتماعي القائمة على الصوت.^[9] يمكن للناس استخدامها كتقنية لتزييف الصوت للوصول المنطقي  ^{[لغات أخرى]}‏،^[10] حيث يمكن استخدامها للتلاعب بالرأي العام لأغراض الدعاية أو التشهير أو الإرهاب. يتم نقل كميات هائلة من التسجيلات الصوتية يوميًا عبر الإنترنت، ويشكل اكتشاف التزييف تحديًا كبيرًا.^[11] استهدف مهاجمو التزييف الصوتي الأفراد والمنظمات، بما في ذلك السياسيين والحكومات.^[12]

في عام 2019، انتحل المحتالون الذين يستخدمون الذكاء الاصطناعي صوت  ^{[لغات أخرى]}‏ الرئيس التنفيذي لشركة طاقة ألمانية وأصدروا توجيهات إلى الرئيس التنفيذي لشركة فرعية في المملكة المتحدة بتحويل €220٬000.^[13] في أوائل عام 2020، انتحلت نفس التقنية شخصية مدير شركة كجزء من مخطط متقن أقنع مدير فرع بتحويل 35 مليون دولار.^[14]

وفقًا لمسح عالمي أجرته شركة مكافي في عام 2023، أفاد شخص واحد من كل عشرة أشخاص بأنه كان مستهدفًا من قبل عملية احتيال استنساخ صوت الذكاء الاصطناعي؛ وأفاد 77% من هؤلاء المستهدفين بخسارة أموالهم بسبب عملية الاحتيال.^[15][16]يمكن أن تشكل عمليات التزييف الصوتي العميق أيضًا خطرًا على أنظمة التعرف الصوتي التي تستخدمها المؤسسات المالية حاليًا.^[17][18] في مارس 2023، أصدرت لجنة التجارة الفيدرالية الأمريكية تحذيرًا للمستهلكين بشأن استخدام الذكاء الاصطناعي لتزييف صوت أحد أفراد الأسرة في محنة يطلب المال.^[19]

في أكتوبر 2023، أثناء بدء مؤتمر حزب العمال البريطاني في ليفربول، تم إصدار تسجيل صوتي مزيف لزعيم حزب العمال كير ستارمر يصوره زوراً وهو يسيء لفظياً إلى موظفيه وينتقد ليفربول.^[20] في نفس الشهر، ادعى تسجيل صوتي مزيف للسياسي السلوفاكي ميخال شيميتشكا زوراً أنه يصوره وهو يناقش طرق تزوير الانتخابات القادمة.^[21]

خلال الحملة الانتخابية للانتخابات التمهيدية الرئاسية الديمقراطية في نيو هامبشاير عام 2024  ^{[لغات أخرى]}‏، تلقى أكثر من 20 ألف ناخب مكالمات آلية من رئيس جو بايدن المتنكر بالذكاء الاصطناعي يحثهم على عدم التصويت.^[22][23] قال المدعي العام لولاية نيو هامبشاير إن هذا ينتهك قوانين الانتخابات في الولاية، وزعم تورط شركة لايف وشركة لينجو تيليكوم.^[24] في فبراير 2024، حظرت لجنة الاتصالات الفيدرالية الأمريكية استخدام الذكاء الاصطناعي لتزييف الأصوات في المكالمات الآلية.^[25][26] وفي الشهر نفسه، اعترف المستشار السياسي ستيف كرامر بأنه كلف بإجراء المكالمات بمبلغ 500 دولار. وقال إنه أراد لفت الانتباه إلى الحاجة إلى قواعد تحكم استخدام الذكاء الاصطناعي في الحملات السياسية.^[27] وفي مايو/أيار، قالت لجنة الاتصالات الفيدرالية إن كرامر انتهك القانون الفيدرالي من خلال تزييف رقم شخصية سياسية محلية، واقترحت غرامة قدرها 6 ملايين دولار. وجهت أربع مقاطعات في نيو هامبشاير اتهامات إلى كرامر بارتكاب جناية قمع الناخبين وانتحال شخصية مرشح، وهي جنحة.^[28]

يمكن تقسيم التزييفات الصوتية العميقة إلى ثلاث فئات مختلفة:

تعتبر عمليات التزييف العميق القائمة على إعادة التشغيل أعمالًا خبيثة تهدف إلى إعادة إنتاج تسجيل لصوت المحاور.^[29]

هناك نوعان: الكشف عن المجال البعيد والكشف عن طريق القص واللصق. في الكشف عن المجال البعيد، يتم تشغيل تسجيل الميكروفون للضحية كقطعة اختبار على هاتف بدون استخدام اليدين.^[30] من ناحية أخرى، يتضمن النسخ واللصق تزييف الجملة المطلوبة من نظام يعتمد على النص.^[11] يمكن استخدام التحقق من المتحدث المعتمد على النص للدفاع ضد الهجمات القائمة على الإعادة.^[29][31] التقنية الحالية التي تكتشف هجمات الإعادة من البداية إلى النهاية هي استخدام الشبكات العصبية التلافيفية العميقة.^[32]

تشير الفئة القائمة على تركيب الكلام إلى الإنتاج الاصطناعي للكلام البشري، باستخدام برامج أنظمة البرمجيات أو الأجهزة. يتضمن تركيب الكلام تحويل النص إلى كلام، والذي يهدف إلى تحويل النص إلى كلام مقبول وطبيعي في الوقت الحقيقي،^[33] مما يجعل صوت الكلام متوافقًا مع النص المدخل، باستخدام قواعد الوصف اللغوي للنص.

تحديدًا، النص المنقول بصوت المتحدث المستهدف هو مُدخل نموذج التوليد. تُعالج وحدة تحليل النص النص المُدخل وتُحوّله إلى سمات لغوية. ثم تُستخرج الوحدة الصوتية مُعاملات المتحدث المستهدف من البيانات الصوتية بناءً على السمات اللغوية التي تُولّدها وحدة تحليل النص.^[8] أخيرًا، يتعلم مُرمِّز الصوت إنشاء أشكال موجية صوتية بناءً على معلمات الخصائص الصوتية. يُولَّد ملف الصوت النهائي، متضمنًا محاكاة صوتية تركيبية بتنسيق موجية، مما يُنشئ صوتًا كلاميًا بأصوات العديد من المتحدثين، حتى غير المُدرَّبين.

كان الاختراق الأول في هذا الصدد هو الذي قدمته ويف نت،^[34] وهي شبكة عصبية لتوليد أشكال موجية صوتية خام قادرة على محاكاة خصائص العديد من مكبرات الصوت المختلفة. لقد تم التفوق على هذه الشبكة على مر السنين من قبل أنظمة أخرى^{[35][36][37][38][39][40]} والتي تقوم بتوليف الأصوات الاصطناعية الواقعية للغاية في متناول الجميع.^[41]

يعتمد تحويل النص إلى كلام بشكل كبير على جودة مجموعة الصوت المستخدمة لتحقيق النظام، كما أن إنشاء مجموعة صوتية كاملة يعد أمرًا مكلفًا.^{[بحاجة لمصدر]} من العيوب الأخرى عدم تمييز أنظمة تركيب الكلام للنقاط أو الأحرف الخاصة. كما أن مشاكل الغموض مستمرة، إذ قد تحمل كلمتان مكتوبتان بنفس الطريقة معانٍ مختلفة.^{[بحاجة لمصدر]}

التزييف الصوتي المبني على التقليد هو طريقة لتحويل الكلام الأصلي من متحدث واحد – الأصلي – بحيث يبدو وكأنه متحدث آخر – الشخص المستهدف.^[42] تعتمد الخوارزمية القائمة على التقليد على أخذ إشارة منطوقة كمدخلات وتغييرها عن طريق تغيير أسلوبها أو نبرتها أو عروضها، في محاولة لتقليد الصوت المستهدف دون تغيير المعلومات اللغوية.^[43] تُعرف هذه التقنية أيضًا باسم تحويل الصوت.

غالبًا ما يُخلط بين هذه الطريقة والطريقة التركيبية السابقة، لعدم وجود فصل واضح بينهما فيما يتعلق بعملية التوليد. في الواقع، تُعدّل كلتا الطريقتين الخصائص الطيفية الصوتية والأسلوبية لإشارة الصوت الكلامية، إلا أن الطريقة القائمة على التقليد عادةً ما تُبقي نصي الإدخال والإخراج دون تغيير. ويتم ذلك بتغيير طريقة نطق الجملة لتتوافق مع خصائص المتحدث المستهدف.^[44]

يمكن تقليد الأصوات بعدة طرق، مثل استخدام البشر ذوي الأصوات المشابهة التي يمكنها تقليد المتحدث الأصلي. في السنوات الأخيرة، كان النهج الأكثر شيوعًا يتضمن استخدام شبكات عصبية معينة تسمى الشبكات التنافسية التوليدية (GAN) نظرًا لمرونتها بالإضافة إلى نتائجها عالية الجودة.^[29][42]

بعد ذلك، يتم تحويل الإشارة الصوتية الأصلية إلى كلام في الصوت المستهدف باستخدام طريقة توليد التقليد التي تولد كلامًا جديدًا، يظهر في الصوت المزيف.

تحدد مهمة اكتشاف التزييف الصوتي العميق ما إذا كان صوت الكلام المقدم حقيقيًا أم مزيفًا.

في الآونة الأخيرة، أصبح هذا موضوعًا ساخنًا في مجتمع البحث الجنائي، في محاولة لمواكبة التطور السريع في تقنيات التزوير.

بشكل عام، يمكن تقسيم أساليب كشف التزييف العميق إلى فئتين بناءً على الجانب الذي تعتمد عليه لإجراء مهمة الكشف. تُركز الفئة الأولى على الجوانب البسيطة، باحثةً عن الآثار التي تُدخلها المُولِّدات على مستوى العينة. أما الفئة الثانية، فتُركز على الميزات عالية المستوى التي تُمثل جوانب أكثر تعقيدًا، كالمحتوى الدلالي لتسجيل الصوت الصوتي.

لقد تم تطوير العديد من نماذج التعلم الآلي باستخدام استراتيجيات مختلفة للكشف عن الصوت المزيف. في أغلب الأحيان، تتبع هذه الخوارزميات إجراءً مكونًا من ثلاث خطوات:

1. يجب معالجة كل تسجيل صوتي للكلام مسبقًا وتحويله إلى ميزات صوتية مناسبة؛
2. يتم إدخال الميزات المحسوبة في نموذج الكشف، الذي يقوم بالعمليات الضرورية، مثل عملية التدريب، الضرورية للتمييز بين الصوت الحقيقي والمزيف؛
3. يتم إدخال الإخراج إلى الوحدة النهائية لإنتاج احتمالية التنبؤ بالفئة المزيفة أو الفئة الحقيقية. وفقًا لتسمية تحدي (ASVspoof)^[45]، يتم الإشارة إلى الصوت المزيف بمصطلح (Spoof)، ويتم تسمية الصوت الحقيقي بدلاً من ذلك باسم (Bonafide).

على مر السنين، أظهر العديد من الباحثين أن أساليب التعلم الآلي أكثر دقة من أساليب التعلم العميق، بغض النظر عن الميزات المستخدمة.^[8] مع ذلك، لم تُؤكَّد قابلية توسُّع أساليب التعلُّم الآلي بسبب التدريب المُفرط واستخراج الميزات يدويًا، خاصةً مع العديد من ملفات الصوت. بل عند استخدام خوارزميات التعلُّم العميق، يلزم إجراء تحويلات مُحدَّدة على ملفات الصوت لضمان قدرة الخوارزميات على التعامل معها.

هناك العديد من التطبيقات مفتوحة المصدر لطرق الكشف المختلفة،^[46][47][48] وعادةً ما تقوم العديد من مجموعات البحث بنشرها على خدمة استضافة عامة مثل غيت هاب.

يُعدّ التزييف الصوتي العميق مجالًا بحثيًا حديثًا جدًا. ولذلك، تتعدد إمكانيات التطوير والتحسين، بالإضافة إلى المخاطر المحتملة التي قد يُشكّلها اعتماد هذه التقنية على حياتنا اليومية. وفيما يلي أهمها.

فيما يتعلق بالجيل، فإن الجانب الأكثر أهمية هو مصداقية الضحية، أي الجودة الإدراكية للصوت العميق.

تحدد عدة مقاييس مستوى دقة إنشاء مقاطع صوتية مزيفة، وأكثرها استخدامًا هو متوسط درجة الرأي  ^{[لغات أخرى]}‏ (MOS)، وهو المتوسط الحسابي لتقييمات المستخدمين. عادةً، يتضمن الاختبار الذي يجب تقييمه تقييمًا إدراكيًا للجمل التي تم إنشاؤها بواسطة خوارزميات توليد الكلام المختلفة. أظهر هذا المؤشر أن الصوت الناتج عن الخوارزميات المدربة على مكبر صوت واحد يتمتع بـ MOS أعلى.^{[44][34][49][50][39]}

يلعب معدل أخذ العينات أيضًا دورًا أساسيًا في اكتشاف وتوليد مقاطع صوتية مزيفة. حاليًا، تحتوي مجموعات البيانات المتاحة على معدل أخذ عينات يبلغ حوالي 16 كيلوهرتز، مما يقلل بشكل كبير من جودة الكلام. قد تؤدي زيادة معدل أخذ العينات إلى إنتاج جودة أعلى.^[37]

في مارس 2020، أظهر باحث في معهد ماساتشوستس للتكنولوجيا إمكانية إنشاء مقاطع صوتية عميقة بكفاءة البيانات من خلال 15.ai، وهو تطبيق ويب قادر على إنشاء كلام عالي الجودة باستخدام 15 ثانية فقط من بيانات التدريب،^[51][52] مقارنة بالأنظمة السابقة التي تطلبت عشرات الساعات.^[53] نفذ النظام نموذجًا موحدًا متعدد المتحدثين يتيح التدريب المتزامن لأصوات متعددة من خلال تضمينات المتحدثين، مما يسمح للنموذج بتعلم الأنماط المشتركة عبر الأصوات المختلفة حتى عندما تفتقر الأصوات الفردية إلى أمثلة لسياقات عاطفية معينة.^[54] قامت المنصة بدمج تحليل المشاعر من خلال إيموجي للتعبير العاطفي ودعم التحكم الدقيق في النطق عبر النسخ الصوتية أربابت.^[55] تم تأكيد معيار كفاءة البيانات لمدة 15 ثانية لاحقًا بواسطة أوبن أيه آي في عام 2024.^[56]

إذا ركزنا على جزء الكشف، فإن أحد نقاط الضعف الرئيسية التي تؤثر على النماذج الحديثة هي اللغة المعتمدة.

تُركز معظم الدراسات على اكتشاف التزييف الصوتي العميق في اللغة الإنجليزية، ولا تُولي اهتمامًا كبيرًا للغات الأكثر تحدثًا مثل الصينية والإسبانية،^[57] وكذلك الهندية والعربية.

ومن الضروري أيضًا مراعاة المزيد من العوامل المتعلقة باللهجات المختلفة التي تمثل طريقة النطق المرتبطة ارتباطًا وثيقًا بشخص معين أو مكان أو دولة معينة. في مجالات أخرى للصوت، مثل التعرف على المتحدث، وجد أن اللهجة تؤثر على الأداء بشكل كبير،^[58] لذا فمن المتوقع أن تؤثر هذه الميزة على أداء النماذج حتى في مهمة الكشف هذه.

علاوة على ذلك، أدت المعالجة المسبقة المفرطة لبيانات الصوت إلى تكلفة حسابية عالية جدًا وغير مستدامة في كثير من الأحيان. لهذا السبب، اقترح العديد من الباحثين اتباع نهج التعلم الذاتي الإشرافي،^[59] والتعامل مع البيانات غير المصنفة للعمل بشكل فعال في مهام الكشف وتحسين قابلية توسع النموذج، وفي الوقت نفسه تقليل التكلفة الحسابية.

لا يزال تدريب واختبار النماذج باستخدام بيانات صوتية حقيقية مجالًا غير متطور. في الواقع، يُمكن لاستخدام الصوت مع ضوضاء خلفية واقعية أن يزيد من قوة نماذج كشف الصوت الزائف.

بالإضافة إلى ذلك، يركز معظم الجهد على اكتشاف التزييفات الصوتية العميقة القائمة على المواد التركيبية، وتقوم دراسات قليلة بتحليل التزييفات الصوتية القائمة على التقليد بسبب صعوبتها الجوهرية في عملية التوليد.^[11]

على مر السنين، كانت هناك زيادة في التقنيات التي تهدف إلى الدفاع ضد الإجراءات الخبيثة التي يمكن أن تجلبها تقنية التزييف الصوتي العميق، مثل سرقة الهوية والتلاعب بالخطابات التي يلقيها حكام البلاد.

لمنع التزييف العميق، يقترح البعض استخدام تقنية البلوك تشين وتقنيات دفتر الأستاذ الموزع الأخرى (DLT) لتحديد مصدر البيانات وتتبع المعلومات.^{[8][60][61][62]}

وقد تم اقتراح استخراج ومقارنة الإشارات العاطفية المقابلة للعواطف المتصورة من المحتوى الرقمي أيضًا لمكافحة التزييف العميق.^[63][64][65]

هناك جانبٌ حاسمٌ آخر يتعلق بتخفيف هذه المشكلة. وقد اقتُرح أنه من الأفضل الاحتفاظ ببعض أدوات الكشف الحصرية لمن يحتاجها فقط، مثل أدوات التحقق من الحقائق للصحفيين.^[29] بهذه الطريقة، فإن أولئك الذين يصنعون نماذج التوليد، ربما لأغراض شريرة، لن يعرفوا على وجه التحديد الميزات التي تسهل اكتشاف التزييف العميق،^[29] تثبيط المهاجمين المحتملين.

لتحسين عملية الكشف بدلاً من ذلك، يحاول الباحثون تعميم العملية،^[66] البحث عن تقنيات المعالجة المسبقة التي تعمل على تحسين الأداء واختبار وظائف الخسارة المختلفة المستخدمة للتدريب.^[10][67]

تعمل مجموعات بحثية عديدة حول العالم على كشف عمليات التلاعب بالوسائط، مثل التزييف العميق للصوت، وكذلك التزييف العميق للصور والفيديو. عادةً ما تُدعم هذه المشاريع بتمويل عام أو خاص، وتتواصل بشكل وثيق مع الجامعات ومؤسسات البحث.

ولتحقيق هذه الغاية، تدير وكالة مشاريع الأبحاث الدفاعية المتقدمة (DARPA) برنامج الطب الشرعي الدلالي (SemaFor).^[68][69] من خلال الاستفادة من بعض الأبحاث من برنامج الطب الشرعي للإعلام (MediFor)^[70][71]، أيضًا من وكالة مشاريع الأبحاث الدفاعية المتقدمة، سيتعين على خوارزميات الكشف الدلالي هذه تحديد ما إذا كان قد تم إنشاء كائن الوسائط أو التلاعب به، لأتمتة تحليل مصدر الوسائط واكتشاف النية وراء تزوير المحتوى المختلف.^[72][68]

برنامج بحثي آخر هو برنامج الحفاظ على ثقة وسائل الإعلام في عصر الذكاء الاصطناعي (PREMIER)^[73]، الممول من قبل وزارة التعليم والجامعات والبحث الإيطالية (MIUR) وتديره خمس جامعات إيطالية. ستسعى برنامج الحفاظ على ثقة وسائل الإعلام في عصر الذكاء الاصطناعي إلى اتباع نهج هجين جديد للحصول على أجهزة كشف جنائية أكثر قابلية للتفسير وأكثر أمانًا.^[74]

DEEP-VOICE^[75] مجموعة بيانات متاحة للعامة، مُصممة لأغراض بحثية لتطوير أنظمة للكشف عن توليد الكلام باستخدام الشبكات العصبية من خلال عملية تُسمى تحويل الصوت القائم على الاسترجاع (RVC). أظهرت الأبحاث الأولية اختلافات إحصائية عديدة بين السمات الموجودة في الكلام البشري وتلك المُولّدة بواسطة خوارزميات الذكاء الاصطناعي.

في السنوات القليلة الماضية، تم تنظيم العديد من التحديات لدفع هذا المجال من أبحاث التزييف الصوتي إلى أبعد من ذلك.

التحدي الأكثر شهرة في العالم هو ASVspoof،^[45] تحدي انتحال هوية المتحدث التلقائي والتدابير المضادة. هذا التحدي مبادرة مجتمعية نصف سنوية تهدف إلى تعزيز الاهتمام بانتحال الهوية وتطوير التدابير المضادة.^[76]

التحدي الأخير الآخر هو اضطراب نقص الانتباه وفرط الحركة.^[77]—اكتشاف التزييف الصوتي العميق—الذي يأخذ في الاعتبار المواقف المزيفة في سيناريو أكثر واقعية.^[78]

تحدي تحويل الصوت أيضًا^[79] هو تحدي نصف سنوي، تم إنشاؤه بهدف مقارنة أنظمة وأساليب تحويل الصوت المختلفة باستخدام نفس بيانات الصوت.

في 22 مايو 2025، زُعم أن منتج ريد سبيك من شركة هويا كوربوريشن  ^{[لغات أخرى]}‏ استخدم عمل تسجيل قامت به الممثلة غايان بوتر لصالحهم في عام 2021 والذي فهمت في ذلك الوقت أنه سيتم استخدامه فقط لبرامج إمكانية الوصول والتعلم الإلكتروني، ولكنه متاح الآن بشكل عام بصوت Iona ويُستخدم كمذيع في قطارات سكوت ريل  ^{[لغات أخرى]}‏.^{[80][81][82][82][83][84][85][86]}