زبان مدلهای زبانی بزرگ
مدلهای زبانی بزرگ که پشت چتباتها قرار دارند ممکن است حتی اگر در زبانهای دیگر از آنها سؤال شود، به «انگلیسی» فکر کنند. دلیلش این است که دادههای آموزشی آنها سوگیری دارند و مفاهیمی را رمزگذاری میکنند که در فرهنگهای انگلیسیزبان رایجتر هستند. برای اینکه…
خلاصه تحلیلی خبر
مدلهای زبانی بزرگ که پشت چتباتها قرار دارند ممکن است حتی اگر در زبانهای دیگر از آنها سؤال شود، به «انگلیسی» فکر کنند. دلیلش این است که دادههای آموزشی آنها سوگیری دارند و مفاهیمی را رمزگذاری میکنند که در فرهنگهای انگلیسیزبان رایجتر هستند. برای اینکه…
موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، انگلیسی، زبان، آنها، میکنند
مدلهای زبانی بزرگ که پشت چتباتها قرار دارند ممکن است حتی اگر در زبانهای دیگر از آنها سؤال شود، به «انگلیسی» فکر کنند. دلیلش این است که دادههای آموزشی آنها سوگیری دارند و مفاهیمی را رمزگذاری میکنند که در فرهنگهای انگلیسیزبان رایجتر هستند.
برای اینکه مشخص شود مدلهای زبانی در واقع از کدام زبان برای پردازش درخواستها استفاده میکنند، «کریس وندلر» (Chris Wendler)، «ونیامین وسلوفسکی» (Veniamin Veselovsky) و همکارانشان در مؤسسه فدرال فناوری سوئیس در لوزان سه نسخه از مدلLlama 2 که متعلق به شرکت مادر فیسبوک، یعنی Meta است را بررسی کردند.
وسلوفسکی عنوان میکند: «ما این مدلها را باز کردیم و هر یک از لایهها را بررسی کردیم.» مدلهای زبانی از لایههای پردازشی تشکیل شدهاند. این لایهها ورودی متنی را به «توکن» که واژهها یا بخشهایی از واژهها هستند تبدیل میکنند و سپس تلاش میکنند هر توکن را در بافت زمینه قرار دهند تا پاسخی ارائه کنند.
وسلوفسکی ادامه میدهد: «هر یک از این لایهها کاری روی ورودی، یعنی همان پرامپت اولیه که شما مینویسید، انجام میدهد. ما میخواستیم ببینیم آیا میتوانیم تشخیص دهیم که لایههای داخلی واقعاً در حال پردازش به زبان انگلیسی هستند؟»
سه پرامپت به زبان چینی، فرانسوی، آلمانی و روسی به مدلها داده شد. یکی از آنها درخواست میکرد واژه دادهشده را تکرار کنند؛ دیگری از آنها میخواست از یک زبان غیرانگلیسی به زبان دیگری ترجمه کنند و سومی از آنها میخواست جای خالی یک واژه را در جملهای مانند نمونه زیر پر کند.
«A ___ is used to play sports like soccer and basketball»
پپژوهشگران مسیر پردازش مدل را برای رسیدن به هر پاسخ دنبال کردند. آنها دریافتند که مسیر پردازش تقریباً همیشه از چیزی عبور میکند که آن را زیرفضای انگلیسی مینامند. اگر از مدل خواسته شود که از چینی به روسی ترجمه کند، کاراکترهای درست روسی از زیرفضای انگلیسی عبور میکنند و سپس به روسی بازمیگردند و به عقیده وسلوفسکی این نشانه قویای است که زبان انگلیسی برای درک مفاهیم توسط مدل به کار میرود.
نتایج تعجبآور نیست، اما میتواند نگرانکننده باشد. به گفته «آلیا بهاتیا» (Aliya Bhatia) از مرکز دموکراسی و فناوری واشنگتن: «دادههای باکیفیت بیشتری به زبان انگلیسی و برخی زبانهای رسمی سازمان ملل برای آموزش مدلها وجود دارد تا بیشتر زبانهای دیگر و در نتیجه؛ توسعهدهندگان هوش مصنوعی مدلهای خود را عمدتاً بر دادههای انگلیسی آموزش میدهند. اما استفاده از انگلیسی بهعنوان واسطه برای آموزش مدل در تحلیل زبان، خطر تحمیل یک جهانبینی محدود بر نواحی زبانی و فرهنگی دیگر را در پی دارد.»
برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.