معماری‌ جدید هوش مصنوعی می‌تواند مدل‌های زبانی بزرگ را متحول کند

به گزارش شبکه اطلاع‌رسانی طلا و ارز و به نقل از دیکریپت، دو طراحی جدید شبکه‌های عصبی وعده می‌دهند که مدل‌های هوش مصنوعی را تطبیق‌پذیرتر و کارآمدتر کنند و شیوه یادگیری و پیشرفت هوش مصنوعی را دگرگون سازند. طی هفته‌های اخیر، پژوهشگران گوگل و شرکت ژاپنی ساکانا دو معماری پیشرفته شبکه عصبی را معرفی کرده‌اند که می‌تواند صنعت هوش مصنوعی را متحول کند.

این فناوری‌ها که به نام‌های تایتانز (Titans) از گوگل و ترنسفورمرز اسکوئرد (Transformers Squared) از ساکانا شناخته می‌شوند، به دنبال به چالش کشیدن سلطه معماری ترانسفورمرها هستند؛ فناوری که طی شش سال گذشته هسته پیشرفت‌های هوش مصنوعی بوده است. طراحی‌های جدید با الهام از مغز انسان، از حافظه مرحله‌ای و ماژول‌های متخصص مستقل استفاده می‌کنند، به‌جای اینکه کل مدل را برای هر مسئله به کار گیرند. این رویکرد، سیستم‌های هوش مصنوعی را هوشمندتر، سریع‌تر، و انعطاف‌پذیرتر می‌کند، بدون اینکه اندازه یا هزینه آن‌ها افزایش یابد.

محدودیت‌های ترانسفورمرها

معماری ترانسفورمر، که مبنای مدل‌هایی مانند ChatGPT است، برای وظایف توالی‌محور مثل مدل‌سازی زبان و ترجمه طراحی شده است. این فناوری با استفاده از «مکانیسم‌های توجه» به‌طور موازی داده‌ها را پردازش می‌کند و فهم متن در زمینه را ممکن می‌سازد. اگرچه ترانسفورمرها موفقیت چشمگیری داشتند، اما در مقیاس‌پذیری و تطبیق‌پذیری با چالش‌هایی مواجه بودند. مدل‌های بزرگ‌تر قدرتمندتر هستند، اما بهبود آن‌ها پس از آموزش دشوار است و معمولاً به طراحی مدل‌های جدید یا ابزارهای جانبی متکی هستند.

تغییر رویکرد با گوگل و ساکانا

معماری‌های جدید گوگل و ساکانا می‌توانند این محدودیت‌ها را پشت سر بگذارند و قواعد فعلی «هرچه بزرگ‌تر، بهتر» در هوش مصنوعی را تغییر دهند. این تحولات نویدبخش دوره‌ای جدید در هوش مصنوعی با کارایی بیشتر و هزینه کمتر هستند.

تایتانز: معماری حافظه برای ارتقای عملکرد مدل‌های AI

معماری «Titans» که توسط تیم تحقیقاتی گوگل توسعه یافته، به جای تغییر نحوه پردازش اطلاعات، بر ذخیره و بازیابی آن تمرکز دارد. این معماری یک ماژول حافظه بلندمدت عصبی معرفی می‌کند که می‌تواند در زمان تست، اطلاعات را به صورت پویا به خاطر بسپارد، مشابه نحوه عملکرد حافظه انسان. در حال حاضر، مدل‌های هوش مصنوعی حافظه کوتاه‌مدت قدرتمندی دارند اما در ذخیره‌سازی اطلاعات بلندمدت یا بازیابی داده‌های خاص در میان حجم زیادی از اطلاعات ضعیف عمل می‌کنند. Titans این مشکل را با ترکیب سه نوع سیستم حافظه حل می‌کند:

1. حافظه کوتاه‌مدت: مشابه ترانسفورمرهای سنتی.
2. حافظه بلندمدت: برای ذخیره‌سازی زمینه‌های تاریخی.
3. حافظه پایدار: برای دانش مربوط به وظایف خاص.

این رویکرد چندلایه امکان پردازش توالی‌هایی با بیش از ۲ میلیون توکن را فراهم می‌کند، بسیار بیشتر از ظرفیت ترانسفورمرهای فعلی.

ویژگی‌ها و عملکرد:

• کاربردها: بهبود در مدل‌سازی زبان، استدلال عمومی و تحقیقات ژنتیکی.
• تخصص در وظایف دشوار: مانند پیدا کردن اطلاعات خاص در میان داده‌های حجیم.
• الهام از مغز انسان: فعال‌سازی مناطق خاص برای وظایف مختلف و بازپیکربندی شبکه‌ها بر اساس نیازها.

ترنسفورمرز اسکوئرد: هوش مصنوعی خود-تطبیق‌پذیر

دو هفته پس از معرفی Titans، تیمی از محققان ساکانا AI و مؤسسه علوم توکیو، معماری «Transformer Squared» را معرفی کردند که به مدل‌های هوش مصنوعی امکان می‌دهد در زمان اجرا، رفتار خود را بر اساس وظیفه تغییر دهند.

عملکرد اصلی:

• سیستم دو مرحله‌ای:
  1. شناسایی ویژگی‌های وظیفه توسط یک سیستم ارسال.
  2. ترکیب بردارهای متخصص آموزش‌دیده برای رفتار هدفمند در پاسخ به درخواست.
• روش کارآمد: به جای تغییر کامل مدل، فقط وزن‌های خاصی را در طول استنتاج تنظیم می‌کند.

اگرچه این معماری زمان پردازش بیشتری نیاز دارد (تفکر بیشتر)، اما با تخصص و دقت بالاتر در اعمال دانش مرتبط، کارایی بیشتری ارائه می‌دهد. این دو معماری نویدبخش نسل جدیدی از مدل‌های هوش مصنوعی تطبیق‌پذیر، کارآمد و هوشمند هستند.

Transformer Squared: تحول در تطبیق‌پذیری مدل‌های هوش مصنوعی

یکی از نوآوری‌های برجسته در «Transformer Squared» توانایی آن در انطباق با وظایف جدید بدون نیاز به آموزش مجدد گسترده است. این سیستم از روشی به نام تنظیم دقیق مقادیر منفرد (SVF) استفاده می‌کند که تنها بخش‌های ضروری مدل را برای وظایف خاص تغییر می‌دهد. این رویکرد در عین حفظ یا بهبود عملکرد، نیازهای محاسباتی را به‌طور چشمگیری کاهش می‌دهد.

ویژگی‌ها و مزایا

• انعطاف‌پذیری بالا: عملکرد عالی در وظایف متنوع و سازگاری با معماری‌های مختلف.
• کاربردهای جدید: نشان‌دهنده پتانسیل بالا در مدیریت وظایف خارج از توزیع (out-of-distribution) و انطباق با موقعیت‌های جدید.
• الهام از مغز انسان: مشابه با نحوه‌ای که مغز هنگام یادگیری مهارت جدید مدارهای خاصی را تطبیق می‌دهد (مثلاً یادگیری پیانو)، این مدل نیز بدون نیاز به بازنویسی کامل شبکه، بخش‌های خاصی را تنظیم می‌کند.

چشم‌انداز آینده

این نوآوری می‌تواند پایان دوره رقابت مدل‌های هوش مصنوعی بر اساس اندازه باشد. با این معماری، مدل‌های آینده دیگر به مقیاس‌های عظیم برای دستیابی به تطبیق‌پذیری و عملکرد بهتر نیاز نخواهند داشت. در حال حاضر، ترانسفورمرها بر عرصه هوش مصنوعی تسلط دارند و اغلب با ابزارهای جانبی مانند تولید تقویت‌شده با بازیابی (RAG) یا LoRAs تقویت می‌شوند. اما در صنعت پرشتاب هوش مصنوعی، یک تحول بنیادی می‌تواند به سرعت میدان رقابت را تغییر دهد و زمانی که این اتفاق بیفتد، سایر فعالان این حوزه نیز ناگزیر به پیروی خواهند بود.