زبان طبیعی ایده ها، اعمال، اطلاعات و مقاصد را از طریق زمینه و نحو منتقل می کند. علاوه بر این، حجم هایی از آن در پایگاه های داده موجود است. این آن را به منبع عالی داده برای آموزش سیستم های یادگیری ماشین تبدیل می کند. دو دانشجوی کارشناسی ارشد مهندسی در برنامه پایان نامه 6A MEng در MIT، Irene Terpstra ’23 و Rujul Gandhi ’22، با مربیان آزمایشگاه هوش مصنوعی MIT-IBM Watson کار می کنند تا از این قدرت زبان طبیعی برای ساختن سیستم های هوش مصنوعی استفاده کنند.
همانطور که کامپیوترها پیشرفته تر می شوند، محققان تلاش می کنند تا سخت افزاری را که روی آن کار می کنند بهبود بخشند. این به معنای نوآوری برای ایجاد تراشه های کامپیوتری جدید است. و از آنجایی که قبلاً ادبیاتی در مورد تغییراتی وجود دارد که می توان برای دستیابی به پارامترها و عملکرد خاص انجام داد، ترپسترا و مربیان و مشاوران او، آنانتا چاندراکاسان، رئیس دانشکده مهندسی MIT و پروفسور وانوار بوش، استاد مهندسی برق و علوم کامپیوتر و محقق در IBM Xin Zhang در حال توسعه یک الگوریتم هوش مصنوعی است که از طراحی تراشه پشتیبانی می کند.
من در حال ایجاد یک گردش کار برای تجزیه و تحلیل سیستماتیک این هستم که چگونه این الگوهای زبانی می توانند به فرآیند طراحی مدار کمک کنند. آنها چه ملاحظاتی دارند و چگونه می توان آنها را در فرآیند طراحی تراشه ادغام کرد؟» Terpstra می گوید. و از سوی دیگر، اگر به اندازه کافی مفید باشد، [we’ll] ببینید آیا آنها می توانند به طور خودکار تراشه ها را با اتصال آنها به یک الگوریتم یادگیری تقویتی طراحی کنند یا خیر.
برای انجام این کار، تیم Terpstra یک سیستم هوش مصنوعی ایجاد کرد که می تواند روی طرح های مختلف تکرار شود. این به معنای آزمایش با مدل‌های مختلف زبان بزرگ از قبل آموزش‌دیده (مانند ChatGPT، Llama 2 و Bard)، با استفاده از یک زبان شبیه‌ساز مدار منبع باز به نام NGspice است که پارامترهای تراشه را به صورت کد دارد و یک الگوریتم یادگیری تقویتی. با درخواست‌های متنی، محققان می‌توانند جویا شوند که چگونه تراشه فیزیکی باید برای دستیابی به یک هدف خاص در مدل زبان اصلاح شود و دستورالعمل‌هایی برای اصلاحات ایجاد کنند. سپس به یک الگوریتم یادگیری تقویتی وارد می شود که طراحی مدار را به روز می کند و پارامترهای فیزیکی جدیدی را بر روی تراشه خروجی می دهد.
Terpstra می‌گوید: «هدف نهایی ترکیب قابلیت‌های استدلال و پایگاه دانشی است که در این مدل‌های زبانی بزرگ ساخته شده است و آن را با قدرت بهینه‌سازی الگوریتم‌های یادگیری تقویتی و طراحی خود تراشه ترکیب می‌کند.
روژول گاندی با زبان خام کار می کند. گاندی در مقطع کارشناسی در MIT، زبان‌شناسی و علوم کامپیوتر را بررسی کرد و آنها را در کار کارشناسی ارشد خود گرد هم آورد. گاندی می گوید: «من به ارتباطات، هم فقط بین انسان ها و هم بین انسان ها و رایانه ها علاقه مند بودم.
ربات‌ها یا دیگر سیستم‌های هوش مصنوعی تعاملی حوزه‌ای هستند که ارتباطات باید برای انسان‌ها و ماشین‌ها درک شود. محققان اغلب با استفاده از منطق رسمی دستورالعمل هایی را برای روبات ها می نویسند. این کمک می کند تا اطمینان حاصل شود که دستورات به طور ایمن و مطابق با هدف دنبال می شوند، اما درک منطق رسمی برای کاربران دشوار است، در حالی که زبان طبیعی به راحتی در دسترس است. برای اطمینان از این ارتباط یکپارچه، گاندی و مشاورانش یانگ ژانگ از IBM و استادیار MIT چوچو فان در حال ساخت تجزیه‌کننده‌ای هستند که دستورالعمل‌های زبان طبیعی را به فرمی مناسب برای ماشین تبدیل می‌کند. سیستم گاندی با بهره گیری از ساختار زبانی کدگذاری شده توسط مدل رمزگذار-رمزگشا T5 از پیش آموزش دیده و مجموعه داده ای از دستورات پایه انگلیسی مشروح شده برای انجام وظایف خاص، کوچکترین واحدهای منطقی یا گزاره های اتمی را که در یک دستورالعمل موجود هستند، شناسایی می کند.
گاندی می‌گوید: «وقتی دستورالعمل‌های خود را ارائه می‌دهید، مدل تمام وظایف فرعی کوچک‌تری را که می‌خواهید انجام دهد، شناسایی می‌کند. سپس با استفاده از یک مدل زبان بزرگ، هر زیرکار را می‌توان با اعمال و اشیاء موجود در دنیای ربات مقایسه کرد و اگر به دلیل شناسایی نشدن یک شی خاص یا غیرممکن بودن یک عمل، هیچ کار فرعی را نتوان انجام داد، سیستم می‌تواند متوقف شود. بلافاصله از کاربر کمک بخواهید.
این رویکرد تقسیم دستورالعمل ها به وظایف فرعی همچنین به سیستم او اجازه می دهد تا وابستگی های منطقی بیان شده به زبان انگلیسی را به صورت “اجرای وظیفه X تا زمانی که رویداد Y رخ دهد” را درک کند. گاندی از مجموعه داده ای از دستورالعمل های گام به گام در حوزه های وظایف ربات مانند ناوبری و دستکاری با تمرکز بر وظایف خانگی استفاده کرد. او می‌گوید استفاده از داده‌هایی که دقیقاً به روشی نوشته می‌شوند که افراد با یکدیگر صحبت می‌کنند، مزایای زیادی دارد، زیرا به این معنی است که کاربر می‌تواند در مورد نحوه بیان دستورالعمل‌های خود انعطاف‌پذیرتر باشد.
یکی دیگر از پروژه های گاندی شامل توسعه الگوهای گفتاری بود. در زمینه تشخیص گفتار، برخی از زبان‌ها «کم منبع» در نظر گرفته می‌شوند، زیرا ممکن است گفتار رونویسی شده زیادی در دسترس نداشته باشند یا اصلاً شکل نوشتاری نداشته باشند. او می گوید: «یکی از دلایلی که من برای این کارآموزی در آزمایشگاه هوش مصنوعی MIT-IBM Watson AI درخواست دادم، علاقه به پردازش زبان برای زبان های کم منابع بود. بسیاری از مدل‌های زبانی امروزی بسیار مبتنی بر داده‌ها هستند، و زمانی که به‌دست آوردن همه آن داده‌ها چندان آسان نیست، باید از داده‌های محدود به طور مؤثر استفاده کنید.»
گفتار فقط جریانی از امواج صوتی است، اما افرادی که در حال مکالمه هستند به راحتی می توانند شروع و پایان کلمات و افکار را تشخیص دهند. در پردازش گفتار، هم انسان ها و هم مدل های زبان از واژگان موجود خود برای تشخیص مرزهای کلمات و درک معنا استفاده می کنند. در زبان‌هایی با منابع کم یا بدون منابع، واژگان نوشتاری ممکن است اصلاً وجود نداشته باشد، بنابراین محققان نمی‌توانند آن را برای مدل ارائه کنند. در عوض، مدل می‌تواند یادداشت کند که چه توالی‌های صوتی با هم بیشتر از بقیه اتفاق می‌افتند و استنباط کنند که اینها ممکن است کلمات یا مفاهیم جداگانه باشند. در گروه تحقیقاتی گاندی، این کلمات استنباط شده سپس در یک شبه دیکشنری جمع می‌شوند که به عنوان یک روش برچسب‌گذاری زبان با منابع کم عمل می‌کند و داده‌های برچسب‌گذاری شده را برای کاربردهای بعدی ایجاد می‌کند.
گاندی می گوید که برنامه های کاربردی برای فناوری زبان “تقریباً در همه جا وجود دارد”. می‌توانید تصور کنید که مردم می‌توانند با نرم‌افزارها و دستگاه‌ها به زبان مادری خود، یعنی گویش مادری‌شان، تعامل داشته باشند. می توانید تصور کنید که همه دستیارهای صوتی را که استفاده می کنیم بهبود ببخشید. می توانید تصور کنید که از آن برای ترجمه یا تفسیر استفاده می شود.
