در مقیاس بندی هوش مصنوعی مشکل دارید؟ MIT یادگیری عمیق نوری زیر فوتون را در لبه پیشنهاد می کند

محقق الکساندر اسلادز و همکارانش در آزمایشگاه تحقیقاتی الکترونیک، علوم کامپیوتر و آزمایشگاه هوش مصنوعی MIT و آزمایشگاه لینکلن با مشارکت نوکیا و تحقیقات NTT، سیستمی را توسعه داده اند که از فوتونیک برای ارسال داده ها به یک دستگاه مشتری استفاده می کند که در آن می توان آن را در حوزه نوری به روشی بسیار کارآمدتر محاسبه کرد.

بازار به اصطلاح لبه‌ای برای هوش مصنوعی اخیراً منطقه‌ای بزرگ بوده است و استارت‌آپ‌ها ده‌ها میلیون سرمایه خطرپذیر برای ارائه تراشه‌ها و نرم‌افزار دریافت می‌کنند. این تلاش‌ها منجر به ایجاد ابزارهای توسعه ویژه برای اشکال یادگیری ماشینی هوش مصنوعی، مانند ابتکار TinyML از Google شده است.

“این معماری اجزای فعال را در مشتری به حداقل می رساند و تنها به یک مدولاتور فرستنده و گیرنده نوری، مبدل دیجیتال به آنالوگ (DAC) و مبدل آنالوگ به دیجیتال (ADC) نیاز دارد.”

یکی از مهم‌ترین نگرانی‌ها برای کاربرد صنعتی هوش مصنوعی، نحوه اجرای برنامه‌ها بر روی دستگاه‌های محاسباتی کوچکی است که قدرت پردازش بسیار کمی دارند، حافظه بسیار کمی دارند و احتمالاً محدودیتی از نظر انرژی در دسترس دارند، در مورد باتری‌ها.

Sludds و تیم می نویسند که این منجر به ساده سازی چشمگیر اجزایی می شود که باید در یک دستگاه مشتری در لبه قرار گیرند.

آنها گزارش می دهند: “با استفاده از 1000 تصویر آزمایشی به صورت محلی، ما 98.7٪ محاسبات دقیق را نشان می دهیم، که با دقت پایه مدل 98.7٪ قابل مقایسه است.”

از این رو، کلید Netcast نحوه به حداقل رساندن دسترسی به حافظه و ترافیک شبکه برای دستگاه مشتری بود.

این دو مسیر نشان‌دهنده دو فلسفه هستند: یا دستگاه‌های لبه را قدرتمندتر کنید یا برنامه‌های هوش مصنوعی را برای استفاده از محاسبات کمتر کاهش دهید.

کسری بسیار کوچک وات صرفه‌جویی در مصرف انرژی است و مهم است زیرا بسیاری از دستگاه‌های لبه، در مقایسه با دستگاه‌های محاسباتی معمولی که از ده‌ها یا صدها وات استفاده می‌کنند، بودجه کل انرژی بر حسب میلی‌وات یا هزارم وات دارند. . عملیات فمتوژول نت‌کست به طور مؤثر برنامه را به زیر آنچه تا به امروز «یک گلوگاه سرسخت نزدیک 1 pJ» بود، با نام یک پیکوژول یا یک تریلیونم ژول می‌رساند.

Sludds و تیم خاطرنشان کردند که تمام قطعات Netcast را می توان امروز در هر کارخانه استاندارد تراشه های نیمه هادی ساخت.

نکته کلیدی در Netcast این بود که چگونه می توان کاری را که مشتری باید برای عملیات اساسی یک شبکه عصبی انجام دهد کاهش داد تا بتواند به بودجه 10 فمتوژول برسد.

نویسندگان از این هم فراتر می روند. آنها با پیش‌بینی استقرار در ماهواره‌ها و دیگر مناطق عجیب و غریب، روی کشف آشکارسازهای نوری به نام گیرنده‌های یکپارچه کار کردند که می‌توانند با تعداد بسیار کمی فوتون کار کنند.

اما نویسندگان از این هم فراتر می روند. آنها توانستند تا حد تئوری Netcast پیش بروند که در آن هر مک به کمتر از یک فوتون نیاز دارد تا شناسایی شود. آنها با استفاده از آشکارسازهای تک فوتون نانوسیم ابررسانا (SNSPDs)، گیرنده ای می سازند که می تواند نتایج هر MAC را با اطلاعات کمتر از یک فوتون اندازه گیری کند.

هر ردیف از یک ماتریس را می توان روی یک طول موج نور کدگذاری کرد و سپس به دستگاه مشتری “پخش” کرد، به طوری که یک سیگنال WDM چند طول موج می تواند یک ماتریس وزن کامل یا حتی ماتریس های متعدد را ارسال کند. در دستگاه مشتری، یک گیرنده نوری داده های کدگذاری شده در هر طول موج را بازیابی می کند و آن را با داده های ورودی ترکیب می کند تا ضرب ماتریس را در حوزه نوری به جای الکتریکی انجام دهد. پس از تبدیل شدن از سیگنال نوری، محصول را می توان به صورت الکتریکی روی RAM محلی ذخیره کرد.

یک فمتوژول که به صورت نقطه اعشار و به دنبال آن 14 صفر و 1 نوشته می‌شود، یک چهار میلیاردیم است، با کسری بسیار کوچک از ژول، ژول مقدار برقی است که برای یک ثانیه یک دستگاه 1 وات کار می‌کند.

پیامدهای محاسباتی می تواند عمیق باشد.

یک شبکه عصبی با ارسال برخی از داده های ورودی به پارامترها یا وزن های خود و ضرب ورودی در وزن، پیش بینی می کند. آن عملیات ریاضی، حاصل ضرب یک بردار ورودی و یک ماتریس پارامتر، ضرب-انباشته نامیده می شود، یا MAC، عملیات، و برنامه های شبکه عصبی هزاران تن از آنها را در هر ثانیه انجام می دهند، زیرا وزن های متعدد هر لایه شبکه به ورودی اعمال می شود. .

نویسندگان یک نسخه واقعی از Netcast ساختند که بیش از 84 کیلومتر از فیبر را با استفاده از WDM با ظرفیت 2.4 ترابیت در ثانیه اجرا می کند، از پردیس اصلی MIT تا آزمایشگاه لینکلن و برعکس. آزمایش آنها از این سیستم، انجام پیش‌بینی‌ها در یک کار کلاسیک یادگیری ماشین، MNIST است پایگاه داده شخصیت های دست نویس. تصاویر نویسه‌های دست‌نویس به شبکه عصبی وارد می‌شوند و شبکه باید یک کار تشخیص تصویر را انجام دهد و مشخص کند که هر تصویر کدام شخصیت را نشان می‌دهد.

همچنین: بازار تراشه های لبه هوش مصنوعی در آتش است، که توسط بودجه «سرسام آور» VC شعله ور شده است

رویکرد ممکن سومی نیز وجود دارد، و آن این است که سعی کنیم با دقت بیشتری توازن کنیم که چه کاری روی دستگاه‌های محدود و با چه ابزاری انجام می‌شود. این طرحی است که در اکتبر ارائه شد توسط محققان MIT در مجله علمی Science.

آنها می نویسند: “کاربردهای Netcast، از جمله استقرار در فضای آزاد برای هواپیماهای بدون سرنشین یا فضاپیماها، می توانند در محیط های شدیداً گرسنه فوتون عمل کنند.” نسخه‌ای از گیرنده‌های یکپارچه آن‌ها می‌تواند نتایج یک عملیات MAC را که تنها در بخش‌هایی از فمتوژول کار می‌کند، شناسایی کند، که به عنوان attoJule شناخته می‌شود، که برای عملیات MAC تنها به 100 فوتون نیاز دارد.

همچنین: هدف واقعی هوش مصنوعی ممکن است دیگر هوش نباشد

راه حل یک فناوری فوتونیکی موجود به نام مالتی پلکسی تقسیم طول موج است. با استفاده از WDM، همانطور که معمولاً به آن اشاره می‌شود، می‌توان چندین قطعه داده را به طور همزمان در یک خط فیبر نوری با اختصاص طول موج نور خاص خود به هر قطعه داده ارسال کرد تا داده‌های چندگانه کل طیف موجود تابش در فیبر را به اشتراک بگذارند. WDM یک فناوری بسیار بالغ و جامد است که در تمام شبکه های مخابراتی مدرن برای افزایش ظرفیت انتقال داده فیبر نوری استفاده می شود. ستون فقرات اینترنت را تشکیل می دهد.

در پایان، آنها نوشتند: “رویکرد ما یک گلوگاه اساسی را در محاسبات لبه از بین می برد و محاسبات با سرعت بالا را روی حسگرها و پهپادهای مستقر شده امکان پذیر می کند.”


منبع: https://www.zdnet.com/article/problem-scaling-ai-mit-proposes-sub-photon-optical-deep-learning-at-the-edge/#ftag=RSSbaffb68

اسلادز و تیم تیم نوشت: «این نتیجه ممکن است در ابتدا شگفت‌انگیز به نظر برسد، زیرا کمتر از یک فوتون در هر MAC غیرمعمول است. ما می‌توانیم این اندازه‌گیری را با توجه به اینکه در زمان بازخوانی، یک محصول برداری-بردار با MAC 100 = انجام داده‌ایم درک کنیم. هر MAC می‌تواند کمتر از یک فوتون در خود داشته باشد، اما سیگنال اندازه‌گیری شده فوتون‌های زیادی در خود دارد. “

دانشمندان MIT از ردیاب‌های نوری ویژه برای انجام معادله هوش مصنوعی فقط با تابش نور به یک دستگاه مشتری کم مصرف استفاده کردند. این رویکرد می تواند به ویژه در فضای عمیق مفید باشد.

تیرنان ری/ZDNET

نمودار مفهومی Netcast با توضیح در زیر آن

اسلادز و همکاران

به طور کلی، بزرگ‌ترین کار برای اکثر شبکه‌های عصبی، واکشی داده‌ها از تراشه‌های حافظه RAM و دسترسی به شبکه است. این یک مشکل است زیرا وزن‌های عصبی معمولاً در RAM ذخیره می‌شوند، بنابراین هر لایه از عملیات MAC می‌تواند به چندین سفر از طریق گذرگاه PCIe به RAM و شاید حتی به یک کارت خط شبکه برای ذخیره‌سازی حافظه از راه دور نیاز داشته باشد.

معادله فوتونیک در برابر پس زمینه رنگارنگ.

آنها نوشتند: «تحقق محاسبات با کمتر از یک فوتون در هر MAC، می‌تواند کلاس جدیدی از سیستم‌های محاسباتی را فعال کند که هم از ورودی مشتری و هم از داده‌های وزن سرور محافظت می‌کند» از دیدگاه حریم خصوصی داده‌ها. همچنین می تواند محاسبات در فضاپیما را قابل اعتمادتر کند. داده‌های وزن از یک ایستگاه پایه جهت‌دار می‌تواند به فضاپیما مخابره شده و در فضاپیما طبقه‌بندی شود، قبل از اینکه نتایج به زمین مخابره شود.»

راه اندازی شبکه آنها، که آنها نت کست می نامند، می تواند عملیات اساسی دستکاری وزن ها یا پارامترهای یک شبکه عصبی عمیق را با استفاده از حدود 10 فمتوژول قدرت یا 10 fJ انجام دهد، که به گفته آنها، “سه مرتبه بزرگی است.” کمتر از آنچه که در CMOS دیجیتال موجود امکان پذیر است – به معنای تراشه های نیمه هادی استاندارد.