در مقیاس بندی هوش مصنوعی مشکل دارید؟ MIT یادگیری عمیق نوری زیر فوتون را در لبه پیشنهاد می کند

یک شبکه عصبی با ارسال برخی از داده های ورودی به پارامترها یا وزن های خود و ضرب ورودی در وزن، پیش بینی می کند. آن عملیات ریاضی، حاصل ضرب یک بردار ورودی و یک ماتریس پارامتر، ضرب-انباشته نامیده می شود، یا MAC، عملیات، و برنامه های شبکه عصبی هزاران تن از آنها را در هر ثانیه انجام می دهند، زیرا وزن های متعدد هر لایه شبکه به ورودی اعمال می شود. .

بازار به اصطلاح لبه‌ای برای هوش مصنوعی اخیراً منطقه‌ای بزرگ بوده است و استارت‌آپ‌ها ده‌ها میلیون سرمایه خطرپذیر برای ارائه تراشه‌ها و نرم‌افزار دریافت می‌کنند. این تلاش‌ها منجر به ایجاد ابزارهای توسعه ویژه برای اشکال یادگیری ماشینی هوش مصنوعی، مانند ابتکار TinyML از Google شده است.

نویسندگان از این هم فراتر می روند. آنها با پیش‌بینی استقرار در ماهواره‌ها و دیگر مناطق عجیب و غریب، روی کشف آشکارسازهای نوری به نام گیرنده‌های یکپارچه کار کردند که می‌توانند با تعداد بسیار کمی فوتون کار کنند.

آنها گزارش می دهند: “با استفاده از 1000 تصویر آزمایشی به صورت محلی، ما 98.7٪ محاسبات دقیق را نشان می دهیم، که با دقت پایه مدل 98.7٪ قابل مقایسه است.”

هر ردیف از یک ماتریس را می توان روی یک طول موج نور کدگذاری کرد و سپس به دستگاه مشتری “پخش” کرد، به طوری که یک سیگنال WDM چند طول موج می تواند یک ماتریس وزن کامل یا حتی ماتریس های متعدد را ارسال کند. در دستگاه مشتری، یک گیرنده نوری داده های کدگذاری شده در هر طول موج را بازیابی می کند و آن را با داده های ورودی ترکیب می کند تا ضرب ماتریس را در حوزه نوری به جای الکتریکی انجام دهد. پس از تبدیل شدن از سیگنال نوری، محصول را می توان به صورت الکتریکی روی RAM محلی ذخیره کرد.

رویکرد ممکن سومی نیز وجود دارد، و آن این است که سعی کنیم با دقت بیشتری توازن کنیم که چه کاری روی دستگاه‌های محدود و با چه ابزاری انجام می‌شود. این طرحی است که در اکتبر ارائه شد توسط محققان MIT در مجله علمی Science.

Sludds و تیم می نویسند که این منجر به ساده سازی چشمگیر اجزایی می شود که باید در یک دستگاه مشتری در لبه قرار گیرند.

از این رو، کلید Netcast نحوه به حداقل رساندن دسترسی به حافظه و ترافیک شبکه برای دستگاه مشتری بود.

در پایان، آنها نوشتند: “رویکرد ما یک گلوگاه اساسی را در محاسبات لبه از بین می برد و محاسبات با سرعت بالا را روی حسگرها و پهپادهای مستقر شده امکان پذیر می کند.”


منبع: https://www.zdnet.com/article/problem-scaling-ai-mit-proposes-sub-photon-optical-deep-learning-at-the-edge/#ftag=RSSbaffb68

محقق الکساندر اسلادز و همکارانش در آزمایشگاه تحقیقاتی الکترونیک، علوم کامپیوتر و آزمایشگاه هوش مصنوعی MIT و آزمایشگاه لینکلن با مشارکت نوکیا و تحقیقات NTT، سیستمی را توسعه داده اند که از فوتونیک برای ارسال داده ها به یک دستگاه مشتری استفاده می کند که در آن می توان آن را در حوزه نوری به روشی بسیار کارآمدتر محاسبه کرد.

این دو مسیر نشان‌دهنده دو فلسفه هستند: یا دستگاه‌های لبه را قدرتمندتر کنید یا برنامه‌های هوش مصنوعی را برای استفاده از محاسبات کمتر کاهش دهید.

آنها نوشتند: «تحقق محاسبات با کمتر از یک فوتون در هر MAC، می‌تواند کلاس جدیدی از سیستم‌های محاسباتی را فعال کند که هم از ورودی مشتری و هم از داده‌های وزن سرور محافظت می‌کند» از دیدگاه حریم خصوصی داده‌ها. همچنین می تواند محاسبات در فضاپیما را قابل اعتمادتر کند. داده‌های وزن از یک ایستگاه پایه جهت‌دار می‌تواند به فضاپیما مخابره شده و در فضاپیما طبقه‌بندی شود، قبل از اینکه نتایج به زمین مخابره شود.»

کسری بسیار کوچک وات صرفه‌جویی در مصرف انرژی است و مهم است زیرا بسیاری از دستگاه‌های لبه، در مقایسه با دستگاه‌های محاسباتی معمولی که از ده‌ها یا صدها وات استفاده می‌کنند، بودجه کل انرژی بر حسب میلی‌وات یا هزارم وات دارند. . عملیات فمتوژول نت‌کست به طور مؤثر برنامه را به زیر آنچه تا به امروز «یک گلوگاه سرسخت نزدیک 1 pJ» بود، با نام یک پیکوژول یا یک تریلیونم ژول می‌رساند.

اسلادز و تیم تیم نوشت: «این نتیجه ممکن است در ابتدا شگفت‌انگیز به نظر برسد، زیرا کمتر از یک فوتون در هر MAC غیرمعمول است. ما می‌توانیم این اندازه‌گیری را با توجه به اینکه در زمان بازخوانی، یک محصول برداری-بردار با MAC 100 = انجام داده‌ایم درک کنیم. هر MAC می‌تواند کمتر از یک فوتون در خود داشته باشد، اما سیگنال اندازه‌گیری شده فوتون‌های زیادی در خود دارد. “

به طور کلی، بزرگ‌ترین کار برای اکثر شبکه‌های عصبی، واکشی داده‌ها از تراشه‌های حافظه RAM و دسترسی به شبکه است. این یک مشکل است زیرا وزن‌های عصبی معمولاً در RAM ذخیره می‌شوند، بنابراین هر لایه از عملیات MAC می‌تواند به چندین سفر از طریق گذرگاه PCIe به RAM و شاید حتی به یک کارت خط شبکه برای ذخیره‌سازی حافظه از راه دور نیاز داشته باشد.

دانشمندان MIT از ردیاب‌های نوری ویژه برای انجام معادله هوش مصنوعی فقط با تابش نور به یک دستگاه مشتری کم مصرف استفاده کردند. این رویکرد می تواند به ویژه در فضای عمیق مفید باشد.

تیرنان ری/ZDNET

همچنین: هدف واقعی هوش مصنوعی ممکن است دیگر هوش نباشد

پیامدهای محاسباتی می تواند عمیق باشد.

راه حل یک فناوری فوتونیکی موجود به نام مالتی پلکسی تقسیم طول موج است. با استفاده از WDM، همانطور که معمولاً به آن اشاره می‌شود، می‌توان چندین قطعه داده را به طور همزمان در یک خط فیبر نوری با اختصاص طول موج نور خاص خود به هر قطعه داده ارسال کرد تا داده‌های چندگانه کل طیف موجود تابش در فیبر را به اشتراک بگذارند. WDM یک فناوری بسیار بالغ و جامد است که در تمام شبکه های مخابراتی مدرن برای افزایش ظرفیت انتقال داده فیبر نوری استفاده می شود. ستون فقرات اینترنت را تشکیل می دهد.

نویسندگان یک نسخه واقعی از Netcast ساختند که بیش از 84 کیلومتر از فیبر را با استفاده از WDM با ظرفیت 2.4 ترابیت در ثانیه اجرا می کند، از پردیس اصلی MIT تا آزمایشگاه لینکلن و برعکس. آزمایش آنها از این سیستم، انجام پیش‌بینی‌ها در یک کار کلاسیک یادگیری ماشین، MNIST است پایگاه داده شخصیت های دست نویس. تصاویر نویسه‌های دست‌نویس به شبکه عصبی وارد می‌شوند و شبکه باید یک کار تشخیص تصویر را انجام دهد و مشخص کند که هر تصویر کدام شخصیت را نشان می‌دهد.

اما نویسندگان از این هم فراتر می روند. آنها توانستند تا حد تئوری Netcast پیش بروند که در آن هر مک به کمتر از یک فوتون نیاز دارد تا شناسایی شود. آنها با استفاده از آشکارسازهای تک فوتون نانوسیم ابررسانا (SNSPDs)، گیرنده ای می سازند که می تواند نتایج هر MAC را با اطلاعات کمتر از یک فوتون اندازه گیری کند.

یکی از مهم‌ترین نگرانی‌ها برای کاربرد صنعتی هوش مصنوعی، نحوه اجرای برنامه‌ها بر روی دستگاه‌های محاسباتی کوچکی است که قدرت پردازش بسیار کمی دارند، حافظه بسیار کمی دارند و احتمالاً محدودیتی از نظر انرژی در دسترس دارند، در مورد باتری‌ها.

آنها می نویسند: “کاربردهای Netcast، از جمله استقرار در فضای آزاد برای هواپیماهای بدون سرنشین یا فضاپیماها، می توانند در محیط های شدیداً گرسنه فوتون عمل کنند.” نسخه‌ای از گیرنده‌های یکپارچه آن‌ها می‌تواند نتایج یک عملیات MAC را که تنها در بخش‌هایی از فمتوژول کار می‌کند، شناسایی کند، که به عنوان attoJule شناخته می‌شود، که برای عملیات MAC تنها به 100 فوتون نیاز دارد.

یک فمتوژول که به صورت نقطه اعشار و به دنبال آن 14 صفر و 1 نوشته می‌شود، یک چهار میلیاردیم است، با کسری بسیار کوچک از ژول، ژول مقدار برقی است که برای یک ثانیه یک دستگاه 1 وات کار می‌کند.

راه اندازی شبکه آنها، که آنها نت کست می نامند، می تواند عملیات اساسی دستکاری وزن ها یا پارامترهای یک شبکه عصبی عمیق را با استفاده از حدود 10 فمتوژول قدرت یا 10 fJ انجام دهد، که به گفته آنها، “سه مرتبه بزرگی است.” کمتر از آنچه که در CMOS دیجیتال موجود امکان پذیر است – به معنای تراشه های نیمه هادی استاندارد.

همچنین: بازار تراشه های لبه هوش مصنوعی در آتش است، که توسط بودجه «سرسام آور» VC شعله ور شده است

معادله فوتونیک در برابر پس زمینه رنگارنگ.

“این معماری اجزای فعال را در مشتری به حداقل می رساند و تنها به یک مدولاتور فرستنده و گیرنده نوری، مبدل دیجیتال به آنالوگ (DAC) و مبدل آنالوگ به دیجیتال (ADC) نیاز دارد.”

نکته کلیدی در Netcast این بود که چگونه می توان کاری را که مشتری باید برای عملیات اساسی یک شبکه عصبی انجام دهد کاهش داد تا بتواند به بودجه 10 فمتوژول برسد.

نمودار مفهومی Netcast با توضیح در زیر آن

اسلادز و همکاران

Sludds و تیم خاطرنشان کردند که تمام قطعات Netcast را می توان امروز در هر کارخانه استاندارد تراشه های نیمه هادی ساخت.