یک تیم تحقیقاتی بین‌المللی به سرپرستی دانشمندان دانشگاه واشنگتن با موفقیت از یادگیری تقویتی استفاده کرده است، استراتژی که در بازی‌های رومیزی مانند Chess and Go مهارت دارد تا یک نرم‌افزار جدید طراحی پروتئین قدرتمند توسعه دهد. در یک آزمایش، پروتئین های ساخته شده با رویکرد جدید در تولید آنتی بادی های مفید در موش ها موثرتر بودند.
این کار نشان می‌دهد که آنها نقطه عطفی در بهره‌برداری از هوش مصنوعی برای انجام تحقیقات علم پروتئین است. کاربردهای بالقوه می تواند طیف گسترده ای باشد، از توسعه واکسن های قوی تر و درمان های موثرتر سرطان گرفته تا ایجاد منسوجات زیست تخریب پذیر جدید.
دیوید بیکر، دکترا، استاد بیوشیمی در دانشکده پزشکی UW در سیاتل و دریافت کننده جایزه پیشرفت در علوم زندگی در سال 2021، گفت: «نتایج ما نشان می دهد که یادگیری تقویتی می تواند بیشتر از بازی های رومیزی استاد باشد. وقتی این نرم افزار برای حل معماهای قدیمی در علم پروتئین آموزش دید، در ایجاد مولکول های مفید عالی بود. در صورتی که این روش برای مسائل پژوهشی درست اعمال شود. می تواند پیشرفت در زمینه های مختلف علمی را تسریع بخشد.»
بیکر نویسنده ارشد مقاله منتشر شده این تیم در علوم پایهکه با عنوان «طراحی از بالا به پایین معماری‌های پروتئینی با یادگیری تقویتی» است، که در آن محققان نتیجه گرفتند، «رویکرد ما طراحی از بالا به پایین نانومواد پروتئینی پیچیده با ویژگی‌های سیستم مورد نظر را ممکن می‌سازد و قدرت یادگیری تقویتی در طراحی پروتئین را نشان می‌دهد. “
نویسندگان نوشتند که مجموعه‌های پروتئینی چند زیر واحدی نقش مهمی در زیست‌شناسی دارند و «نتیجه انتخاب تکاملی برای عملکرد کل مجموعه هستند». آنها ادامه دادند که در نتیجه انتخاب تکاملی، “زیر واحدهای مجموعه های پروتئینی به طور طبیعی اغلب با مکمل بودن شکل قابل توجهی برای ایجاد معماری بهینه برای عملکرد به روشی که با رویکردهای طراحی فعلی قابل دستیابی نیست، در کنار هم قرار می گیرند.”
دانشمندانی که طراحی پروتئین de novo را انجام می دهند، از یک رویکرد سلسله مراتبی «از پایین به بالا» استفاده کرده اند، که با ساختارهای مونومر که به الیگومرها متصل می شوند، شروع کرده و به سمت بالا کار می کنند تا مجموعه های پروتئینی نهایی را تولید کنند. نویسندگان خاطرنشان کردند که این رویکرد سلسله مراتبی مزایایی دارد و «چنین مجموعه‌های طراحی‌شده در حال حاضر برای زیست‌پزشکی در ایمونوبیولوژی و سایر زمینه‌ها مفید هستند، همانطور که با تأیید اخیر یک واکسن جدید کووید طراحی شده مشخص شده است». با این حال، رویکرد پایین به بالا نیز محدودیت هایی دارد. ویژگی‌های مجموعه محدود به آنچه می‌توان از بلوک‌های ساختمانی الیگومری موجود تولید کرد، حداقل یکی از رابط‌های زیرواحد-زیر واحد باید به اندازه‌ای قوی باشد که یک زیرساخت الیگومری حلقوی را به صورت مجزا تثبیت کند، و به طور کلی، هیچ وجود ندارد. راهی برای بهینه سازی مستقیم ویژگی های مجموعه کلی.”
بیکر و همکارانش در عوض به دنبال غلبه بر محدودیت‌های طراحی کمپلکس پروتئینی از پایین به بالا با توسعه یک رویکرد “بالا به پایین” بودند که از مشخصات خواص مورد نظر ساختار پروتئین، مانند تقارن و تخلخل کلی، برای مثال، و به طور سیستماتیک زیر واحدهایی را ایجاد می کند که برای بهینه سازی این ویژگی ها با هم بسته می شوند.
یادگیری تقویتی (RL) نوعی از یادگیری ماشینی است که در آن یک برنامه کامپیوتری یاد می گیرد که با آزمایش اقدامات مختلف و دریافت بازخورد تصمیم گیری کند. چنین الگوریتمی می تواند بازی شطرنج را بیاموزد، برای مثال، با آزمایش میلیون ها حرکت مختلف که منجر به پیروزی یا شکست روی تخته می شود. این برنامه برای یادگیری از این تجربیات و بهتر شدن در تصمیم گیری در طول زمان طراحی شده است. نویسندگان به جستجوی درختی مونت کارلو (MCTS) روی آوردند، یک الگوریتم RL که سری بهینه انتخاب ها را در درخت جستجو پیدا می کند. آنها توضیح دادند، «… ما به RL روی آوردیم، که اخیراً در زمینه های مختلف هوش مصنوعی، مانند اتومبیل های خودران، برنامه AlphaGo که بازیکنان برتر انسانی را در بازی Go شکست می دهد، موفقیت قابل توجهی به دست آورده است، و توسعه الگوریتم … ما به دنبال آن بودیم. برای توسعه یک الگوریتم MCTS برای تولید کمپلکس‌های پروتئینی که زیر واحدهای مونومر را از قطعات پروتئینی به‌طور مستقیم برای خواص ساختاری از پیش تعیین‌شده جهانی بهینه می‌کند.
برای ساختن یک برنامه یادگیری تقویتی برای طراحی پروتئین، دانشمندان – به رهبری اسحاق دی. لوتز، شونژی وانگ، دکترا، و کریستوفر نورن، دکترا، که همگی اعضای آزمایشگاه بیکر هستند- میلیون ها مولکول اولیه ساده را به رایانه دادند. سپس این نرم افزار ده هزار تلاش برای بهبود تصادفی هر کدام به سمت یک هدف از پیش تعریف شده انجام داد. کامپیوتر پروتئین ها را درازتر می کرد یا آنها را به روش های خاصی خم می کرد تا اینکه یاد گرفت چگونه آنها را به شکل دلخواه درآورد.
لوتز، یکی از نویسندگان این مقاله، دانشجوی دکترا در مؤسسه پزشکی UW برای طراحی پروتئین، توضیح داد: «رویکرد ما منحصربه‌فرد است، زیرا از یادگیری تقویتی برای حل مشکل ایجاد اشکال پروتئینی که مانند تکه‌های یک پازل در کنار هم قرار می‌گیرند، استفاده می‌کنیم. این به سادگی با استفاده از رویکردهای قبلی امکان پذیر نبود و این پتانسیل را دارد که انواع مولکول هایی را که می توانیم بسازیم تغییر دهد.
به عنوان بخشی از مطالعه گزارش شده خود، تیم بر طراحی ساختارهای جدید در مقیاس نانو متشکل از بسیاری از مولکول های پروتئین تمرکز کردند. این امر مستلزم طراحی هر دو خود اجزای پروتئین و رابط‌های شیمیایی است که به نانوساختارها اجازه می‌دهد تا خودآرایی شوند. میکروسکوپ الکترونی تأیید کرد که نانوساختارهای متعدد طراحی شده با هوش مصنوعی قادر به تشکیل در آزمایشگاه هستند.
دانشمندان در آزمایشگاه صدها پروتئین طراحی شده با هوش مصنوعی، از جمله ایکوساهدرا و نانو منافذ دیسکی را تولید کردند. آنها با استفاده از تکنیک‌هایی از جمله میکروسکوپ الکترونی، تأیید کردند که بسیاری از اشکال پروتئینی که توسط رایانه ایجاد شده‌اند، واقعاً در آزمایشگاه شناسایی شده‌اند. ساختارهای میکروسکوپ کریو-الکترونی نانوحفره‌های دیسک‌شکل طراحی‌شده و ایکوساهدرهای فوق فشرده بسیار نزدیک به مدل‌های محاسباتی هستند. هر دو طرح ایکوساهدرا و دیسک از هر ساختاری که قبلاً طراحی شده بود یا به طور طبیعی وجود داشت متمایز است … این ساختارها نمی توانستند با رویکردهای قبلی از پایین به بالا ساخته شوند. وانگ، محقق فوق دکترا در مؤسسه پزشکی UW برای طراحی پروتئین، اضافه کرد: «این رویکرد نه تنها دقیق است، بلکه بسیار قابل تنظیم است. به عنوان مثال، ما از نرم افزار خواستیم که ساختارهای کروی بدون سوراخ، سوراخ های کوچک یا سوراخ های بزرگ بسازد. پتانسیل آن برای ساخت انواع معماری ها هنوز به طور کامل کشف نشده است.
برای سنجش میزان دقت نرم افزار طراحی، دانشمندان نانوساختارهای منحصر به فردی را مشاهده کردند که در آنها هر اتم در محل مورد نظر قرار داشت. به عبارت دیگر، انحراف بین نانوساختار مورد نظر و محقق شده به طور متوسط کمتر از عرض یک اتم بود. این طراحی دقیق اتمی نامیده می شود. محققین اظهار داشتند: «رویکرد RL از بالا به پایین ما، حل چالش‌های طراحی غیرقابل دسترس برای روش‌های طراحی قبلی از پایین به بالا را امکان‌پذیر می‌سازد».
نویسندگان آینده‌ای را پیش‌بینی می‌کنند که در آن این رویکرد می‌تواند آنها و دیگران را قادر به ایجاد پروتئین‌های درمانی، واکسن‌ها و مولکول‌های دیگر کند که نمی‌توانستند با استفاده از روش‌های قبلی ساخته شوند.
محققان مؤسسه پزشکی UW برای سلول‌های بنیادی و پزشکی احیاکننده از مدل‌های سلولی اولیه سلول‌های رگ‌های خونی استفاده کردند تا نشان دهند که داربست‌های پروتئینی طراحی‌شده از نسخه‌های قبلی این فناوری بهتر عمل می‌کنند. برای مثال، از آنجایی که گیرنده‌هایی که به سلول‌ها در دریافت و تفسیر سیگنال‌ها کمک می‌کنند، در داربست‌های فشرده‌تر جمع‌شده بودند، در تقویت ثبات رگ‌های خونی مؤثرتر بودند.
یکی از نویسندگان، هانله روهولا-بیکر، دکترا، استاد بیوشیمی دانشکده پزشکی UW، در مورد پیامدهای این تحقیق برای پزشکی احیاکننده صحبت کرد: «هرچه این فناوری دقیق‌تر شود، کاربردهای بالقوه، از جمله درمان‌های عروقی را بیشتر می‌کند. دیابت، آسیب های مغزی، سکته مغزی و موارد دیگری که عروق خونی در معرض خطر هستند. همچنین می‌توانیم تحویل دقیق‌تری از عواملی را تصور کنیم که از آنها برای تمایز سلول‌های بنیادی به انواع سلول‌های مختلف استفاده می‌کنیم و راه‌های جدیدی را برای تنظیم فرآیندهای رشد و پیری سلول به ما می‌دهند.
نویسندگان همچنین اظهار داشتند: «قابلیت رویکرد MCTS برای بهینه‌سازی هر مجموعه از معیارهای هندسی مشخص شده به روشی از بالا به پایین، مسیری را به سوی آگونیست‌ها و واکسن‌های گیرنده سلولی چند ظرفیتی و چند ظرفیتی فراهم می‌کند که به‌طور سفارشی طراحی شده‌اند تا به طور سفت و سخت ایمونوژن یا اتصال گیرنده را ایجاد کنند. مونومرها و دقیقاً آنها را نسبت به یکدیگر قرار دهید.”