# توضیح‌پذیری هوش‌مصنوعی

## ویژگی ها

### شفافیت در استنتاج

‌تولید مدل‌هایی که به صورت پیش‌فرض افزایش اطلاع کاربر از جزئیات فرایند آموزش و استنتاج را در نظر می‌گیرند.

### امکان تغییر در فرایند استنتاج

ایجاد امکان تغییر در ابعاد مختلف تصمیم‌گیری مدل مانند انتخاب داده‌ها یا ویژگی‌های تاثیرگذار در خروجی مدل.

### بازده و کارایی بالا

ارتقا و یا حفظ سرعت و دقت مدل توضیح‌پذیر در عین ایجاد امکان توضیح‌پذیری، و عبور از دوگانه‌ی شفافیت در مقابل کارایی.

## گام‌نمای پروژه

##### هوش‌مصنوعی توضیح‌پذیر بالفعل

ترکیبی از یادگیری عمیق و یادگیری تنبل به ما اجازه‌ی دخالت در داده‌های تاثیرگذار را میدهد.

وضعیت پیشرفت
۸۰٪

- توضیح‌پذیری با پیدا کردن سهم تاثیر هر نمونه در داده‌های آموزش
- امکان ایجاد تغییر در سهم تاثیر هر نمونه بدون نیاز به آموزش مجدد مدل
- مد‌های پیش‌بینی کننده

- مدل‌های مولد

میتوانید نمونه‌ی کد این پروژه را در این صفحه ببینید و آزمایش کنید:

آدرس گیت هاب

##### توضیح‌پذیری بالفعل با داده‌های خوشه‌ای

ترکیب مدل‌های RAG با مدل‌های توضیح‌پذیر بالفعل برای سرعت و شخصی‌سازی.

وضعیت پیشرفت
۰٪

- پیاده سازی الگوریتم جستجوی سریع در پایگاه داده
- توضیح‌پذیری بالفعل با استفاده از داده‌های نزدیک
- استفاده از الگوریتم‌های جستجوی سریع (مانند KNN) در آموزش و استنتاج با در نظر گرفتن سهم اهمیت (و نه لزوماً شباهت و نزدیکی)

##### مدل‌های عمیق با یادگیری تنبل

پیاده‌سازی یادگیری تنبل با شبکه‌های عصبی عمیق و جداسازی اطلاعات از پردازش شبکه.

وضعیت پیشرفت
۳۰٪

- ترکیب غیر خطی داده‌ها در فرایند استنتاج

- آموزش محلی بر روی داده‌ها در فرایند استنتاج
- (بهینه برای مدل های دیفیوژن) یادگیری تنبل برای وزن‌های مدل

میتوانید نمونه‌ی کد این پروژه را در این صفحه ببینید و آزمایش کنید:

به زودی

##### توضیح بالفعل بر روی ویژگی‌های ورودی

تبدیل مدل‌های بالفعل به مدل‌هایی با قابلیت تشخیص و تغییر در سطح تاثیر ویژگی‌های داده‌ی ورودی.

وضعیت پیشرفت
۰٪

- استفاده از مدل ViT بر روی داده‌های تصویری
- مدل‌های autoregressive

##### شرطی خلاف واقع برای افزایش سهم تأثیر

استفاده از مشتقات سهم تأثیر برای نمونه‌ی خلاف واقع با کاربرد‌های poisonning، re-biassing، dataset summaries.

وضعیت پیشرفت
۰٪

- حملات adversarial بر روی داده‌‌های ورودی و تغییر در تاثیر داده‌های آموزش
- حملات adversarial بر روی داده‌‌های آموزش و تغییر در عمکرد مدل

##### تخمین سهم‌تاثیر با استفاده از اندازه‌گیری قطعیت

محاسبه‌ی سهم تاثیر عملیات سنگین مشتق درجه‌ی دوم روی پارامتر‌های مدل را دارد که بسیار زمان‌بر و جاگیر است. با توجه به روش‌های خلاقانه وسریع در زمینه‌ی تخمین قطعیت وجود دارد، ترکیب این دو روش می‌تواند روش بهینه‌ای برای محاسبه‌ی سهم‌تاثیر را ارائه کند.

وضعیت پیشرفت
۰٪

- روش‌ (های) بهینه برای تخمین قطعیت. مانند ensemble ها و یا dropout.
- ترکیب قطعیت و مشتقات ورودی برای تخمین Hessian-vector product و Influence function

##### سیستم پیشنهاد دهنده با مدل تنبل

پیدا کردن یادگیری عمیق و تنبل برای بهینه استفاده در پشنهاد دهنده‌ها. داده‌های مورد ارجاع میتوانند نسبت به تغییر علاقه‌ی کاربر عوض شوند.

وضعیت پیشرفت
۰٪

- سیستم پیشنهاد دهنده باتوجه به داده‌ها و اندازه‌گیری دقت مدل.
- یادگیری تقویتی با انتخاب داده‌های برتر و بازآموزش مدل.

## دورنمای پروژه

در این پروژه، توانسته‌ایم نشان دهیم که استنتاج مدل نه‌تنها قابل توضیح به کاربر است، بلکه به‌صورت بالفعل می‌توان فرایند آن را شفاف‌سازی کرد. همچنین، امکان ورود اراده‌ی کاربر به جریان استنتاج هوش مصنوعی را فراهم کرده‌ایم، به‌ویژه در مرحله‌ی انتخاب داده‌های تأثیرگذار. این رویکرد در حال گسترش به سایر بخش‌های فرایند استنتاج نیز هست. هدف ما این است که ابزارهای جدید جایگزین متخصصان انسانی نشوند، بلکه بتوانند از طریق تعامل مؤثر با کاربر، تصمیم‌گیری را بهبود بخشند. برای تحقق این امر، ابزار طراحی‌شده باید بتواند اراده و تصمیمات کاربر را در چارچوبی ساختاریافته مدل‌سازی کرده و در استنتاج لحاظ کند. این امر به لطف شفافیت در استنتاج مدل محقق می‌شود و لازم است که این شفافیت در ابعاد دیگر نیز گسترش یابد، ازجمله در نحوه‌ی تغییرات داده‌های آموزشی و ارزیابی مدل. با این رویکرد، به سمت سیستمی حرکت می‌کنیم که نه‌تنها دقت و کارایی استنتاج را بهبود می‌بخشد، بلکه تعامل انسانی را نیز در قلب فرایند تصمیم‌گیری حفظ می‌کند.

## ایا میخواهید در توسعه این پروژه مشارکت کنید؟

منتظریم

ارتباط با ما