ما در آیتی هلو از شهریور ۱۴۰۲ کارمون رو با عشق به کتاب و یادگیری شروع کردیم. تخصص ما چاپ کتابهای تخصصی به زبان اصلیه و با استفاده از تکنولوژیهای روز و مواد اولیه باکیفیت، مطمئن میشیم که هر کتاب از نظر ظاهر و محتوا در بهترین سطح قرار بگیره.
هدفمون اینه که دسترسی به منابع علمی و آموزشی معتبر رو برای همه سادهتر کنیم و در این مسیر، همراه و همکار خوبی برای شما باشیم.
A Practical Guide to Benchmarking, Bias Mitigation, and Responsible AI Engineering
گسترش سریع هوش مصنوعی مولد، شیوه تولید محتوا، پردازش اطلاعات، توسعه نرم افزار و ارائه خدمات دیجیتال را دگرگون کرده است. مدلهای مولد امروزی میتوانند متن، تصویر و دیگر انواع محتوا را تولید کنند و در طیف گستردهای از محصولات و سامانههای واقعی به کار گرفته شوند. با این حال، افزایش توانایی این سامانهها یک پرسش مهم را نیز به وجود آورده است: چگونه میتوان اطمینان پیدا کرد که یک سامانه هوش مصنوعی با گروههای مختلف کاربران به شکلی منصفانه و مسئولانه رفتار میکند؟
کتاب «عدالت در هوش مصنوعی مولد» به همین مسئله میپردازد و تلاش میکند مفهوم عدالت را از یک ایده اخلاقی و انتزاعی به یک چارچوب قابل اندازهگیری، قابل ارزیابی و قابل استفاده در فرایند توسعه نرم افزار تبدیل کند.
تمرکز اصلی کتاب بر این است که عدالت در هوش مصنوعی نباید تنها پس از وقوع یک مشکل یا آسیب بررسی شود. در عوض، ارزیابی عدالت باید مانند سایر معیارهای کیفیت، امنیت و قابلیت اطمینان، از مراحل ابتدایی توسعه آغاز شود و در تمام چرخه عمر سامانه ادامه پیدا کند.
این رویکرد کتاب را به منبعی کاربردی برای افرادی تبدیل میکند که با توسعه، آموزش، ارزیابی، استقرار، نظارت و حاکمیت سامانههای هوش مصنوعی مولد سروکار دارند.
مدلهای هوش مصنوعی از دادههایی یاد میگیرند که ممکن است خودشان دارای سوگیری، نابرابری یا کمبودهای مختلف باشند. در نتیجه، حتی اگر یک مدل از نظر فنی عملکرد بسیار خوبی داشته باشد، ممکن است در برخورد با گروههای مختلف کاربران نتایج متفاوتی ایجاد کند.
این مسئله تنها به دادههای آموزشی محدود نمیشود. نحوه طراحی محصول، نوع درخواستهای کاربر، دادههای ورودی، شیوه ارزیابی مدل و حتی فرایند تصمیم گیری سازمان میتواند بر میزان عدالت یک سامانه تأثیر بگذارد.
به همین دلیل، کتاب از نگاه «رفع مشکل پس از وقوع» فاصله میگیرد و پیشنهاد میکند عدالت به عنوان یک ویژگی سیستمی و قابل سنجش در نظر گرفته شود.
در این دیدگاه، یک تیم توسعه نباید تنها زمانی به سراغ عدالت برود که یک گزارش عمومی، شکایت کاربر یا حادثه جدی رخ داده باشد. بلکه باید از ابتدا مشخص شود:
چه خطراتی ممکن است متوجه گروههای مختلف کاربران باشد؟
چگونه میتوان این خطرات را اندازه گیری کرد؟
چه معیارهایی برای ارزیابی مناسب هستند؟
چه زمانی یک نتیجه باید باعث توقف انتشار مدل شود؟
چگونه تغییرات مدل یا دادهها میتوانند نتایج ارزیابی عدالت را تغییر دهند؟
چگونه میتوان نتایج را به شکلی شفاف در اختیار تیمهای فنی، مدیریتی و نظارتی قرار داد؟
هدف کتاب ایجاد یک زبان مشترک میان مهندسان، مدیران، متخصصان ایمنی و مسئولان نظارت است تا عدالت از یک مفهوم مبهم به یک بخش عملیاتی از مهندسی هوش مصنوعی تبدیل شود.
اگر در زمینه آموزش، تنظیم دقیق یا ارزیابی مدلهای یادگیری ماشین فعالیت میکنید، این کتاب میتواند چارچوبی منظم برای بررسی عدالت در اختیار شما قرار دهد.
کلمات کلیدی:کتاب نشان میدهد که چگونه میتوان مجموعهای از آزمونها، دادهها و معیارها را برای بررسی رفتار مدل طراحی کرد و نتایج را به صورت قابل تفسیر ارائه داد.
برای مهندسان فنی، ارزش اصلی کتاب در تبدیل اصول عدالت به فرایندهای قابل اجرا و قابل تکرار است.
بسیاری از محصولات امروزی از قابلیتهای هوش مصنوعی در کنار ویژگیهای معمول نرم افزاری استفاده میکنند. چنین محصولاتی ممکن است با متن، تصویر و انواع دیگر ورودیها سروکار داشته باشند.
کتاب به توسعه دهندگان کمک میکند ارزیابی عدالت را در فرایند موجود توسعه محصول قرار دهند، بدون اینکه این موضوع به یک مرحله جداگانه و غیرقابل مدیریت تبدیل شود.
افرادی که مسئول کنترلها، محدودیتها، پایش و نظارت بر مدلهای مستقر در محیط واقعی هستند، میتوانند از چارچوب کتاب برای ایجاد سازوکارهای ارزیابی و کنترل استفاده کنند.
موضوعاتی مانند دروازههای ارزیابی، پایش مداوم، شناسایی تغییرات رفتاری و واکنش به رخدادها از بخشهای مهم این رویکرد هستند.
برای مدیران، یکی از دشوارترین بخشهای عدالت در هوش مصنوعی، تبدیل نتایج فنی به اطلاعاتی است که بتوان بر اساس آن تصمیم گرفت.
کتاب با معرفی مفهوم «کارنامه ارزیابی» تلاش میکند مجموعهای از نتایج را به شکلی ارائه کند که تیمهای مدیریتی بتوانند وضعیت سامانه را بهتر درک کرده و درباره کاهش خطر تصمیم بگیرند.
این کتاب تنها برای مهندسان نوشته نشده است. پژوهشگران، تدوین کنندگان استانداردها، نهادهای نظارتی و فعالان اجتماعی نیز میتوانند از چارچوب ارائه شده برای بررسی سامانههای هوش مصنوعی مستقر در دنیای واقعی استفاده کنند.
یکی از ویژگیهای مهم کتاب این است که عدالت را تنها به یک معیار یا یک عدد کاهش نمیدهد.
در این چارچوب، عدالت از چند زاویه بررسی میشود. یکی از این دیدگاهها به فرصت برابر و به رسمیت شناختن گروههای مختلف مربوط است. دیدگاه دیگر بر عدالت در فرایند تمرکز دارد؛ یعنی بررسی اینکه فرایند ارزیابی و تصمیم گیری تا چه اندازه منصفانه و قابل دفاع است.
همچنین کتاب به مفهوم توانمندی و تفاوتهای میان گروهها توجه میکند و نشان میدهد که بررسی گروههای جمعیتی به صورت جداگانه همیشه کافی نیست.
افراد ممکن است همزمان در چند گروه مختلف قرار داشته باشند و تجربه آنها از یک سامانه صرفاً با بررسی یک ویژگی مشخص نشود.
به همین دلیل، کتاب به بررسی تقاطع ویژگیها و گروههای مختلف توجه میکند. این رویکرد میتواند در شناسایی مشکلاتی مفید باشد که هنگام بررسی هر ویژگی به صورت مستقل دیده نمیشوند.
یکی از محورهای اصلی کتاب، ایجاد معیارهای قابل اندازه گیری برای ارزیابی سامانههای هوش مصنوعی مولد است.
کتاب مجموعهای از معیارها را معرفی میکند که هرکدام جنبه متفاوتی از رفتار مدل را بررسی میکنند.
یک مدل ممکن است در خروجیهای خود برخی گروهها را بیش از حد یا کمتر از حد واقعی بازنمایی کند.
بررسی این مسئله میتواند نشان دهد که آیا مدل در تولید محتوا، توصیف افراد یا ارائه نمونهها، الگوهای نامتوازنی ایجاد میکند یا خیر.
تنوع پاسخها یکی دیگر از موضوعات مهم ارزیابی است. یک مدل منصفانه نباید در شرایط مشابه همیشه به یک الگوی محدود و تکراری از پاسخها وابسته باشد.
ارزیابی تنوع میتواند به شناسایی محدودیتهایی کمک کند که در معیارهای معمول عملکرد مدل آشکار نمیشوند.
یکی از روشهای مهم ارزیابی، مقایسه رفتار مدل در شرایطی است که تنها یک ویژگی مشخص در درخواست تغییر میکند.
اگر تغییر یک ویژگی مرتبط با هویت یا گروه اجتماعی باعث تغییر قابل توجه پاسخ مدل شود، میتوان آن را به عنوان نشانهای برای بررسی بیشتر در نظر گرفت.
مدلهای مولد ممکن است کلیشههای موجود در دادههای آموزشی را بازتولید یا حتی تقویت کنند.
کتاب معیارهایی را برای بررسی تقویت کلیشههای اجتماعی و الگوهای نامناسب در خروجی مدل در نظر میگیرد.
تمام خطاها اهمیت یکسانی ندارند. یک پاسخ نامناسب ساده با خروجیای که میتواند پیامد جدی برای یک فرد یا گروه داشته باشد، از نظر خطر در یک سطح نیست.
به همین دلیل، کتاب مفهوم شدت آسیب را وارد فرایند ارزیابی میکند تا نتایج تنها بر اساس تعداد خطاها تحلیل نشوند.
یک سامانه ممکن است برای گروهی از کاربران عملکرد مناسبی داشته باشد، اما برای گروه دیگری کیفیت پایینتری ارائه دهد.
بررسی تفاوت کیفیت خدمت میان گروههای مختلف یکی از بخشهای مهم سنجش عدالت در سامانههای هوش مصنوعی است.
کتاب مفهوم مهمی را مطرح میکند: برای اینکه یک اصل اخلاقی مانند عدالت در یک سامانه نرم افزاری قابل استفاده باشد، باید به مجموعهای از آزمونها و معیارهای مشخص تبدیل شود.
به همین دلیل، ساختار ارزیابی از چند بخش تشکیل میشود:
دادهها مشخص میکنند چه شرایطی قرار است بررسی شوند و چه نمونههایی در فرایند ارزیابی وجود داشته باشند.
مجموعه آزمون تعیین میکند مدل در چه سناریوهایی مورد بررسی قرار گیرد.
معیارها مشخص میکنند نتیجه آزمون چگونه اندازه گیری و تحلیل شود.
در نهایت، نتایج مختلف در یک ساختار قابل فهم کنار هم قرار میگیرند تا تصویر کاملتری از وضعیت عدالت سامانه ارائه شود.
یکی از پیامهای کلیدی کتاب این است که نباید وضعیت عدالت یک مدل را تنها با یک عدد قضاوت کرد.
پس از تعریف اصول، کتاب وارد مرحله مهندسی میشود و نیازمندیهای یک سامانه واقعی ارزیابی عدالت را بررسی میکند.
در این بخش موضوعاتی مانند تعریف کاربران، تعیین محدوده ارزیابی، ارتباط با خطرات و هماهنگی با برنامههای نظارتی و الزامات سازمانی مطرح میشوند.
یک سامانه ارزیابی مناسب باید علاوه بر دقت، ویژگیهایی مانند قابلیت تکرار، قابلیت توسعه و امکان نظارت مداوم را نیز داشته باشد.
کتاب یک معماری مرجع ماژولار ارائه میکند که میتوان آن را با ابزارهای متن باز، خدمات رایانشی یا اجزای اختصاصی سازمان پیاده سازی کرد.
این معماری کمک میکند ارزیابی عدالت به صورت یک سامانه مستقل اما متصل به چرخه توسعه مدل طراحی شود.
برای توضیح عملی این معماری، کتاب از یک نمونه کاربردی مرتبط با فوتبال استفاده میکند و تصمیمهای معماری را مرحله به مرحله بررسی میکند.
این رویکرد باعث میشود مفاهیم نظری مستقیماً با یک نمونه قابل اجرا ارتباط پیدا کنند.
یکی از بخشهای مهم ارزیابی مدل، طراحی سناریوهایی است که مدل باید در آنها آزمایش شود.
اگر سناریوها به درستی طراحی نشوند، حتی پیچیدهترین معیارها نیز نمیتوانند تصویر دقیقی از وضعیت مدل ارائه دهند.
کتاب به طراحی مجموعه سناریوها و درخواستها، مدل سازی ویژگیهای حساس و بررسی تقاطع آنها میپردازد.
همچنین یکی از اهداف این بخش، آزمایش سامانه بدون افشای غیرضروری اطلاعات حساس است.
کتاب تنها به ارائه نظریه اکتفا نمیکند و یک فرایند کامل برای ساخت نخستین معیار ارزیابی ارائه میدهد.
این فرایند از تعیین محدوده آغاز میشود و سپس به طراحی سناریوها، اجرای آزمونها، جمع آوری نتایج و تحلیل خروجیها میرسد.
نمونه فوتبال در این بخش به صورت سرتاسری اجرا میشود تا خواننده بتواند ببیند نخستین اجرای یک ارزیابی عدالت چه اطلاعاتی در اختیار تیم قرار میدهد.
هدف این بخش آن است که خواننده بتواند از یک چارچوب نظری به یک فرایند عملی قابل اجرا برسد.
در محیطهای حرفهای، ارزیابی نمیتواند تنها یک بار انجام شود.
مدل تغییر میکند، دادهها تغییر میکنند، درخواستهای کاربران تغییر میکنند و حتی برداشت سازمان و جامعه از خطرهای قابل قبول ممکن است تغییر کند.
به همین دلیل، کتاب پیشنهاد میکند ارزیابی عدالت به فرایند یکپارچه توسعه و انتشار مدل متصل شود.
هنگامی که مدل یا ورودیهای آن تغییر میکنند، میتوان ارزیابیها را به صورت خودکار اجرا کرد.
این کار باعث میشود تغییرات ناخواسته در عدالت مدل پیش از انتشار یا استقرار شناسایی شوند.
نتایج ارزیابیهای مختلف باید نگهداری شوند تا امکان مقایسه نسخههای مختلف مدل وجود داشته باشد.
سازمان میتواند حدود مشخصی برای معیارهای عدالت تعیین کند. اگر مدل جدید از این حدود عبور کند، انتشار آن میتواند متوقف شده یا برای بررسی بیشتر علامت گذاری شود.
ارزیابی مداوم میتواند هزینه محاسباتی و عملیاتی داشته باشد. بنابراین کتاب به مدیریت هزینه و طراحی فرایند ارزیابی به شکلی کارآمد نیز توجه میکند.
یکی از نکات جالب کتاب این است که خود سامانه ارزیابی نیز باید مانند یک سامانه تولیدی واقعی تحت نظارت قرار گیرد.
اگر سامانه ارزیابی دچار خطا شود، نتیجهای ناقص تولید کند یا بخشی از آزمونها اجرا نشوند، ممکن است تیم تصور کند مدل کاملاً سالم است؛ در حالی که مشکل از خود فرایند ارزیابی بوده است.
به همین دلیل، کتاب موضوعاتی مانند نظارت بر عملکرد سامانه، اهداف سطح خدمت، بودجه خطا و فرایند عیب یابی چندلایه را بررسی میکند.
رفتار یک مدل ثابت نمیماند. تغییر دادهها، تغییر مدل، تغییر نیازهای کاربران و تغییر شرایط محیطی میتوانند باعث تغییر نتایج ارزیابی عدالت شوند.
کتاب چهار شکل مختلف تغییر را بررسی میکند و برای دسته بندی شدت رخدادها و واکنش به آنها چارچوب ارائه میدهد.
هنگامی که یک مشکل شناسایی میشود، تنها رفع فوری آن کافی نیست. باید مشخص شود:
چه چیزی باعث رخداد شده است؟
چرا در ارزیابیهای قبلی شناسایی نشده است؟
چه گروههایی تحت تأثیر قرار گرفتهاند؟
آیا معیارهای فعلی برای شناسایی چنین مشکلی کافی هستند؟
چگونه میتوان از تکرار آن جلوگیری کرد؟
در پایان، بررسی پس از رخداد به بهبود خود معیار ارزیابی نیز منجر میشود.
یک سامانه هوش مصنوعی تنها توسط یک گروه استفاده نمیشود. تولیدکنندگان مدل، تیم محصول، مسئولان نظارت، نهادهای قانونی و حتی گروههایی که تحت تأثیر خروجی سامانه قرار میگیرند، ممکن است دیدگاه متفاوتی نسبت به یک نتیجه داشته باشند.
کتاب تلاش میکند نشان دهد که یک کارنامه ارزیابی واحد میتواند برای گروههای مختلف قابل استفاده باشد، اما هر گروه ممکن است آن را با هدف متفاوتی بخواند.
برای مثال، مهندس مدل ممکن است به علت فنی یک نتیجه نامطلوب توجه کند، در حالی که مدیر محصول به پیامد آن برای کاربران و مسئول نظارت به میزان انطباق با الزامات توجه دارد.
عدالت در هوش مصنوعی مسئلهای نیست که بتوان آن را برای همیشه توسط یک تیم حل کرد.
با تغییر مدلها، دادهها، جامعه و انتظارات کاربران، خود معیارهای ارزیابی نیز باید تکامل پیدا کنند.
کتاب به همین دلیل بر مشارکت جامعه، حاکمیت مشترک و فرایندهای کنترل شده برای تغییر معیارها تأکید میکند.
این موضوع اهمیت زیادی دارد، زیرا تغییر یک معیار ارزیابی بدون بررسی دقیق میتواند اعتبار کل سامانه را تحت تأثیر قرار دهد.
برای استفاده بهتر از بخشهای عملی کتاب، آشنایی با ارزیابی مدلهای یادگیری ماشین، معیارهای سنجش و مفاهیم پایه آمار مفید است.
همچنین داشتن توانایی خواندن و درک برنامههای نوشته شده با پایتون به خواننده کمک میکند بخشهای عملی را راحتتر دنبال کند.
با این حال، برای درک اصول و چارچوب کلی کتاب نیازی به دانش عمیق برنامه نویسی نیست.
مفاهیم مورد نیاز در طول استفاده از آنها معرفی میشوند و خواننده میتواند با توجه به هدف خود، بخشهای نظری یا عملی را دنبال کند.
بخشهای عملی کتاب از مجموعهای از ابزارهای متن باز استفاده میکنند. نمونههای اجرایی، سناریوها و دادههای مورد نیاز برای اجرای فرایند ارزیابی در اختیار خواننده قرار گرفتهاند.
نمونهها به گونهای طراحی شدهاند که بتوان فرایند را بدون نیاز به پرداخت هزینه برای فراخوانی مدلهای برخط نیز اجرا کرد.
برای اجرای نمونهها در برابر یک مدل واقعی، به دسترسی به ارائه دهنده مدل و اطلاعات دسترسی مربوط به آن نیاز خواهد بود.
نمونههای برنامه نویسی کتاب برای پایتون نسخه ۳.۱۰ و نسخههای جدیدتر طراحی شدهاند و روی سامانههای رایج رایانهای قابل اجرا هستند.
این فصل با بررسی پیامدهای واقعی و آسیبهای ثبت شده آغاز میشود و توضیح میدهد چرا عدالت در هوش مصنوعی مولد باید به یک معیار کیفیت سیستمی تبدیل شود.
در این فصل، مفاهیم اخلاقی و اصول عدالت به چارچوبهای قابل استفاده تبدیل میشوند و سه دیدگاه اصلی شامل فرصت و به رسمیت شناختن برابر، عدالت فرایندی و توانمندی همراه با توجه به تقاطع ویژگیها بررسی میشوند.
این فصل معیار ارزیابی را به عنوان پلی میان اصول نظری و اجرای مهندسی معرفی میکند و ساختار داده، مجموعه آزمون، معیار و کارنامه ارزیابی را توضیح میدهد.
اصول مطرح شده در فصلهای قبل در قالب نیازمندیهای عملی و فنی یک سامانه واقعی بررسی میشوند.
در این فصل معماری ماژولار یک سکوی ارزیابی ارائه میشود و اجزای مختلف آن با استفاده از نمونه فوتبال بررسی میشوند.
طراحی سناریوها، مجموعه درخواستها، ویژگیهای حساس و تقاطع میان آنها از موضوعات اصلی این فصل هستند.
در این فصل معیارهایی مانند انحراف در بازنمایی، تنوع خروجی، تفاوت پاسخهای متقابل، تقویت کلیشهها، شدت آسیب و تفاوت کیفیت خدمت بررسی میشوند.
خواننده در این فصل از تعیین محدوده تا اجرای نخستین ارزیابی و تحلیل نتایج همراه با یک نمونه عملی پیش میرود.
این فصل نحوه اتصال ارزیابی عدالت به فرایند توسعه و انتشار نرم افزار، اجرای خودکار، ذخیره نتایج، دروازههای عدالت و مدیریت هزینه را بررسی میکند.
موضوع این فصل نظارت بر خود سامانه ارزیابی و استفاده از اهداف سطح خدمت، بودجه خطا و روشهای عیب یابی برای حفظ اعتمادپذیری آن است.
انواع تغییرات رفتاری، دسته بندی شدت رخدادها، واکنش به مشکلات و فرایند بررسی پس از رخداد در این فصل بررسی میشوند.
این فصل نشان میدهد تولیدکنندگان مدل، تیمهای محصول، مسئولان نظارت، قانون گذاران و جوامع تحت تأثیر چگونه میتوانند از یک معیار ارزیابی مشترک استفاده کنند.
روشهای مشارکت جمعی، حاکمیت مشترک و توسعه کنترل شده معیارهای عدالت موضوع این فصل هستند.
فصل پایانی محدودیتهای این رویکرد، پرسشهای باز پژوهشی و مسیرهای آینده ارزیابی عدالت در هوش مصنوعی مولد را بررسی میکند.
هوش مصنوعی دیگر تنها موضوعی پژوهشی نیست و در بسیاری از محصولات و سامانههای نرم افزاری به کار گرفته میشود. در چنین شرایطی، توسعه دهنده یا سازمان نمیتواند تنها عملکرد فنی مدل را بررسی کند.
یک مدل خوب باید علاوه بر عملکرد مناسب، قابل ارزیابی، قابل نظارت و از نظر پیامدهای احتمالی قابل دفاع باشد.
این کتاب دقیقاً در نقطه اتصال میان مهندسی نرم افزار، یادگیری ماشین، ارزیابی مدل، مدیریت خطر و حاکمیت هوش مصنوعی قرار میگیرد.
اگر با توسعه سامانههای مبتنی بر هوش مصنوعی، ارزیابی مدل، مهندسی داده، یادگیری ماشین یا مدیریت محصولات هوشمند سروکار دارید، این کتاب میتواند دیدگاه شما را از «آیا مدل درست کار میکند؟» به پرسش گستردهتر «آیا مدل برای گروههای مختلف به شکل منصفانه و قابل قبول کار میکند؟» تغییر دهد.
«عدالت در هوش مصنوعی مولد» تلاش میکند یکی از مهمترین چالشهای نسل جدید سامانههای هوشمند را از سطح بحث نظری به سطح مهندسی و اجرا منتقل کند.
ارزش اصلی کتاب در ارائه یک معیار واحد برای عدالت نیست؛ بلکه در ارائه یک روش نظام مند برای تعریف، اندازه گیری، تفسیر، پایش و بهبود عدالت در طول چرخه عمر یک سامانه هوش مصنوعی است.
خواننده با مطالعه کتاب با مفاهیمی مانند طراحی معیارهای ارزیابی، سنجش تفاوت رفتار مدل، شناسایی کلیشهها، ارزیابی شدت آسیب، ساخت کارنامه ارزیابی، اتصال آزمونها به فرایند توسعه، پایش تغییرات و مدیریت رخدادها آشنا میشود.
در نهایت، کتاب نشان میدهد که عدالت در هوش مصنوعی مولد نباید یک بررسی موردی و واکنشی باشد؛ بلکه باید به بخشی از فرایند مهندسی، کنترل کیفیت و حاکمیت سامانههای هوشمند تبدیل شود.
نمونه چاپ کتاب موجود نیست.
نظرات کاربران (0)