ما در آیتی هلو از شهریور ۱۴۰۲ کارمون رو با عشق به کتاب و یادگیری شروع کردیم. تخصص ما چاپ کتابهای تخصصی به زبان اصلیه و با استفاده از تکنولوژیهای روز و مواد اولیه باکیفیت، مطمئن میشیم که هر کتاب از نظر ظاهر و محتوا در بهترین سطح قرار بگیره.
هدفمون اینه که دسترسی به منابع علمی و آموزشی معتبر رو برای همه سادهتر کنیم و در این مسیر، همراه و همکار خوبی برای شما باشیم.
A Practical Guide to Threats, Defenses, and Governance for Al Systems
سیستمهای هوش مصنوعی امروزی از آزمایشگاهها خارج شده و به بخشهای حیاتی فرآیندهای تولید، پشتیبانی مشتریان، مهندسی نرمافزار، سیستمهای تصمیمیاری، عملیات امنیت و محیطهای کاری تبدیل شدهاند. این سیستمها متنهای زبان طبیعی را میپذیرند، با فراخوانی ابزارهای بیرونی دادهها را بازیابی میکنند، وضعیت (State) را به خاطر میسپارند و تحت هویتهای تفویضشده دست به اقدام میزنند. همین خصوصیات باعث کاربرد فوقالعاده آنها شده است؛ اما دقیقاً همین ویژگیها باعث میشود رفتار آنها با برنامههای قطعی (Deterministic) سنتی که برنامههای امنیتی قدیم برای دفاع از آنها ساخته شده بودند، کاملاً متفاوت باشد.
سیستمهای امنیتی سنتی بر اساس ورودیها و خروجیهای پیشبینیپذیر طراحی شدهاند، اما سیستمهای هوش مصنوعی مبتنی بر رفتارهای احتمالی، استدلال مدل و بافت سطح سیستم هستند که همین امر چالشهای امنیتی نوینی را پدید میآورد. اثری که پیش روی شماست، یعنی کتاب «امنیت هوش مصنوعی زیر حمله»، یک نقشه راه کاملاً عملی و عملیاتی برای مهندسان، معماران سیستم، تیمهای سرخ (Red Teams) و رهبران حاکمیت امنیت فراهم میکند تا بتوانند سیستمهای مبتنی بر مدلهای زبانی بزرگ (LLMs) و عاملیتهای هوشمند (AI Agents) را در محیطهای واقعی ایمنسازند.
تمرکز محوری این کتاب بر ارائه شواهد و مدارک عملی است. در دنیای امنیت هوش مصنوعی، یک مکانیزم کنترلی زمانی ارزش دارد که بتواند رفتار واقعی سیستم را تغییر دهد، ردپایی قابل ثبت (Record) از خود به جای بگذارد، در برابر آزمونهای نفوذ مقاومت کند و منطق آن برای صاحبان مخاطره (Risk Owners) قابل توضیح باشد. هر فصل از این کتاب، مفاهیم عمیق فنی را مستقیماً به تصمیماتی پیوند میدهد که مدافعان امنیتی باید هنگام انتقال یک سیستم از مرحله پیشنمونه (Prototype) به مرحله تولید واقعی (Production) اتخاذ کنند.
این کتاب در ۲۳ فصل جامع تدوین شده است که تمامی ابعاد آسیبپذیریها و مکانیزمهای دفاعی را از پایهایترین مفاهیم تا پیشرفتهترین معماریها پوشش میدهد.
چرا امنیت هوش مصنوعی متفاوت است؟ بررسی دلایل تفاوت در نحوه شکست و خرابی سیستمهای هوش مصنوعی نسبت به نرمافزارهای سنتی و چالشهای رفتارهای احتمالی.
مدلسازی تهدیدات در سیستمهای هوش مصنوعی: آموزش نقشهبرداری از داراییها، کنشگران، مرزهای اعتماد (Trust Boundaries)، جریان دادهها و مسیرهای سوءاستفاده قبل از استقرار سیستم.
سطح حمله در هوش مصنوعی: شکستن و تحلیل دقیق نقاط تماس مهاجمان از جمله پرامپتها، فایلها، منابع بازیابی، ابزارها، رابطهای برنامهنویسی (APIs)، حافظه، هویتها و زنجیره تامین مدل.
اصول بنیادین دفاع: معرفی اصول کنترلی کلیدی شامل جداسازی (Isolation)، اعتبارسنجی، پایش، مرزهای اختیارات، نظارت انسانی و ثبت شواهد.
کلمات کلیدی:کالبدشکافی یک سیستم هوش مصنوعی مدرن: تجزیه سیستم به مولفههای سازنده شامل مدلها، پرامپتها، بازیابی، ابزارها، حافظه، محیط اجرا (Runtime) و زیرساختهای پشتیبان.
تزریق پرامپت و جیلبریک (Prompt Injection & Jailbreaking): بررسی عمیق تزریق مستقیم و غیرمستقیم پرامپت، استراتژیهای جیلبریک، استخراج پرامپت، پنهانسازی و تستهای صحت عملکرد (Regression Testing).
سوءاستفاده از حافظه، بافت و وضعیت: آسیبپذیریهای مربوط به حافظه جلسات کاری، آلودگی حافظه بین کاربران مختلف و پاکسازی حافظه.
حملات به سیستمهای RAG (بازیابی مبتنی بر تولید): نحوه شکست سیستمهای RAG از طریق منابع آلوده، بخشبندی نادرست دادهها (Bad Chunking)، حملات بردار جاسازی (Embedding) و دستکاری رتبهبندی.
معماری عاملیتها و آسیبپذیریهای آنها: بررسی سطح حمله عاملیتها در حوزه برنامهریزی، حافظه، ابزارها و هویتهای تفویضشده.
تکنیکهای استثمار عاملیتها (Agent Exploitation): زنجیرهسازی رفتار عاملیتها توسط مهاجمان از طریق حملات نماینده گیجشده (Confused Deputy)، تزریق پارامتر و تغییر اهداف سیستم.
حملات به دادههای آموزش و یکپارچگی مدل: دستکاری زنجیره تامین مدل، آلودهسازی دادهها (Data Poisoning)، درهای پشتی (Backdoors) و خطرات مرتبط با تنظیم دقیق (Fine-Tuning).
تیم سرخ هوش مصنوعی و ارزیابی عملی: تبدیل تکنیکهای حمله به فرآیندهای تست تکرارپذیر، آزمونهای خصمانه خودکار (Automated Adversarial Testing) و سنجش معیارهای امنیتی.
ایمنسازی زیرساخت هوش مصنوعی و MLOps: کنترلهای زیرساختی در سرویسدهی مدل، جداسازی پردازندههای گرافیکی (GPU Isolation)، ثبتکنندهها و امنیت شبکهها.
ساخت برنامهها و رابطهای کاربردی امن (APIs): اعتبارسنجی طرحوارهها (Schema)، کنترل خروجیها، محدودیت نرخ درخواست (Rate Limits) و جداسازی مستاجران (Tenant Separation).
مهندسی پرامپت دفاعی: بررسی حدود توانمندی پرامپتها به عنوان یک کنترل امنیتی و نحوه تست اعتبار بافت.
نردههای محافظ (Guardrails) و نظارت انسانی: طراحی مسیرهای تصاعدی (Escalation Paths) و جریانهای تایید انسانی جهت ایجاد شواهد واقعی به جای اقدامات نمایشی.
مدیریت وابستگیهای خارجی و زنجیره تامین: بررسی ارائهدهندگان مدل، بستهها، مجموعهدادهها، ویژگیهای SaaS و جداسازی مستاجران.
ایمنسازی عاملیتها با معماری صفر-اعتماد (Zero Trust): اعمال حداقل دسترسی (Least Privilege)، جداسازی، تاییدیه و لغو دسترسی برای عاملیتهای فعال در محیطهای واقعی.
حاکمیت، مدیریت ریسک و انطباق (GRC): پیوند حاکمیت هوش مصنوعی به مالکیت، سطوح ریسک، تعهدات و تصمیمگیری درباره ریسکهای باقیمانده.
مهندسی امنیت هوش مصنوعی: تبدیل یافتههای امنیتی به فرآیندهای مهندسی قابل ردیابی و پیشگیری از بازگشت آسیبپذیریها.
عملیات امنیت هوش مصنوعی (SecOps): کشف، هشداردهی، پاسخ به حوادث، مهار و بازيابی در سیستمهای هوش مصنوعی.
ایجاد برنامههای پایدار امنیت هوش مصنوعی: ایجاد ریتم عملیاتی شامل جذب، معیارهای ارزیابی، انجمنهای بررسی و بهبود مستمر.
آینده امنیت هوش مصنوعی: نگاهی به فشارهای آتی ناشی از عاملیتهای خودمختار، زنجیرههای تامین و سازگاری مهاجمان.
جامعه مخاطبان این اثر شامل تمامی متخصصانی است که وظیفه ایمنسازی سیستمهای هوش مصنوعی در حال ساخت، خریداریشده یا مستقرشده را بر عهده دارند:
مهندسان امنیت کاربردی (AppSec)، مهندسان امنیت ابری، معماران امنیت و اعضای تیمهای سرخ که نیازمند درک عمیق روشهای نفوذ و ارزیابی آسیبپذیری سیستمهای هوش مصنوعی هستند.
مهندسان هوش مصنوعی، مهندسان پلتفرم و توسعهدهندگانی که سیستمهای RAG و عاملیتهای هوشمند را پیادهسازی میکنند و میخواهند محصولات خود را در برابر تزریق پرامپت و سوءاستفاده مقاوم سازند.
رهبران حاکمیت و ریسک، تیمهای امنیت محصول، پاسخدهندگان به حوادث امنیتی (Incident Responders) و مدیران فنی مسئول در پذیرش فناوریهای هوش مصنوعی.
برای مطالعه این کتاب نیازی نیست که پژوهشگر یادگیری ماشین باشید. داشتن آشنایی پایه با مفاهیم امنیتی نظیر احراز هویت، تعیین سطح دسترسی، مدلسازی تهدید، ثبت رویدادها (Logging)، APIs، زیرساختهای ابری و پاسخدهی به حوادث کافی است. مفاهیم اختصاصی هوش مصنوعی نظیر مدلهای زبانی بزرگ، RAG و عاملیتها در طول کتاب به طور کامل توضیح داده میشوند.
برای درک بهتر مطالب کتاب، توصیه میشود هنگام مطالعه یک سیستم واقعی را در ذهن داشته باشید؛ این سیستم میتواند یک چتبات ساده، یک دستیار RAG، یک عاملیت داخلی یا یک ویژگی هوش مصنوعی از یک سازنده خارجی باشد. مدام از خود بپرسید: مدل دستورالعملها را از کجا دریافت میکند؟ بافت دادهها را از کجا بازیابی میکند؟ چه ابزارهایی را فرا میخواند؟ تحت چه هویتی عمل میکند؟ چه وضعیتی را به خاطر میسپارد؟ و چه ردپایی از خود به جای میگذارد؟
نمونه چاپ کتاب موجود نیست.
نظرات کاربران (0)