۳. ایمنی: خروجی چطور آسیب می‌زند؟

ایمنی

غیر از ناسازگاری با واقعیت، خروجی مدل راه‌های زیادی برای آسیب زدن دارد. هر سامانهٔ ایمنی دسته‌بندی خودش را دارد (مثلاً دسته‌بندی سرویس نظارت محتوای OpenAI یا مقالهٔ Llama Guard از Meta)، ولی بیشترشان در این شش دسته جا می‌گیرند:

1. زبان نامناسب: ناسزا و محتوای صریح.
2. توصیه‌ها و آموزش‌های آسیب‌زا: مثل «راهنمای قدم‌به‌قدم سرقت از بانک»، یا تشویق کاربر به رفتار خودآزارانه.
3. سخنان نفرت‌پراکن: نژادپرستانه، جنسیت‌زده و هر رفتار تبعیض‌آمیز دیگر.
4. خشونت: تهدید و توصیف جزئیات خشن.
5. کلیشه‌ها: مثلاً همیشه اسم زنانه برای پرستار و اسم مردانه برای مدیرعامل.
6. سوگیری به یک ایدئولوژی سیاسی یا مذهبی، تا جایی که مدل فقط محتوای موافق آن را بسازد. پژوهش‌ها (مثلاً Feng و همکاران، ۲۰۲۳) نشان داده‌اند مدل‌ها بسته به آموزششان گرایش سیاسی پیدا می‌کنند — در آن پژوهش GPT-4 چپ‌گرا و آزادی‌خواه‌تر بود و Llama اقتدارگراتر.

«ایمنی» چتری است برای همهٔ نوع‌های سمّیت و سوگیری. از نظر فنی، ناسازگاری با واقعیت هم می‌تواند آسیب بزند، ولی چون دامنه‌اش بزرگ بود جدا بررسی شد. فصل ۵ راه‌های بیشتری را که مدل ناایمن می‌شود نشان می‌دهد.

برای تشخیص، می‌شود از داورهای همه‌منظوره استفاده کرد: GPT، Claude و Gemini اگر درست پرامپت بگیرند، بیشتر خروجی‌های آسیب‌زا را تشخیص می‌دهند. ارائه‌دهنده‌ها ابزار نظارت خودشان را هم گاهی بیرون می‌دهند. ولی رفتار آسیب‌زا مخصوص هوش مصنوعی نیست و در اینترنت فراوان است؛ پس مدل‌هایی که برای تشخیص سمّیت در متن‌های انسانی ساخته شده‌اند، روی متن هوش مصنوعی هم کار می‌کنند — و خیلی کوچک‌تر، سریع‌تر و ارزان‌ترند. نمونه‌ها: مدل تشخیص نفرت‌پراکنی فیسبوک، دسته‌بند سمّیت مؤسسهٔ اسکولکووو، و Perspective API. برای زبان‌های مختلف هم مدل‌های تخصصی هست.

آزمون‌های رایج سمّیت: RealToxicityPrompts با ۱۰۰ هزار پرامپت طبیعی که احتمالاً مدل را به خروجی سمّی می‌کشانند — نیمه‌جمله‌هایی که ادامهٔ «طبیعی»‌شان توهین است — و BOLD برای سوگیری در تولید متن باز.

Anthropic راهنمای خوبی برای استفاده از Claude در نظارت محتوا دارد. در ذهن‌یار هم فصل ۵ نگهبان ورودی و خروجی می‌سازد و فصل ۱۰ آن را سخت‌گیرتر می‌کند.

خودآزمایی