شیدهوش

حاکمیت هوش مصنوعی، ریسک و امنیت

آیا می‌توان نامه‌های سازمان را به هوش مصنوعی عمومی داد؟

نامه‌ی سازمانی فقط متن نیست؛ ممکن است داده‌ی شخصی، محرمانه یا حقوقی داشته باشد. این چارچوب کمک می‌کند تصمیم بگیرید کدام نامه‌ها را می‌توان سپرد، کدام‌ها را باید ناشناس‌سازی کرد و کدام‌ها را نباید وارد کرد.

خلاصه در سه خط

  • نامه‌های عمومی و کم‌ریسک را می‌توان برای پیش‌نویس یا بازنویسی به هوش مصنوعی عمومی سپرد، اما بازبینی انسانی باید بماند.
  • اگر نامه داده‌ی شخصی یا جزئیات محرمانه دارد، ابتدا ناشناس‌سازی و کمینه‌سازی داده انجام دهید.
  • برای نامه‌های دارای اثر حقوقی مستقیم یا ریسک افشای بالا، اصلِ ورود ندادن داده معمولاً انتخاب محتاطانه‌تری است.
در این مقاله
  1. چرا این تصمیم برای سازمان‌های ایرانی مهم است
  2. هوش مصنوعی چه کاری می‌کند و چه کاری نمی‌کند
  3. سناریوی فرضی: سه نامه، سه تصمیم
  4. پیش‌نیازهای یک پایلوت کوچک و قابل دفاع
  5. ریسک‌ها و اشتباه‌های رایج در ارسال نامه به هوش مصنوعی
  6. چک‌لیست شروع: هفت قدم از فردا
  7. جمع‌بندی: کدام نامه برای کدام سطح ریسک مناسب است

نامه‌ی سازمانی فقط متن نیست. در یک نامه ممکن است نام افراد، شماره پرونده، جزئیات قرارداد، یا اطلاعات محرمانه‌ی داخلی باشد. اگر این مرزها از قبل روشن نباشد، استفاده از هوش مصنوعی عمومی بیشتر از آنکه صرفه‌جویی بسازد، ریسک می‌سازد.

مسئله این نیست که هوش مصنوعی مفید هست یا نه. مسئله این است که کدام نامه را می‌شود به آن سپرد، کدام را باید قبل از ارسال ناشناس‌سازی کرد، و کدام را نباید اصلاً وارد ابزار عمومی کرد.

چرا این تصمیم برای سازمان‌های ایرانی مهم است

در سازمان‌های کوچک و متوسط، نوشتن نامه معمولاً بین چند نقش می‌چرخد: عملیات، منابع انسانی، مالی، فروش، حقوقی و مدیریت. همین جابه‌جایی باعث می‌شود یک متن ساده، چند نوع داده را با هم حمل کند. یک نامه‌ی اداری ممکن است هم اطلاعات شخصی داشته باشد، هم اشاره به قرارداد، هم لحن حقوقی، هم تصمیمی که هنوز نهایی نشده است.

در چنین شرایطی، معیار تصمیم فقط «کاربردی بودن» نیست. شما باید هم‌زمان چهار چیز را بسنجید: محرمانگی، داده‌های شخصی، حساسیت حقوقی و کنترل خروجی. این نگاه با چارچوب‌های مدیریت ریسک هوش مصنوعی هم‌راستاست؛ NIST تأکید می‌کند که باید ملاحظات اعتمادپذیری در طراحی، استفاده و ارزیابی سامانه‌های هوش مصنوعی وارد شود و ریسک‌ها برای افراد، سازمان و جامعه مدیریت شوند [۱]. CNIL هم یادآوری می‌کند که وقتی مقررات حفاظت از داده اعمال می‌شود، داده‌های افراد باید در داده‌های آموزشی، در مدل و در استفاده از مدل از طریق پرامپت‌ها محافظت شوند .

برای سازمان ایرانی، یک نکته‌ی عملی دیگر هم مهم است: اگر متن نامه را به ابزار عمومی می‌دهید، باید فرض کنید آن متن از مرز سازمان بیرون می‌رود. حتی اگر ابزار ادعا کند داده را برای آموزش استفاده نمی‌کند، شما هنوز باید از منظر محرمانگی، انطباق و کنترل ریسک تصمیم بگیرید.

هوش مصنوعی چه کاری می‌کند و چه کاری نمی‌کند

هوش مصنوعی عمومی می‌تواند در سه کار به شما کمک کند: پیش‌نویس اولیه، بازنویسی لحن، و خلاصه‌سازی متن‌های طولانی. اگر نامه‌ی شما تکراری، کم‌ریسک و بدون داده‌ی حساس باشد، این ابزارها می‌توانند زمان نوشتن را کم کنند. اما این به معنی واگذاری کامل تصمیم نیست.

هوش مصنوعی نمی‌فهمد کدام جمله از نظر حقوقی حساس است مگر اینکه شما آن را مشخص کنید. همچنین نمی‌تواند به‌جای شما تشخیص دهد که یک نامه باید اصلاً از محیط عمومی خارج نشود. بنابراین نقش آن در بهترین حالت، «کمک‌نویس» است، نه «تصمیم‌گیر نهایی».

برای تیم فنی

اگر از مدل زبانی بزرگ برای تولید متن استفاده می‌کنید، آن را در چارچوب مدیریت ریسک، کنترل دسترسی، ثبت رویداد و بازبینی انسانی ببینید. برای بعضی سناریوها، مهم‌تر از خود مدل این است که چه داده‌ای وارد می‌شود، چه کسی خروجی را می‌بیند، و لاگ‌ها کجا نگه‌داری می‌شوند. برای نامه‌های حساس، مسئله فقط مدل نیست؛ مسیر داده و تأیید انسانی هم مهم است.

معیار سؤال تصمیم پرچم قرمز
محرمانگی آیا این نامه شامل اطلاعاتی است که اگر بیرون سازمان دیده شود، آسیب ایجاد می‌کند؟ نام مشتری، قرارداد، رقم مالی، برنامه‌ی داخلی یا اطلاعات رقابتی در متن هست
داده‌های شخصی آیا متن شامل نام، شماره تماس، کد ملی، آدرس، پرونده یا هر شناسه‌ی فردی است؟ داده‌ی شخصی بدون ضرورت در متن آمده است
حساسیت حقوقی آیا این نامه می‌تواند تعهد، پذیرش، رد، اخطار یا استناد حقوقی ایجاد کند؟ متن هنوز در حال مذاکره است یا اثر حقوقی مستقیم دارد
کنترل خروجی آیا یک انسان مسئول، متن نهایی را قبل از ارسال می‌خواند و تأیید می‌کند؟ قرار است خروجی مستقیم و بدون بازبینی ارسال شود

سناریوی فرضی: سه نامه، سه تصمیم

فرض کنید شما در یک شرکت خدماتی کار می‌کنید و سه نوع نامه دارید.

نامه‌ی اول: بازنویسی لحن یک اطلاعیه‌ی عمومی. متن فقط درباره‌ی تغییر ساعت کاری است و هیچ نام، رقم یا موضوع محرمانه‌ای ندارد. در این حالت، سپردن متن به هوش مصنوعی عمومی برای بازنویسی لحن معمولاً کم‌ریسک‌تر است، به شرطی که بازبینی انسانی باقی بماند.

نامه‌ی دوم: پاسخ به مشتری درباره‌ی یک اختلاف قراردادی. متن شامل شماره قرارداد، نام طرف مقابل و توضیح درباره‌ی تعهدات است. اینجا بهتر است ابتدا متن را ناشناس‌سازی کنید: نام‌ها، شماره‌ها و جزئیات شناسایی‌کننده را حذف یا جایگزین کنید، سپس فقط بخش‌های لازم را برای بازنویسی بفرستید. CNIL صریحاً بر کمینه‌سازی داده و پاک‌سازی داده‌ها برای جلوگیری از پردازش غیرضروری داده‌های شخصی تأکید می‌کند [۲].

نامه‌ی سوم: اخطار داخلی درباره‌ی عملکرد یک کارمند یا تصمیمی که ممکن است اثر حقوقی داشته باشد. اینجا اصلِ ورود ندادن داده معمولاً مناسب‌تر است. حتی اگر بتوانید متن را کوتاه یا ناشناس کنید، هنوز خطر افشای ناخواسته، تفسیر نادرست یا استفاده‌ی نامناسب از متن باقی می‌ماند. NIST و CNIL هر دو بر مدیریت ریسک و حفاظت از داده در استفاده از هوش مصنوعی تأکید دارند، نه بر ارسال بی‌قیدوشرط متن حساس [۱، ۲].

اگر بخواهیم این سه تصمیم را روی یک نمودار ببینیم، یک نمودار ماتریسی خوب است که محور افقی آن «حساسیت داده» و محور عمودی آن «اثر حقوقی» باشد. این نمودار نشان می‌دهد کدام نامه‌ها در ناحیه‌ی سبز، زرد یا قرمز قرار می‌گیرند.

پیش‌نیازهای یک پایلوت کوچک و قابل دفاع

برای شروع، شما به سه چیز نیاز دارید: فهرست نوع نامه‌ها، سیاست طبقه‌بندی داده، و یک نفر مسئول بازبینی نهایی. بدون این سه مورد، استفاده از هوش مصنوعی عمومی بیشتر شبیه آزمون‌وخطاست تا تصمیم مدیریتی.

داده‌ی لازم، خودِ متن نامه‌ها نیست؛ بلکه دسته‌بندی آن‌هاست. باید بدانید هر نوع نامه چه داده‌ای حمل می‌کند: داده‌ی شخصی، محرمانه‌ی تجاری، حقوقی، یا عمومی. بعد می‌توانید برای هر دسته تصمیم بگیرید: مجاز، مجاز با ناشناس‌سازی، یا ممنوع.

پایلوت کوچک بهتر است با یک دسته‌ی کم‌ریسک شروع شود؛ مثلاً بازنویسی لحن نامه‌های عمومی یا خلاصه‌سازی متن‌های داخلی غیرحساس. معیار موفقیت هم فقط «دقت متن» نیست. باید ببینید آیا زمان آماده‌سازی کم شده، آیا خطای انسانی کمتر شده، و آیا بازبینی نهایی هنوز قابل انجام است یا نه.

از نظر تیم، معمولاً یک نفر از عملیات، یک نفر از حقوقی یا انطباق، و یک نفر از فناوری یا امنیت برای طراحی پایلوت کافی است. ابزار هم باید امکان کنترل دسترسی، ثبت استفاده و سیاست نگه‌داری داده را روشن کند. اگر این اطلاعات روشن نیست، آن ابزار برای متن‌های سازمانی حساس مناسب نیست.

ریسک‌ها و اشتباه‌های رایج در ارسال نامه به هوش مصنوعی

  • فرستادن متن کامل بدون طبقه‌بندی: خیلی از تیم‌ها اول متن را می‌فرستند و بعد تازه می‌پرسند «آیا این مجاز بود؟». پیشگیری: قبل از هر استفاده، نامه را به سه دسته‌ی عمومی، حساس و ممنوع تقسیم کنید.
  • جا گذاشتن داده‌های شخصی در متن: نام، شماره پرونده، شماره تماس یا شناسه‌ی فردی ممکن است در یک جمله‌ی کوتاه پنهان باشد. پیشگیری: یک الگوی ناشناس‌سازی ثابت داشته باشید و قبل از ارسال، متن را برای شناسه‌ها مرور کنید [۲].
  • نشت داده از طریق ابزار، لاگ یا دسترسی غیرمجاز: اگر متن در ابزار ذخیره شود یا افراد غیرمجاز به تاریخچه و لاگ‌ها دسترسی داشته باشند، محرمانگی از بین می‌رود. پیشگیری: فقط ابزارهایی را استفاده کنید که سیاست نگه‌داری داده، دسترسی و حذف تاریخچه‌شان روشن است.
  • اعتماد به خروجی بدون بازبینی انسانی: هوش مصنوعی ممکن است لحن را خوب کند اما معنای حقوقی را عوض کند. پیشگیری: برای هر نامه‌ی دارای اثر حقوقی، تأیید نهایی را به انسان بسپارید [۱].
  • یکسان دیدن همه‌ی نامه‌ها: نامه‌ی عمومی، اخطار، قرارداد و پاسخ به نهاد ناظر یکسان نیستند. پیشگیری: برای هر نوع نامه، سطح ریسک جدا تعریف کنید.

چک‌لیست شروع: هفت قدم از فردا

  1. فهرست کنید سازمان شما چه نوع نامه‌هایی تولید می‌کند: عمومی، داخلی، مشتری‌محور، حقوقی، منابع انسانی و مالی.
  2. برای هر نوع نامه، مشخص کنید چه داده‌ای در آن هست: داده‌ی شخصی، محرمانه، حقوقی یا عمومی.
  3. سه سطح تصمیم بسازید: «مجاز»، «مجاز با ناشناس‌سازی»، «ممنوع».
  4. یک الگوی ساده برای ناشناس‌سازی بنویسید: نام‌ها، شماره‌ها، شناسه‌ها و جزئیات حساس را چگونه حذف یا جایگزین می‌کنید.
  5. برای نامه‌های حساس، بازبینی انسانی را اجباری کنید و مسئول تأیید را مشخص کنید.
  6. قبل از انتخاب ابزار، سیاست داده، نگه‌داری و دسترسی آن را بخوانید و اگر روشن نیست، آن را برای متن حساس کنار بگذارید.
  7. یک پایلوت کوچک روی نامه‌های کم‌ریسک اجرا کنید و فقط سه چیز را بسنجید: زمان، کیفیت بازبینی، و تعداد خطاهای انسانی.

جمع‌بندی: کدام نامه برای کدام سطح ریسک مناسب است

اگر نامه عمومی است و داده‌ی حساس ندارد، استفاده از هوش مصنوعی عمومی فقط برای پیش‌نویس یا بازنویسی متن‌های عمومی و کم‌ریسک مناسب است. اگر نامه داده‌ی شخصی یا جزئیات محرمانه دارد، ابتدا ناشناس‌سازی و کمینه‌سازی داده را انجام دهید. و اگر نامه اثر حقوقی مستقیم، اطلاعات بسیار حساس یا ریسک افشای بالا دارد، اصلِ ورود ندادن داده معمولاً انتخاب محتاطانه‌تری است. برای ارزیابی ابزار هم می‌توانید از چک‌لیست ۵ سؤالی که باید از هر ابزار هوش مصنوعی بپرسید شروع کنید.

  1. راهکارامنیت و حاکمیت هوش مصنوعی
  2. شغلهوش مصنوعی در فناوری اطلاعات، برای مدیر IT
  3. خبرNIST پیش‌نویس پروفایل امنیت سایبری هوش مصنوعی را منتشر کرد
  4. ابزار آزمایشگاهطبقه‌بندی سطح حساسیت داده

پرسش‌های رایج

آیا می‌توان همه‌ی نامه‌های سازمان را به هوش مصنوعی عمومی داد؟

خیر. متن نشان می‌دهد که معیار تصمیم فقط کاربردی بودن نیست و باید محرمانگی، داده‌های شخصی، حساسیت حقوقی و کنترل خروجی هم‌زمان سنجیده شوند.

اگر نامه داده‌ی شخصی یا محرمانه داشته باشد، چه باید کرد؟

باید ابتدا ناشناس‌سازی و کمینه‌سازی داده انجام شود. متن می‌گوید نام‌ها، شماره‌ها و جزئیات شناسایی‌کننده را حذف یا جایگزین کنید.

برای نامه‌های حساس، آیا بازبینی انسانی لازم است؟

بله. متن تأکید می‌کند که هوش مصنوعی نقش کمک‌نویس دارد، نه تصمیم‌گیر نهایی، و خروجی نباید بدون بازبینی انسانی ارسال شود.

از کجا شروع کنیم که ریسک کمتر شود؟

با فهرست‌کردن نوع نامه‌ها، طبقه‌بندی داده و تعریف سه سطح «مجاز»، «مجاز با ناشناس‌سازی» و «ممنوع» شروع کنید.

منابع

  1. NIST (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology.

    nist.gov/itl/ai-risk-management-framework · پژوهش داوری‌شده

  2. CNIL. AI system development: CNIL’s recommendations to comply with the GDPR. Commission Nationale de l'Informatique et des Libertés.

    cnil.fr/en/ai-system-development-cnils-recommen… · استاندارد یا قانون رسمی

همه‌ی بینش‌ها
  1. حاکمیت هوش مصنوعی، ریسک و امنیت

    حاکمیت هوش مصنوعی، ریسک و امنیت

    از کجا بفهمیم پروژه‌ی هوش مصنوعی‌مان جلوی حسابرس دفاع‌پذیر است

    ۶ دقیقه

  2. حاکمیت هوش مصنوعی، ریسک و امنیت

    حاکمیت هوش مصنوعی، ریسک و امنیت

    تزریق پرامپت — چطور یک سند بی‌ضرر عامل هوشمند شما را می‌رباید

    ۶ دقیقه

  3. مدل‌های بومی، داده و زیرساخت

    مدل‌های بومی، داده و زیرساخت

    برای هوش مصنوعی سازمان، مدل بومی بخریم یا اول داده و زیرساخت را اصلاح کنیم؟

    ۷ دقیقه

می‌خواهید همین را روی کار خودتان پیاده کنید؟

یک جلسه‌ی نیم‌ساعته کافی است تا بفهمیم این موضوع کجای کار شما می‌نشیند.

اگر این خدمات مناسب شما نباشد، صریحاً به شما می‌گویم.