۱۳. پروژه (۲): یک شبکهٔ عصبی از صفر — مسیریاب ذهنیار
برای تنظیم دقیق، اول یک مدل پایه (Foundation Model) لازم داریم. در این درس یک شبکهٔ عصبی (Neural Network) سهلایه را بیهیچ کتابخانهای از صفر میسازیم: گذر جلو، زیان، پسانتشار (Backpropagation) و بهروزرسانی، همه خط به خط. بعد روی پاراگرافهای درسهای دوره «پیشآموزشش» میدهیم تا یاد بگیرد هر متن مال کدام فصل است. نتیجه، مسیریاب (Router) ذهنیار است — و نقطهٔ شروع LoRA در درس بعد.
پروژهی هوش مصنوعی با پایتون: یک شبکهی عصبی کوچک را از صفر بسازید، مسیریاب پرسشهای ذهنیار.
چه میسازیم؟
مسیریاب یک متن میگیرد و میگوید مال کدام فصل دوره است. ذهنیار میتواند از آن استفاده کند تا جستوجو را به فصل درست محدود کند، یا کنار جوابش بگوید «این را در فصل ۳ بخوانید». یک برچسب هفتم هم دارد: بیرون از دوره — که مدل پایه هرگز نمونهای از آن نمیبیند؛ یاد دادنش کار درس بعد است.
قدم ۱ — داده
داده در پوشهٔ data پروژه مینشیند — همان پوشهای که توکنایزر (Tokenizer) فصل ۲ در آن ذخیره شد. اگر آن پوشه را ندارید، بسازیدش (اگر دارید، این دستور کاری نمیکند):
حالا داده را دانلود کنید: دانلود دادهٔ مسیریاب (router.json) و فایل را در پوشهٔ data بگذارید. فایل JSON است و ساختارش این است:
در حال بررسی دسترسی…
در این درس
- چه میسازیم؟
- قدم ۱ — داده
- قدم ۲ — چهار مفهوم، پیش از کد
- ۱. لایهٔ خطی: ضرب و جمع
- ۲. سه لایهٔ مسیریاب
- ۳. یادگیری با یک وزن
- ۴. زیان دستهبندی، و یک میانبر زیبا
- قدم ۳ — شبکهٔ عصبی: nn.py
- قدم ۴ — اسکریپت: run_pretrain.py
- قدم ۵ — اجرا کنید
- چه چیزی ساختیم؟
- تمرین شما
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- چرا مسیریاب پایه «دمای مناسب یخچال» را با ۱۰۰٪ اطمینان به فصل ۲ فرستاد؟