⛈ طی یکی دو ماه اخیر، خیلی‌ها با یک واقعیت نسبتاً تلخ روبه‌رو شدن: ** استفاده از LLMها دیگر مثل قبل یک هزینه ساده و قابل پیش‌بینی ماهانه نیست.**

تا همین چند وقت پیش، خیلی از ابزارهای AI مثل «اشتراک ماهانه» بودن. یعنی یک مبلغ ثابت می‌دادید و تا حد زیادی با خیال راحت استفاده می‌کردید.

اما کم‌کم providerها دارن مدل محاسبه هزینه رو عوض می‌کنن.

به جای اینکه فقط بگن ماهی ۲۰ دلار یا ۱۰۰ دلار، بیشتر دارن میرن سمت credit، usage limit، token-based billing و محاسبه بر اساس مصرف واقعی.

یعنی چی؟

یعنی مدل قوی‌تر، context بزرگ‌تر، خروجی طولانی‌تر، فایل‌های بیشتر، agentهای فعال‌تر و retryهای بیشتر، همگی می‌تونن مستقیم تبدیل به هزینه بیشتر بشن.

قبلاً شاید یک prompt طولانی فقط کمی شلوغ و بدسلیقه به نظر می‌رسید، اما الان همون prompt طولانی می‌تونه مستقیماً limit شما رو بسوزونه یا billing شما رو بالا ببره.

اینجاست که بحث بهینه‌کردن prompt از یک موضوع فانتزی تبدیل میشه به یک موضوع اقتصادی. ** یه Prompt خوب یعنی:**

🎯 هدف واضح‌تر 📦 مقدار context کوتاه‌تر ✂️ خروجی کوتاه‌تر 🔁 تعداد loop کمتر 💸 هزینه قابل کنترل‌تر

برای همین ابزارهایی مثل Caveman و Ponytail بیشتر مورد توجه قرار گرفتن. ما داریم وارد دوره‌ای می‌شیم که در اون باید با مدل‌ها اقتصادی‌تر حرف بزنیم.

همون‌طور که در مهندسی نرم‌افزار یاد گرفتیم CPU، RAM، storage و network بی‌نهایت نیستن و ممکنه هزینه زیادی روی دستمون بذارن، حالا داریم یاد می‌گیریم که token و context هم بی‌نهایت نیستن.

  • هر چیزی رو نباید وارد context کرد.
  • هر چیزی رو نباید از مدل قوی خواست.
  • هر کاری رو نباید به agent سپرد.
  • و هر پاسخی هم که از LLM می‌گیریم، لازم نیست یک مقاله کامل باشه.

⚠️ البته نباید از اون طرف بام هم بیفتیم.

برای کارهای حساس، مثل امنیت، migration، incident، معماری یا تغییرات production، گاهی توضیح کامل و context بیشتر واقعاً لازمه.

صرفه‌جویی خوبه، اما باید حواسمون باشه کاری نکنیم که چند برابرش رو بعداً پرداخت کنیم.

به نظرم از این به بعد یکی از مهارت‌های مهم کار با AI اینه:

نه فقط بلد باشیم چه چیزی از مدل بخواهیم، بلکه بلد باشیم چقدر از مدل بخواهیم.

🔗 چند لینک برای مطالعه بیشتر:

  1. GitHub — Copilot usage-based billing https://github.blog/news-insights/company-news/github-copilot-is-moving-to-usage-based-billing/

  2. GitHub Docs — Usage-based billing for Copilot https://docs.github.com/copilot/concepts/billing/usage-based-billing-for-individuals

  3. OpenAI — Codex Pricing https://developers.openai.com/codex/pricing

  4. Claude — Manage usage credits https://support.claude.com/en/articles/12429409-manage-usage-credits-for-paid-claude-plans

  5. Caveman https://github.com/JuliusBrussee/caveman

  6. Ponytail https://github.com/DietrichGebert/ponytail