بسیاری از مدل‌های زبانی بزرگ (LLM) در پاسخ به دستورات متنی عملکرد بسیار خوبی دارند، اما زمانی که نوبت به پیمایش در محیط دسکتاپ در سیستم‌عامل‌های ویندوز یا لینوکس می‌رسد، با چالش‌های جدی مواجه می‌شوند. در همین راستا، یک توسعه‌دهنده فرانسوی مدل‌های جدیدی را معرفی کرده است که هدف آن‌ها مدیریت رابط‌های گرافیکی کاربر (GUI) است.
تغییر در نحوه تعامل با کامپیوتر
به طور کلی، تعامل با کامپیوتر به سه دسته اصلی تقسیم می‌شود: رابط‌های خط فرمان (CLI)، رابط‌های برنامه‌نویسی کاربردی (API) و رابط‌های گرافیکی (GUI). در حالی که Agentهای هوش مصنوعی به راحتی می‌توانند با دو مورد اول ارتباط برقرار کنند، پیمایش در محیط‌های دسکتاپ و برنامه‌هایی که اولویت آن‌ها ظاهر (Form) است تا عملکرد (Function)، همچنان یک چالش است.
خانواده مدل‌های Holo 4 با هدف رفع این مشکل طراحی شده‌اند تا مدل‌هایی نسبتاً کوچک اما توانمند را قادر سازند تا هر سه سناریوی مذکور را مدیریت کنند. این مدل‌ها می‌توانند عملیاتی نظیر اشاره (Pointing)، کلیک کردن، اسکرول کردن و تایپ کردن را در محیط‌های گرافیکی که در اصل برای انسان طراحی شده‌اند، به طور خودکار انجام دهند.
جزئیات فنی و معماری
مدل Holo 4 با استفاده از آموزش نظارت‌شده (Supervised Training) و یادگیری تقویت‌شده (Reinforcement Learning) بهینه‌سازی شده و بر پایه مدل‌های Qwen 3.8 27B و Qwen 3.6 35B-A3B شرکت علی‌بابا ساخته شده است. توسعه‌دهندگان ادعا می‌کنند که بهینه‌سازی همزمان برای CLI، API و GUI، تطبیق‌پذیری این مدل‌ها را نسبت به مدل‌های صرفاً متمرکز بر Computer Use افزایش داده است.
- عملکرد: در دموهای ارائه شده، مدل Holo 4 27B توانست با استفاده از توابع Macro در نرم‌افزار FreeCAD، یک مدل سه‌بعدی از برج ایفل را به صورت برنامه‌نویسی شده طراحی کند.
- مقایسه: ادعا شده است که Holo 4 در بنچمارک OSWorld 2.0 عملکردی بهتر از مدل‌های بسیار بزرگتر شرکت OpenAI دارد، در حالی که از پارامترهای بسیار کمتری استفاده می‌کند.
- هزینه: با وجود دقت بالاتر، هزینه اجرای هر تسک در این مدل‌ها ممکن است بیشتر باشد؛ زیرا برای رسیدن به نتیجه نهایی از توکن‌های «تفکر» (Thinking Tokens) بیشتری نسبت به مدل‌هایی مانند GPT 6 Luna استفاده می‌کند.
اجرا و استقرار (Deployment)
به دلیل اندازه کوچک این مدل‌های Open Weights، پژوهشگران و سازمان‌ها می‌توانند آن‌ها را روی سخت‌افزارهای معمولی اجرا کنند. برای مثال، یک کارت گرافیک Nvidia RTX 3090 با حافظه 24 گیگابایت برای اجرای این مدل‌ها با دقت 4-bit کاملاً مناسب است. همچنین نسخه‌های GGUF برای سازگاری با Llama.cpp، LM Studio و Ollama در Hugging Face منتشر شده است.
علاوه بر این، برای افزایش سرعت استنتاج (Inference)، از تکنیکی به نام Speculative Decoding استفاده شده است که در آن یک مدل کوچک‌تر، خروجی‌های مدل بزرگتر را پیش‌بینی می‌کند تا سرعت پردازش توکن‌ها افزایش یابد.
چشم‌انداز امنیتی و صنعتی
این مدل‌ها برای کارکرد به یک چارچوب یا Harness نیاز دارند. توسعه‌دهنده این پروژه، چارچوب متن‌باز HAI-Agents را در گیت‌هاب منتشر کرده است، هرچند این مدل‌ها تئوریکاً با سایر Harnessهای شخص ثالث نیز سازگار هستند. در حال حاضر، غول‌های فناوری مانند AWS، OpenAI، گوگل و Anthropic نیز در حال سرمایه‌گذاری روی قابلیت‌های Computer Use هستند، زیرا توانایی تعامل با GUI می‌تواند به Agentها اجازه دهد تا محدودیت‌های Sandbox را دور زده و عملیات پیچیده‌تری را در سیستم‌عامل اجرا کنند.
