مراقب GPU وذاكرة مخصص للأعمال المحلية للذكاء الاصطناعي
تتبع مقاييس وحدة المعالجة المركزية في الوقت الحقيقي، لكل نواة ومقاييس وحدة معالجة الرسوميات في لوحة تحكم طرفية مدمجة، مع وجهات نظر مركزة لأحمال نموذج اللغة الكبيرة. تم إنشاؤه بواسطة dramxx لسطح المكتب بنظام Windows، يربط dMeter خلفية Rust بواجهة مستخدم طرفية مصممة لعرض وحدة المعالجة المركزية، وذاكرة الوصول العشوائي، وذاكرة الفيديو، وحمل وحدة معالجة الرسوميات. إنه مناسب للمطورين وعشاق الذكاء الاصطناعي الذين يقومون بتشغيل النماذج المحلية ويفضلون مراقب سطر الأوامر ذو الحمل المنخفض الذي يبرز ضغط وحدة معالجة الرسوميات والذاكرة أثناء مهام الاستدلال أو التدريب المكثفة.
ماذا يظهر الأداة وكيف تقدم البيانات؟
يعرض التطبيق قراءات حية لوحدة المعالجة المركزية والذاكرة العشوائية مع تصور لكل نواة، بالإضافة إلى لوحات تحميل GPU واستهلاك VRAM مخصصة، بحيث يمكنك مشاهدة أنماط المعالجة والذاكرة بسرعة. علاوة على ذلك، يركز TUI على قابلية القراءة مع ثيمات قابلة للتخصيص، مما يساعد عند مراقبة وظائف LLM الطويلة من الصدفة. يحتفظ الواجهة بكل شيء في الطرفية بدلاً من فتح نافذة GUI منفصلة.
هل يؤثر على أداء النظام أثناء المراقبة؟
تم كتابة الجزء الخلفي بلغة Rust وبالتالي مصمم لاستخدام موارد منخفضة؛ وهذا يقلل من عبء المراقبة أثناء تشغيل نماذج ثقيلة الموارد. من الناحية العملية، تعني تنفيذ Rust أن المراقب يستخدم دورات وذاكرة أقل من العديد من البدائل المفسرة، وهو أمر مهم عندما يكون الجهاز بالفعل يقوم بجدولة GPU وتخصيصات ذاكرة كبيرة للاستدلال المحلي.
هل هو آمن ومناسب لغير الخبراء الذين يقومون بتشغيل نماذج محلية؟
يعمل المراقب كمراقب داخل الطرفية ولا يعدل برامج تشغيل النظام أو البرامج الثابتة، لذا فإنه يعمل دون تغيير حالة النظام. ومع ذلك، فإن التركيز على عرض الطرفية وقياسات LLM يفترض بعض الألفة بمفاهيم GPU و VRAM؛ قد يجد المستخدمون العاديون الذين يتوقعون لوحات معلومات رسومية أن التخطيط النصي أقل سهولة من أداة سطح المكتب.
استخدمه إذا كنت تقوم بتشغيل النماذج محليًا وتقبل سير العمل الذي يركز على الطرفية
dMeter يناسب المطورين وممارسي الذكاء الاصطناعي الذين يقومون بتشغيل نماذج اللغة الكبيرة محليًا والذين يحتاجون إلى رؤية فورية منخفضة التكلفة في ضغط وحدة المعالجة المركزية والذاكرة ووحدة معالجة الرسومات. يدعم تنفيذ Rust للبرنامج بصمة خفيفة الوزن، بينما يحافظ واجهة المستخدم في الطرفية على أداة مدمجة. التبادل الرئيسي هو عرض سطر الأوامر، الذي يعطي الأولوية للرؤية الموجزة على تجربة رسومية للمستخدمين الأقل تقنية.
