וואווי מציגה שיטה חדשה לכיווץ מודלי בינה מלאכותית גדולים
השיטה החדשה: SINQ
חברת וואווי מציגה שיטה חדשה בשם SINQ (ר"ת Sinkhorn-Normalized Quantization) המיועדת לצמצום דרישות החומרה בעת הרצת מודלי שפה גדולים (LLMs). השיטה נועדה לאפשר הרצת מודלים גדולים גם על חומרה מוגבלת, מבלי שיידרש אימון מחדש או כיול נוסף. זאת, בעזרת אלגוריתם ייחודי שמפחית את שגיאות הכימות (Quantization Errors).
הביצועים של SINQ
במסגרת המחקר, הצוות של וואווי במעבדה האירופית בז'נבה דיווח על שיפורים משמעותיים בביצועי מודלים כמו Qwen3 ו-DeepSeek-V2.5. השיטה הציגה שיפור ניכר בדיוק ובחיסכון בזיכרון בהשוואה לשיטות קודמות.
כיצד זה עובד?
במרכז השיטה עומד נרמול דו-צירי שמחליף את תהליךכיול המסורתי, המצריך שימוש בעשרות אלפי דוגמאות חישוב. במקום זאת, SINQ מציעה פתרון של שני גורמי קנה מידה, אחד עבור כל שורה במטריצת המשקולות ואחד עבור כל עמודה. השיטה מאפשרת "איזון" בין השורות והעמודות, ובכך מפחיתה את השפעת הערכים החריגים.
יתרונות וכיוונים עתידיים
חוקרים מציינים כי תהליך הכימות באמצעות SINQ מהיר פי 30 בהשוואה לשיטות כימות מבוססות כיול, ומציע ביצועים דומים כמעט למודל המלא תוך שימוש בחלק קטן מהזיכרון הנדרש בדרך כלל.
פתיחות קוד
וואווי שחררה את הקוד המלא של SINQ ב-GitHub, ואומרת כי השיטה היא "אוניברסלית" ומתאימה לכל מודל שפה גדול. היא יכולה להשתלב גם עם טכניקות כימות קיימות, כולל כיול ורמות דיוק שונות.
השפעות על שוק הבינה המלאכותית
גישה זו מצטרפת למגמה בצמיחה בתעשייה, המכוונת למציאת פתרונות שיאפשרו הרצת מודלי חכם בבינה מלאכותית על חומרה זולה ומקומית. אם SINQ תמשיך להניב תוצאות עקביות, ייתכן כי תהפוך לכלי מרכזי בפריסה רחבה של מודלים עם פוטנציאל לשימוש מסחרי.
זמינות המחקר
המחקר המלא מסופק באתר arXiv, ומזמין חוקרים ומפתחים להעמיק בשיטה ולבחון את יתרונותיה.