حساب خطأ التكميم المضمون لضغط نماذج الشبكات العصبية

1. المقدمة

يتناول ضغط نموذج الشبكة العصبية التحديات الحسابية للشبكات العصبية العميقة على الأجهزة المضمنة في الأنظمة الصناعية. يخلق النمو المتسارع في تعقيد الشبكات العصبية أعباء حسابية كبيرة، كما يتضح من نموذج Transformer الذي يتطلب 274,120 ساعة تدريب على 8 وحدات معالجة رسومية NVIDIA P100. تقنيات التكميم تقلل البصمة التخزينية عن طريق تقليل دقة البت للأوزان والتفعيلات، لكنها تقدم اختلافات في الأداء تتطلب تحليلًا دقيقًا للخطأ.

2. المنهجية

2.1 بناء الشبكة العصبية المدمجة

يتمثل الابتكار الأساسي في بناء شبكة عصبية مدمجة تجمع بين الشبكة العصبية التغذوية الأمامية الأصلية ونظيرتها المكممة. يتيح هذا الهيكل الحساب المباشر للفروق في المخرجات بين الشبكتين، مما يوفر أساسًا لحدود الخطأ المضمونة.

2.2 تحليل الوصولية

يتيح تطبيق الطرق القائمة على التحسين وتحليل الوصولية على الشبكة العصبية المدمجة حساب حدود خطأ التكميم المضمونة. توفر هذه الطريقة ضمانات رسمية على أقصى انحراف بين مخرجات الشبكة الأصلية والمكممة.

3. التنفيذ التقني

3.1 الإطار الرياضي

يعتمد حساب خطأ التكميم على تقنيات التحقق الرسمي. بالنظر إلى الشبكة العصبية الأصلية $f(x)$ والإصدار المكمم $f_q(x)$، تحسب الشبكة المدمجة:

$\Delta(x) = |f(x) - f_q(x)|$

حد الخطأ المضمون $\epsilon$ يحقق:

$\forall x \in \mathcal{X}, \Delta(x) \leq \epsilon$

حيث يمثل $\mathcal{X}$ مجال الإدخال محل الاهتمام.

3.2 تصميم الخوارزمية

تستخدم الخوارزمية الحساب الفتري والانتشار الرمزي عبر طبقات الشبكة لحساب حدود المخرجات. تبني هذه الطريقة على أطر التحقق المعتمدة للشبكات العصبية مثل Marabou و ReluVal، لكنها تتناول بشكل خاص الأخطاء الناتجة عن التكميم.

4. النتائج التجريبية

يظهر التحقق العددي قابلية تطبيق الطريقة وفعاليتها عبر هياكل الشبكات المختلفة. تظهر النتائج التجريبية:

• يؤدي التكميم من 32-بت إلى 8-بت إلى أخطاء محدودة عادةً أقل من 5% للشبكات المدربة جيدًا
• يقلل نهج الشبكة المدمجة وقت الحساب بنسبة 40% مقارنة بتحليل الشبكة المنفصلة
• توفر الضمانات الرسمية الثقة للتطبيقات الحرجة للسلامة

5. تنفيذ الكود

import torch
import torch.nn as nn

class MergedNetwork(nn.Module):
    def __init__(self, original_net, quantized_net):
        super().__init__()
        self.original = original_net
        self.quantized = quantized_net
        
    def forward(self, x):
        out_original = self.original(x)
        out_quantized = self.quantized(x)
        error = torch.abs(out_original - out_quantized)
        max_error = torch.max(error)
        return max_error

# تنفيذ تحليل الوصولية
def compute_guaranteed_error(merged_net, input_bounds):
    """حساب حدود الخطأ المضمونة باستخدام الانتشار الفترى"""
    # تنفيذ الحساب الفترى عبر طبقات الشبكة
    lower_bounds, upper_bounds = input_bounds
    
    # نشر الحدود عبر كل طبقة
    for layer in merged_net.layers:
        if isinstance(layer, nn.Linear):
            # ضرب المصفوفة الفترية
            weight = layer.weight
            bias = layer.bias
            center = (upper_bounds + lower_bounds) / 2
            radius = (upper_bounds - lower_bounds) / 2
            
            new_center = torch.matmul(center, weight.T) + bias
            new_radius = torch.matmul(radius, torch.abs(weight.T))
            
            lower_bounds = new_center - new_radius
            upper_bounds = new_center + new_radius
            
    return upper_bounds[-1]  # حد الخطأ الأقصى

6. التطبيقات المستقبلية

توجد آثار كبيرة لمنهجية حساب الخطأ المضمون في:

• الأنظمة الذاتية: التطبيقات الحرجة للسلامة التي تتطلب ضمانات رسمية على أداء النماذج المضغوطة
• الذكاء الاصطناعي على الحافة: نشر النماذج المضغوطة على الأجهزة محدودة الموارد مع ضمانات الأداء
• التصوير الطبي: الحفاظ على دقة التشخيص مع تقليل المتطلبات الحسابية
• إنترنت الأشياء الصناعي: الاستدلال في الوقت الفعلي على الأنظمة المضمنة مع حدود تحمل خطأ محددة

7. المراجع

1. He, K., et al. "Deep Residual Learning for Image Recognition." CVPR 2016.
2. Jacob, B., et al. "Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference." CVPR 2018.
3. Katz, G., et al. "The Marabou Framework for Verification and Analysis of Deep Neural Networks." CAV 2019.
4. Zhu, J.Y., et al. "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks." ICCV 2017.
5. Wang, J., et al. "HAQ: Hardware-Aware Automated Quantization." CVPR 2019.
6. Krishnamoorthi, R. "Quantizing deep convolutional networks for efficient inference: A whitepaper." arXiv:1806.08342.

8. التحليل الخبير