الذكاء متعدد الوسائط: حين يقرأ النظام الصورة والصوت والنص معا

ما الذي تغير عمليا

كان استخراج بيانات فاتورة مصورة يتطلب مسارا من ثلاث مراحل: تعرف ضوئي، ثم تحليل تخطيط الصفحة، ثم استخراج الحقول بقواعد أو نموذج. واليوم يمكن تمرير الصورة مع سؤال مباشر عما يراد استخراجه، فيعيد النموذج حقولا منظمة.

وأثر ذلك ليس في الدقة وحدها بل في كلفة البناء والصيانة: مسار واحد بدل ثلاثة، وأعطال أقل في نقاط الربط بينها.

حالات استخدام مباشرة

• دعم فني بالصورة — العميل يصور العطل أو رسالة الخطأ، فيفهم النظام دون أسئلة متتالية.
• فحص الاستلام — صورة للبضاعة المستلمة تقارن بأمر الشراء آليا.
• لقطات الشاشة — تحويل شكوى مصورة إلى تذكرة منظمة بحقولها.
• المستندات المختلطة — صفحة فيها نص وجدول وختم تعالج ككل لا كأجزاء.
• الوصف البديل للصور — تحسين وصول المحتوى وتحسين ظهوره في البحث.

الحدود الحالية

الدقة تنخفض مع النصوص الصغيرة جدا، والصور منخفضة الجودة، والجداول المعقدة متعددة المستويات، والخط اليدوي خصوصا بالعربية. والقياسات الهندسية الدقيقة من الصورة تبقى مجالا يحتاج أدوات متخصصة لا نموذجا عاما.

ولهذا يبقى التحقق البرمجي بعد الاستخراج ضروريا: فحص حسابي للأرقام، ومطابقة المعرفات بقاعدتك، ورفع المشكوك فيه لمراجعة بشرية.

التكلفة والأداء

الصور تستهلك من ميزانية السياق أكثر من النص بكثير، وتكلفتها ترتفع مع الدقة والحجم. ولهذا تصغر الصور إلى أقل دقة تكفي المهمة، وتقص المنطقة المهمة منها إن أمكن، ولا ترسل عشرين صفحة إن كانت الإجابة في واحدة.

أسئلة شائعة

هل تغني عن أنظمة التعرف الضوئي التقليدية؟

في كثير من الحالات نعم، خصوصا مع تنوع تصاميم المستندات. لكن الأنظمة المتخصصة قد تبقى أدق وأرخص في المهام الضيقة عالية الحجم كقراءة نموذج ثابت بملايين النسخ.

هل تقرأ الخط اليدوي العربي؟

بدرجة متفاوتة تعتمد على وضوح الخط، والنتائج أضعف منها في اللاتيني. والاستعمال الآمن هو الاستخراج مع درجة ثقة ومراجعة بشرية للحقول الحرجة لا الاعتماد المباشر.

هل يمكن تحليل الفيديو؟

يعالج الفيديو عمليا بأخذ لقطات منه على فترات وتحليلها، مع تفريغ الصوت المصاحب. وهذا كاف لأغلب حالات الأعمال، أما التحليل الزمني الدقيق للحركة فيحتاج نماذج متخصصة.