وصف الدور:
نحن نبحث عن فرد طموح لا يتعب أبدًا من التعامل مع مجموعة كبيرة من مصادر البيانات غير المهيكلة التي تم إنشاؤها من مصادر متعددة عبر الإنترنت وغير متصلة بالإنترنت.
البيانات هي أهم وقود للحلول التي نبنيها في شركتنا. قم ببناء أدوات وأطر عمل يمكنها كشط البيانات دون تدخل كبير من المطور.
هدفنا هو بناء 100 ألف + من خطوط أنابيب البيانات المستقرة. هذا يتطلب درجة عالية من عمليات الأتمتة. بصفتك مهندس بيانات يركز على تجريف الويب ، ستكون مسؤولاً عن استخراج البيانات واستيعابها من مواقع الويب باستخدام أدوات الزحف على الويب.
في هذا الدور ، ستمتلك عملية إنشاء هذه الأدوات والخدمات ومهام سير العمل لتحسين تحليل الزحف / الكشط والتقارير وإدارة البيانات. سوف نعتمد عليك في اختبار البيانات والخدش لضمان الدقة والجودة. ستمتلك عملية تحديد وتصحيح أي مشكلات تتعلق بالفواصل وكذلك كشط الحجم حسب الحاجة.
ما هو المطلوب:
- خبرة في تشغيل قصاصات الويب على نطاق واسع
- معرفة صلبة بيثون
- الإلمام بـ HTTP و HTML و JavaScript وتصميم الويب
- الإلمام بتقنيات وأدوات الزحف إلى البيانات واستخراجها ومعالجتها (مثل Scrapy و pandas و MapReduce و SQL و BeautifulSoup وما إلى ذلك).
- الإلمام بإدارة ملفات PDF وأدوات استخراج النصوص / الكائنات بما في ذلك التعرف الضوئي على الحروف.
- الخبرة في تجريف الويب للتجارة الإلكترونية ميزة إضافية
- تعد خبرة العمل مع قواعد بيانات NoSQL لتخزين البيانات الأولية ميزة إضافية
- خبرة في التحكم في الإصدار وممارسات مفتوحة المصدر ومراجعة التعليمات البرمجية
- تجربة مع التطبيقات المصممة لعرض محتوى الويب المؤرشف
- مهارات تواصل رائعة (كتابة وتحدثًا باللغة الإنجليزية)
