Web scraping (veri toplama): olması gereken özellikler ve modüller (Ömerli)

01Olmazsa olmaz özellikler

• zamanlama
• temizleme
• robots/kullanım koşulu kontrolü

02İhtiyaca göre eklenen modüller

İnsan onaylı çalışma

İnsan onaylı çalışma, ihtiyaç netleştiğinde web scraping (veri toplama) içine ayrı bir modül olarak eklenebilir; ilk sürümde zorunlu değildir.

API tabanlı model kullanımı

API tabanlı model kullanımı için kimin kullanacağı ve hangi veriye ihtiyaç duyulacağı analizde belirlenir.

Şirket içi model kurulumu

Bu modül, iş akışınız gerektiriyorsa kapsamın başında konuşulur; aksi halde sonraki sürüm planına bırakılabilir.

Tam otomatik akış

Bu modül, iş akışınız gerektiriyorsa kapsamın başında konuşulur; aksi halde sonraki sürüm planına bırakılabilir.

03Web scraping (veri toplama) planlarken bilinmesi gerekenler

• Şirket verisi dış servislere gönderilecekse KVKK m.9 aktarım şartları ve sözleşmeler değerlendirilir; gerekirse yerel/şirket içi model kurulur.
• Maliyet, kullanım (token/istek) bazlı olabilir; izleme ve sınır konur.
• Önce süreç ölçülür: işin adedi ve kişi başı süresi; otomasyonun faydası buradan görünür.

04Kullanıcı rolleri ve yetkiler

05Raporlar ve mobil kullanım

Rapor ihtiyacı, kararların hangi rakamlara bakılarak verildiği sorusuyla belirlenir; her rapor bir karara hizmet etmelidir.

Arayüz mobil uyumlu tasarlanır; sahada veya yolda olan kullanıcılar tarayıcıdan aynı ekranlara erişir. Kamera, barkod veya çevrimdışı kullanım gerekiyorsa mobil uygulama değerlendirilir.

06Sektöre göre özellik önerileri

• İnsan kaynakları: İzin, özlük ve belge takibi tek kartta toplanır.
• Operasyon ve depo: Web scraping (veri toplama), operasyon ve depo için iş akışına göre uyarlanır.
• Muhasebe ve finans: Web scraping (veri toplama), muhasebe ve finans için iş akışına göre uyarlanır.
• Satış ve pazarlama: Web scraping (veri toplama), satış ve pazarlama için iş akışına göre uyarlanır.

07Ömerli için özellik planı

Ömerli'nin PTT verisindeki 46 yerleşim kaydı 1 farklı posta koduna dağılır. Büyükşehirlerde merkez ve şube yapısıyla çalışan işletmeler için web scraping (veri toplama) tasarımında merkez-şube yetki yapısı ve birleşik raporlama öne çıkar.

Yazılım projelerinde analiz, tasarım ve geliştirme çoğunlukla uzaktan, görüntülü toplantılarla yürür; Ömerli'deki işletmelerle ekran paylaşımlı demolar ve ortak bir proje panosu üzerinden çalışılır. Donanım kurulumu, saha keşfi veya kullanıcı eğitimi gereken işlerde yerinde çalışma planlanır.

Aynı ildeki Artuklu, Midyat ve Derik ilçeleri için de web scraping (veri toplama) talepleri değerlendirilir; toplantılar uzaktan yapılır.

SSSSık sorulan sorular

→İlgili sayfalar

Bu sayfada geçen kavramlar

• zamanlama
• temizleme
• robots/kullanım koşulu kontrolü
• OCR
• KVKK
• chatbot
• RAG
• tahminleme
• embedding
• Mardin
• Ömerli