Büyük veri işleme için teknoloji seçimi (Çukurova)

01Kullanılabilecek teknolojiler

Python (Django / FastAPI)

Veri işleme, yapay zekâ ve web servisleri için yaygın programlama dili; Django kapsamlı, FastAPI hafif API geliştirme sunar.

MySQL / MariaDB

Web uygulamalarında yaygın açık kaynak ilişkisel veritabanı.

PostgreSQL

Açık kaynaklı, güçlü ilişkisel veritabanı; karmaşık sorgular, JSON verisi ve büyük tablolar için uygundur.

Microsoft SQL Server

Kurumsal ERP ve muhasebe programlarında sık kullanılan ilişkisel veritabanı.

Redis

Bellek içi veri deposu; önbellek, oturum ve kuyruk işleri için kullanılır.

02Karşılaştırma tablosu

03Büyük veri işleme planlarken bilinmesi gerekenler

• Tanımlar tekleştirilir (ör. "satış" iade dahil mi?).
• Pano az ve anlamlı göstergeyle başlar.
• Önce hangi sorulara cevap arandığı yazılır (KPI listesi).

04Çukurova için çalışma düzeni

Çukurova'nın PTT verisindeki 27 yerleşim kaydı 3 farklı posta koduna dağılır.

Yazılım projelerinde analiz, tasarım ve geliştirme çoğunlukla uzaktan, görüntülü toplantılarla yürür; Çukurova'daki işletmelerle ekran paylaşımlı demolar ve ortak bir proje panosu üzerinden çalışılır. Donanım kurulumu, saha keşfi veya kullanıcı eğitimi gereken işlerde yerinde çalışma planlanır.

Adana genelinde Karaisalı, Tufanbeyli ve Aladağ gibi diğer ilçelerdeki işletmelerle de aynı uzaktan çalışma düzeniyle ilerlenir.

05Büyük veri işleme hangi ihtiyaca cevap verir?

Farklı birimler farklı rakam söylediğinde

Ortak veri modeli ve KPI tanımları ile herkes aynı sayıya bakar.

Pipeline gerektiğinde

Pipeline, büyük veri işleme projesinde kapsamın başında konuşulan başlıklardandır; analizde kimin kullanacağı ve nasıl çalışacağı netleştirilir.

06Barındırma seçenekleri

• Bulut sunucu (VPS): esnek, kaynak ihtiyacına göre büyütülebilir
• Yönetilen platformlar: altyapı yönetimini sağlayıcıya bırakır
• Şirket içi sunucu: verinin kurum içinde kalması gerektiğinde
• Konteyner tabanlı yayın (Docker): her ortamda aynı kurulum

Uygulamayı bağımlılıklarıyla birlikte konteynere paketleyen araç; her ortamda aynı şekilde çalışmasını sağlar.

07Neden "en yeni" değil "doğru" teknoloji?

Teknoloji seçimi uzun vadeli bakım maliyetini belirler. Yaygın, belgelenmiş ve ekibin bildiği bir teknoloji; en yeni ama az bilinen bir teknolojiden çoğu zaman daha doğru bir tercihtir.

08Ölçeklenebilirlik

Ölçek ihtiyacı tahminle değil ölçümle belirlenir; izleme kurulur, darboğaz görüldüğünde ilgili katman güçlendirilir.

SSSSık sorulan sorular

→İlgili sayfalar

Bu sayfada geçen kavramlar

• toplu/akış işleme
• pipeline
• SQL Server
• migrasyon
• MySQL
• dashboard
• SQL
• Adana
• Çukurova