PHP ile Big Data Mining ( Büyük Veri Madenciliği )

PHP ile Büyük verilerin içerisinde işinize yarayacak faydalı bilgilere ulaşmayı hedefliyor iseniz, doğru bir karar olup olmadığını avantajları ve dezavantajları ile ele almaya çalışacağım.

Web siteleri üzerinden PHP ile büyük verileri almayı hiç bir zaman tercih edilmemesi gerekiyor çünkü Web sitesi ve verileri alan kişi için ekstra kaynak ve zaman kullanımı olacaktır.

Bunun için teknik imkanlar çerçevesinde Web Servisleri, Json, Xml veyahut Excel gibi bir çok metin tabanlı çıktıları firmalar sağlıyor veya sağlamaya çalışıyorlar.
Tabiki de her firma direkt veya satıcısıda olsanız Web Servis hizmetini vermemek için elinden geleni yapacaktır çünkü günümüzde Veri çok önemli bir yeri bulunmaktadır.


Konunun özüne geri dönecek olursak, herhangi bir şekilde Web Servisimiz yok lakin web sitesi içerisinde yer alan veriler bizim için önem arz ediyor.
Bunun için PHP ile Data Mining ( Veri Madenciliği ) rahat bir şekilde olmasada da yapabilirsiniz.

Bu hussusa dikkat etmeniz gerekecek hususlar ve tavsiyelerim şu şekilde olacaktır;

  • Geliştirdiğiniz yazılımın sade, karmaşık olmayan kodların olmasını sağlayın,
  • Geliştirdiğiniz kod Komut satırı üzerinden çalışması durumunda Client tarafına bağlı olmadan Sunucu arka planında çalışmasını sağlayın ,
  • Lunix tabanlı sistemler için nohup php veri-madenciligi.php > islem-ciktilari.txt& ile Sunucu üzerinde Root yetkisi ile arka planda tam donanım kaynaklı çalıştırabilirsiniz,
  • Resim indirme, ayıklama işlemlerinden oldukça kaçınmaya çalışın çünkü işlem sürenizin %70'ini resimler alması hiç hoş olmaz,
  • Diziler, birden fazla değişkenlerden uzak durun veriniz büyük olduğu için Bellek kullanımı aşırı artacak ve yazılımınız bir süre sonra otomatik duracaktır,
  • Sunucu ayarlarını limitsiz-sonsuz şekilde çalışacak şekilde ayarlayınız lakin yaptığınız işlemden emin değil iseniz hiç bir sunucu ayarına ellemeyin,
  • Periyodik olarak kontrol edin ve bu süreçte zamanınızı faydalı işlerle uğraşmaya gayret gösterin.