Big Data (Büyük Veri) Nedir?

Bu yazımızda Big Data Nedir? bundan bahsedeceğiz. Big Data, İngilizce bir kavram olup Türkçesi “Büyük Veri”dir.

Big Data (Büyük Veri) Nedir?

Günümüzde büyük popülerlik kazanan Big Data’nın tarihçesi 7000 yıl öncesinde verilerin ilk kez kaydedilmeye başlanmasına yani “verinin” ortaya çıkısına dayanmaktadır. Mezopotamya’da, üretilen mahsul miktarının ve sürülerdeki hayvan sayılarının kaydedilmeye başlanması ile veri yani “data” hayatımıza girmiştir. Big Data konsepti ise 2000’li yılların başında analist Doug Laney ile popülaritesinde ivme kazanmaya başlamıştır. Big Data kavramı büyük hacimli -yapılandırılmış ve yapılandırılmamış- verileri ifade etmek için kullanılmaktadır. Bu veriler o kadar büyük, hızlı ve komplikedir ki geleneksel yöntemler kullanarak işlemek mümkün değildir.

2000 yılında dünyadaki tüm verilerin sadece %20’si dijital olup kalan bilgiler eski usul ile saklanmaktaydı. 2015 itibariyle bu oran %98’e çıkmıştır. Veriler, artık bir bulut halinde saklanıyor olup yazılan algoritma da o veri bulutunun içinden gerekli bilgiyi anında çekebiliyor.

Büyük Verinin (Big Data) Tanımı: 3V

Doug Laney 2000’li yılların başında Büyük Veri’yi günümüzde kullanılan tanımı ile tanımlamıştır ve buna 3V anlamına gelen “Three V’s” demiştir. Bunlar:

1.Hacim (Volume):

IDC verilerine göre 2019 yılının sonunda dünyanın sahip olduğu veri miktarı 40 zettabyte’a ulaştı. Ki bu 40 zettabyte minimum değer çünkü buna dijital olmayan veri biçimleri dahil değil. 2025’e kadar bu miktarın 175 zettabyte’a çıkması öngörülmektedir.

Kuruluşlar veriyi çeşitli kaynaklardan toplamaktadır. Bu kaynaklardan toplanan veri miktarı o kadar büyük ki “Petabyte, Terabyte” gibi devasa boyutlardaki hacimlerden bahsedilmektedir. Bunlar; ticari işlemler, akıllı cihazlar (Iot), endüstriyel ekipman, video, sosyal medya gibi kaynaklardan toplanan verileri içermektedir. Geçmişte bu kadar büyük hacimli verinin depolanması sorun yaratabilirdi fakat günümüzde “Data Lakes” ve “Hadoop” gibi ucuz depolama platformları bu veri yükünün depolanmasına yardımcı olmaktadır.

2.Hız (Velocity):

Büyüme ve gelişme yolunda yatan talepleri ve zorlukları karşılamak için verilerin üretilme ve işlenme hızından bahsedilmektedir. Big Data genelde verilerin üretilmesi ile eş zamanlı olarak bir yandan da işlenmektedir. Her milisaniyede veri kaydedip ürettikçe, bu verileri de aynı hızla anlayabilmemiz gerekir. Trafiği izlemekten salgın yayılmaları izlemeye ve hisse senedi alım satımına kadar, zaman çok önemlidir. Bilgiyi anlamada birkaç saniyelik gecikme, yalnızca paraya değil, aynı zamanda hayata da mal olabilir.
Nesnelerin İnternetindeki büyümeyle birlikte, veriler işletmelere benzeri görülmemiş bir hızda akar ve bu veriler eş zamanlı işlenmelidir. RFID etiketleri, sensörler ve akıllı sayaçlar, bu veri selleriyle neredeyse gerçek zamanlı olarak başa çıkma ihtiyacını artırıyor.

1 Dakikada Üretilen Veri Sayısı:

• Instagram 216.000 fotoğraf paylaşımı
• Twitter 2.700.000 twit paylaşımı
• Mesaj 30.000.000.000 anlık mesaj gönderimi
• E-posta 200.000.000 e-posta gönderimi

3.Çesitlilik(Variety):

Veriler, geleneksel veri tabanlarındaki yapılandırılmış sayısal verilerden yapılandırılmamış metin belgelerine, e-postalara, videolara, seslere, hisse senedi verileri ve finansal işlemlere kadar her tür biçimde gelir.

• Yapılandırılmış Veri:

Sabit bir biçimde işlenebilen, depolanabilen ve alınabilen verileri kastediyoruz. Basit arama motoru algoritmaları ile kolayca ve sorunsuz bir şekilde depolanabilen ve bir veri tabanından erişilebilen yüksek düzeyde organize edilmiş bilgileri ifade eder. Örneğin, bir şirket veri tabanındaki çalışan tablosu, çalışan detayları, iş pozisyonları, maaşları vb. organize bir şekilde bulunacak şekilde yapılandırılacaktır.

• Yapılandırılmamış Veri:

Belirli form veya yapıdan yoksun olan verileri ifade eder. Bu, yapılandırılmamış verileri işlemeyi ve analiz etmeyi çok zor ve zaman alıcı hale getirir. E-posta, yapılandırılmamış verilere bir örnektir.

• Yarı Yapılandırılmış Veri:

Hem yapılandırılmış hem de yapılandırılmamış veri türünü içerir. Çoğu zaman, veriler tanımlanmış ancak yapılandırılmamışsa, yarı yapılandırılmış veri olarak sınıflandırılabilir. Yarı yapılandırılmış veriler, organizasyon özelliklerini içeren ancak geleneksel veri tabanı biçiminde olmayan bilgileri içerir.

Büyük Veri(Big Data) Kullanım Alanları

• İşletme
• Perakende Satış
• Kamu
• Teknoloji
• Eğitim
• Kişisel Konum Verileri
• Sağlık
• Telekomünikasyon
• İmalat
• Bankacılık
• Finans

İlginizi çekebilir: Geleceğin Meslekleri Nelerdir?

Büyük Veri(Big Data) ve Netflix

Efsanevi Hollywood senaristi William Goldman’ın bir sözü vardır: “Kimse ama hiç kimse -ne şimdi ne de gelecekte- gişede neyin tutup neyin tutmayacağını bilemez, tahmin dahi yürütemez.”

Netflix CEO’su Reed Hastings, tam olarak bu “tahmin edilebilirlik” üzerine bir şirket inşa ederek Goldman’ı haksız çıkarmaya karar verdi: hangi filmlerin bizi ekran başına bağlayacağını tahmin etmek.

Bilgi Güçtür. -Francis Bacon

Netflix bu çalışmalarının karşılığını alarak her gecen gün büyümeye devam etmektedir. Şu anki borsa değeri 200 milyar doların üstünde olup köklü geçmişe sahip Disney’i bile sollamıştır. Peki bunu nasıl basarmıştır? Gelin beraber inceleyelim ve bir kez daha verinin önemini görelim.

Veriye Dayalı Kişiselleştirme

Netflix’in ünlü “öneriler algoritması” izleyici aktivitesinin %75’inin oluşmasını sağlar. Başka bir deyişle tüm Netflix izlemelerinin dörtte üçü Netflix’in kendi önerilerine dayanmaktadır.

Müşterilerinize her zamankinden daha yakın olmalısınız. Öyle yakın ki onlara neye ihtiyaçlarının olduğunu kendileri fark etmeden önce siz onlara söylemelisiniz.”— Steve Jobs

Netflix’in dizi/film kapakları bile kişiselleştirmeden payını almış bulunmaktadır : İzleyicinin o güne kadar izlediklerinden yola çıkarak “izleyici profili” oluşturur ve yeni dizi/film önerilerinin kapağını da o dizi/filmin içinden size en uygun sahneyi alarak kapak yapar. Örneğin, sizin siyahi olduğunuzu anlayıp kapağa da dizi/filmin içinde belirmiş siyahi insanları koyar. Böylelikle siz kendinizi o filme daha yakın hissedersiniz ve izlerseniz.

Veri bilimciler, söz konusu müşteri davranışını anlamak ve bunu kendi lehine çevirmek olduğunda Netflix’in gizli silahı konumundadır.

İlginizi Çekebilir: Yapay Zeka Mühendisliği Nedir?

Sürekli Deney ve Testler Uygulamak

Netflix, Nisan 2017’de yeni bir oylama sistemini sundu. Önceden kullanıcılar izlediklerini 1-5 arası yıldız sistemiyle oyluyordu. Ekipleri bu oylama sistemi üzerinden testler yaptıklarında daha basit ve kullanışlı bir sistem buldular: Parmak aşağı/yukarı

Bu yeni sistem eskisini açık ara farkla yenmişti. İzleyicilerin dizileri oylama sayısı arttıkça  Netflix, müşterinin neyi beğenip neyi beğenmediği hakkında daha fazla veriye sahip oluyor, müşteriyi daha yakından analiz edip ona hitap eden içerikleri karşılarına “öneri” olarak sunabiliyor. Bu, yapılan araştırmaların sadece bir tanesi. Piyasaya sundukları her ürün için sürekli bu tarz deney ve testler yapmaya devam ediyorlar.

Bu “veri bazlı” yaklaşımlarını kendileri için de uyguluyorlar. Piyasaya sundukları, kendi yapımları olan “The Netflix Originals” dizilerini de izleyicilerin davranışlarına ve toplumsal eğilimlere göre yayınlıyorlar. Bu “big data” yaklaşımı o kadar başarılı ki televizyon endüstrisinde dizilerin sadece %35’inin ikinci bir sezonu çekilirken Netflix’te bu oran %93’e çıkmış bulunmaktadır.

Büyük Verinin (Big Data) İş Alanları

• Big Data Mühendisliği
• Big Data Mimarlığı
• Big Data Analistliği
• Veri tabanı Mühendisliği
• Veri Ambarı Mühendisliği
• Big Data Araştırmacılığı

Bu yazımızda Big Data Nedir? başlığı altında terimin tanımını yaptık, kullanım alanlarını inceledik, şirketlerin topladıkları veriler ile nasıl stratejiler geliştirdiklerini öğrendik. Aynı zamanda günümüzde popülerleşen ve geleceğin mesleği sayılan iş alanlarını da saymış olduk. Konunun daha derinine inmek isterseniz size kitap önerimiz aşağıda bulunmaktadır.

Big Data @ Work Thomas Davenport