تاریخچه داده هاي عظیم

تاریخچه داده هاي عظیم

About the project

 

سال 1948: شکل گیری مفهوم داده

تئوري اطلاعات شانون (Shannon's Information Theory ) : کلود شانون تئوري ریاضی ارتباطات را منتشر کرد. این نظریه چارچوبی براي تعیین حداقل نیازهاي داده‌اي براي انتقال اطلاعات در کانالهاي پر سر و صدا و یا ناقص ارائه می داد. بدون این نگرش به موضوع، داده عظیم بسیار " بزرگتر" از انچه امروز هست خواهد بود. تئوري شانون نقطه تحولی اساسی براي بسیاري از زیرساختارهاي معاصر می‌باشد و شانون نیز به عنوان یکی از نظریه پردازان اساسی علم داده قبل از اینکه این شاخه علمی ایجاد شود، شناخته می‌شود.

تئوري نایکوایست (Harry Nyquist) "عوامل موثر بر سرعت تلگراف" توسط هري نایکوایست نیز یکی دیگر از تئوري هاي اثرگذار بر فناوري داده هاي عظیم می‌باشد. این تئوري ما را قادر می‌سازد که از سیگنالهاي آنالوگ نمونه‌گیري و به صورت دیجیتالی ارایه نماییم. این مورد پایه و اساس پردازش مدرن داده ها است.

سال 1956: طرح مفهوم حافظه مجازی

Fritz-Rudolf Güntsch - مفهوم حافظه مجازي توسط فیزیکدان آلمانی در پایان نامه دکتراي او مطرح گردید. . حافظه مجازي تکنیک مدیریت حافظه با استفاده از نرم افزار و سخت افزار می باشد. این مفهوم معتقد بر ذخیره سازي توسط نرم افزار و سخت افزار هاي یکپارچه می باشد تا جزییات را از کاربران مخفی نموده و به افراد اجازه پردازش داده بدون محدودیتهاي حافظه سخت افزاري را بدهد.

سال 1966: تولد پردازنده مرکزی

سیستمهاي محاسباتی مرکزي وارد عرصه شدند. نه تنها اطلاعات در بخش علوم گسترش یافت بلکه در بخش کسب و کار هم رواج یافت. با توجه به هجوم اطلاعات در دهه 1960 ، بیشتر سازمانها شروع به طراحی، توسعه و اجراي سیستمهاي محاسباتی مرکزي نمودند که به آنان اجازه می داد تا سیستمهاي موجودي خود را به طور خودکار درآورند.

سال 1970: تولد پایگاه داده رابطه ای

IBM پایگاه داده رابطه‌اي را اختراع کرد. در سال 1970 ، ادگار کد که در IBM کار می‌کرد مقاله‌اي منتشر نمود که نشان می‌داد چگونه اطلاعاتی که در پایگاه‌هاي داده اي بزرگ ذخیره می‌شوند می‌توانند بدون اینکه نیازي به دانستن اینکه اطلاعات چگونه ساختار بندي شده‌اند و یا در کجاي پایگاه داده وجود دارند قابل دسترسی باشند. تا آن زمان، بازیابی اطلاعات احتیاج به دانش کامپیوتري نسبتا پیچیده داشت. امروزه، بیشتر تبادلات متداول داده مانند دسترسی به حسابهاي بانکی، استفاده از کارتهاي اعتباري، سهام تجارت، رزور مسافرت، و خرید آنلاین، همگی از ساختارهایی بر اساس تئوري پایگاه داده رابطه‌اي هستند.

سال 1976: جوشش اولین سرچشمه های برنامه ریزی جامع سازمانی (ERP)

به عنوان ابزاري براي کمک به شرکتهاي تولیدي براي سازماندهی و MPR سیستمهاي برنامه ریزي نیازهاي مواد اولیه و یا برنامه ریزي اطلاعات ایجاد گردید. در این زمان، کامپیوترها به تازگی در بخش تجارت مورد استفاده قرار گرفته بودند. این تغییرات تحول زیادي در تمرکز بر توانمندیهاي حسابداري و پردازش تجارت گذاشت چنانکه شرکتهایی مانند اوراکل ایجاد شدند. در نهایت، اوراکل توانست زبان ساختارمند پرسشها یا Jed Edwards و جد ادواردز SAP ساپ ،Oracle SQL اسکیوال را به صورت تجاري ارایه دهد.

سال 1983: اولین نسخه زبان پرس و جوی ساختیافته (SQL)

IBM سیستم مدیریت پایگاه داده رابطه اي تحت عنوان DB2 را که از زبان ساختار پرس و جو و (Structured Query Language) یا SQL استفاده مینمود را منتشر کرد.

سال 1985: شیء گرایی - راهبردی نوین بسوی افق‌های گسترده‌تر

برنامه نویسی شیء گرا (Object Oriented Programming) شکل گرفت و زبانهایی چون Eiffel و Ada برای اجرای آن معرفی شدند. این شیوه جدید برنامه‌نویسی اصولی داشت که از جمله آنها می توان به بسته بندی (Encapsulation) و نهان سازی (Data Hiding) اشاره نمود. این امکانات قابلیت‌های جدیدی برای نگاه مجرد به داده ها در اختیار تحلیلگران، طراحان و برنامه نویسان قرار می داد که بتوانند خیلی ذهنی تر به موضوع بنگرند. همچنین با دید سطح بالاتری مسائل را حل کنند.

بري دلوین و پاول مرفی یک معماري براي گزارش دهی و تحلیل تجارت در IBM ارایه دادند. این معماري پایه و اساس انبار داده قرار گرفت. در قلب این معماري و انبار داده به طور کل، نیاز به ذخیره مداوم و با کیفیت بالا از داده هاي دقیق و کامل می‌باشد.

 

سال 1989: جرقه های نو در کاربرد

BI -هوش تجاري ایجاد گردید. در سال 1989 ، هوارد درسنر واژه هوش تجاري و یا را که در ابتدا توسط هانس پیتر لوهن در سال 1985 مطرح شده بود را گسترش داد. درسنر هوش تجاري را اینگونه تعریف نمود" مفاهیم و رویاهایی براي بهبود تصمیم‌گیریهاي تجاري با استفاده از سیستمهاي پشتیبانی وابسته به حقایق". 

سال 1990: اولین موتور جستجو

Archie به عنوان اولین ابزار براي جستجو در اینترنت توسط الن امتاج که فارغ التحصیل دانشگاه مک گیل کانادا بود و بیل هیلان دانشجوي دانشگاه کونکوردیاي مونترال ایجاد گردید.

سال 1991: اینترنت - شروع نوین

اینترنت و یا شبکه جهانی وب که ما آن را می شناسیم ایجاد شد. پروتکل انتقال ابرمتن (Hyper Text Transfer Protocol) به عنوان ابزار استاندارد

براي به اشتراك گذاري اطلاعات در این رسانه جدید تبدیل شد.

سال 1992: گزارش‌سازی از داده‌ها

اولین گزارش پایگاه داده و یا گزارش ساز کریستال با استفاده از ویندوز چاپ شد. این گزارشها به کسب و کارها اجازه می داد تا یک گزارش از منابع داده‌اي مختلف با حداقل کد نوشته شده ایجاد نمایند و در نتیجه از هوش تجاري در راهی مقرون به صرفه استفاده نمایند.

سال 1993: تولد اولین موتور جستجوی جهانی

-W3Catalog به عنوان اولین موتور جستجو در شبکه جهانی وب منتشر شد.

سال 1995: جاوا و GPS

- شرکت سان مایکروسیستمز، پلتفرم جاوا را معرفی نمود. جاوا که در سال 1991 اختراع شد، دومین زبان محبوب پس از زبان C بود. جاوا فضاي اپلیکستن وب را تحت کنترل خود گرفت و عملا به عنوان ابزاري براي اپلیکیشنهاي ردیف متوسط قرار گرفت. این اپلیکیشنها منبعی براي ضبط و ذخیره سازي ترافیک وب می باشند. 

به طور کامل قابلیت استفاده را پیدا نمود. این سیستم در ابتدا توسط آژانس پروژه هاي GPS -سیستم مکان یابی جهانی و یا DARPA تحقیقاتی دفاعی پیشرفته و یا دارپا براي کاربردهاي نظامی در اوایل دهه 1970 ایجاد شده بود. این فناوري بعدها براي استفاده در ماشینها و خطوط هوایی و پیدا کردن تلفنهاي آیفون گم شده مورد استفاده قرار گرفت.

سال 1997: ابرداده واقعی - اولین رویارویی

-مایکل کوکس و دیوید السورث از مرکز تحقیقات ایمز ناسا مقاله اي در خصوص مصورسازی به چاپ رساندند. در این مقاله آنان به بحث در خصوص چالشهاي کار با مجموعه داده هاي بزرگ توسط منابع محاسباتی موجود پراختند. " ما این مشکل را داده هاي بزرگ ( بیگ دیتا) می نامیم." براي همین دلیل براي اولین بار واژه داده هاي عظیم ایجاد شد.

سال 1998: NoSQL تولدی دوباره برای SQL - گوگل

کارلو استروزي NoSQL که یک دیتابیس داده باز رابطه اي می باشد را ایجاد نمود. ده سال بعد، موجی ایجاد گردید تا این دیتابیس را را براي کار با مجموعه داده هاي ساختارنیافته و بزرگ مورد استفاده قرار دهد.

-گوگل توسط لري پیج و سرگی برین ایجاد شد. این دو به مدت یک سال بر روي پروژه موتور جستجویی در دانشگاه استنفورد تحت عنوان بک راب 1 کار می کردند.

سال 1999: اینترنت اشیاء - نگاهی نو

MIT در دانشگاه Auto-ID -کوین اشتن، از موسسن مرکز واژه "اینترنت اشیا" را اختراع نمود. او ایده تعمییم فرکانسهاي

رادیویی در زنجیره تامین را به دنیاي اینترنت ارتباط داد: " اگر ما کامپیوترهاي داشته باشیم که همه چیز را می دانستند – با استفاده از داده هایی که بدون کمک از ما جمع آوري کرده اند- ما قادر به ردیابی و حساب همه چیز خواهیم شد که بسیار باعث کاهش ضایعات، ضرر و هزینه خواهد شد."

پیتر لیمن و هال واریان از دانشگاه UC Berekley اولین مطالعه را در خصوص تعیین کمیت مقدار کل اطلاعات جدید و اصلی در جهان به صورت سالانه از طریق به کارگیر واژه هاي ذخیره کامپیوتري چاپ کردند.

سال 2001: تغییرات سرعت میگیرد

-ویکیپیدیا شروع به کار کرد. این دایره المعارف جمع سپاري شده روشی که مردم به اطلاعات ارجاع می دادند را متحول ساخت.

Semantic Web " - تیم برنرز-لی، مخترع شبکه جهانی وب، واژه " را به عنوان " رویایی" براي تعاملات ماشین به ماشین

دانست که در ان کامپیوترها " قادر به تحلیل تمامی داده ها در وب خواهند بود."

در مقاله اي در بخش تجارت الکترونیک وابسته به انجمن صنایع اطلاعات و نرم افزارو SaaS -نرم افزار به عنوان خدمات و یا SIIA یا مطرح گردید.

تحلیل گر گارتنر، داگ لینی، مقاله اي تحقیقی تحت عنوان " مدیریت داده 3D: کنترل اندازه، سرعت و انواع داده" چاپ نمود. حتی امروزه، سه ، همچنان به عنوان ابعاد داده هاي عظیم مورد قبول واقع شده اند.

 

سال 2002: بازهم کاربردها و فناوری های جدید

نسخه 1.1 بلوتوث توسط موسسه مهندسان برق و الکترونیک (IEEE) منتشر شد. بلوتوث استاندارد فناوري بی سیمی براي انتقال داده در فاصله هاي کم می باشد. توسعه این فناوري و اقتباس ان منجر به توسعه دستگاههاي پوشیدنی شدند که می‌توانند میان دستگاه شما و سایر کامپیوترها ارتباط برقرار نمایند. امروزه تقریبا تمامی دستگاههاي قابل حمل یک دریافت کننده بلوتوث دارند.

به دلیل حملات تروریستی 11 سپتامبر 2001 ، دارپا شروع به کار بر روي سیستم آگاهی کامل اطلاعات Total Information Awareness System نمود که ترکیبی از بیومتریک، پردازش زبان، مدلهاي پیش بینی و فناوري هاي پایگاه داده در یکی از تلاشهاي جمع اوري و تحلیل داده آژنسهاي امریکایی می‌بود.

سال 2003: انفجار اطلاعات

 بر اساس مطالعات انجام شده توسط EMC وIDC مقدار اطلاعات تولید شده در سال 2003 از میران اطلاعات تولید شده در تاریخ بشر پیشی گرفت. تخمین زده شده است که 1.8 زتابایت داده تنها در سال 2011 ایجاد شد.( این مقدار مساوري است با 200 بیلیون فیلم با کیفیت بالا، هر کدام دو ساعت) 

-لینکدین، وب سایت معروف شبکه ارتباطات براي اهل حرفه ایجاد گردید. در اوایل سال 2016 ، تعداد کاربران به به بالاي 400 میلیون نفر رسید.

سال 2004: انفجارهای بیشتر

-تعداد مقالات ویکیپیدیا به 500.000 مقاله در ماه فوریه رسید که هفت ماه بعد به یک میلیون عدد رسید.

-فیس بوك که یک خدمات دهنده ارتباط اجتماعی است توسط مارك زوکربرك و همکاران در کمبریج ماساچوست ایجاد شد. در اواخر سال 2015 ، در حدود 1.59 بیلیون کاربر فعال ماهانه در این سایت فعالیت داشته اند.

سال 2005: نیازهای جدید در فناوری

-پروژه آپاچی هدوپ توسط داگ کاتینگ و مایک کافرلا ایجاد شد.

-انجمن ملی علم امریکا توصیه کرد که بنیاد ملی علم یک مسیر شغلی براي ایجاد " تعداد کافی از دانشمندان داده با کیفیت بالا، ایجاد نماید تا بتوان مجموعه در حال رشد اطلاعات دیجیتال را مدیریت نمود."

سال 2006: باز هم فناوری‌های جدید برای نیازهای جدید

ذخیره سازي داده هاي ابري که فضایی وسیع براي ذخیره بی نهایت ایجاد می نمود اختراع شد.هدوپ به دلیل نیاز به سیستمهاي جدید براي مدیریت انفجار داده از فضاي وب ایجاد گردید. هدوپ که به صورت رایگان قابل دانلود هست به صورت صد درصد یک منبع آزاد براي ذخیره و پردازش داده می باشد.

سال 2007: اولین ERP بعنوان خدمات

شرکت اپل، آیفون را وارد بازار نمود و بازار مصرف کننده بسیار قوي براي تلفنهاي هوشمند ایجاد نمود. 

با توسعه استراتژي نرم افزار به عنوان خدمات (Software As A Service) براي شرکتهاي بزرگ ، تحولی در بازار نرم افزار به شرکت عنوان خدمات بازي نمود. در یک حرکت استراتژیک، جان وکی که قبلا در اوراکل مشغول به فعالیت بود در نوامبر 2008 در SaaS شروع به کار نمود و ایده او در خصوص ارایه جدید محصولات SAP پیاده سازي گردید.

سال 2010: ERP بر بستر ابر داده

ظهورERP در فضای ابری اتفاق مهم این سال بود.

نرم‌افزارهای نت‌سوایت Netsuite و لاوسن Lawsen به عنوان اولین آداپتورهاي ERP ابري معرفی گردیدند.

در مقایسه با سال 2008 ، دو برابر رشد در سال 2009 داشت. در حالیکه این رقم در سال مطالعه اي نشان داد که استفاده از 7 درصد بود به 15 درصد در سال 2009 رسید. ،2008

سال 2011: تغییرات گسترده

IBM کامپیوتر تحت عنوان واتسون توانست در مسابقه تلویزیونی جپردي! در حدود 4 ترابایت داده را در چند ثانیه اسکن و

تحلیل نموده و دو رقیب انسان خود را شکست دهد.

NoSQL به عنوان ابزار پرس و جوي استاندارد براي پایگاه داده UnQL- استفاده شد.

- در اواخر 2011 ، اتخاذ هوش تجاري افزایش یافت همچنانکه 35 درصد از سازمانها از هوش تجاري استفاده کرده و 67 درصد از بهترین شرکتها خدمات هوش تجاري به صورت خودیاوري ارایه نمودند.

- در ژانویه 2011 ، روندهاي هوش تجاري برتر با محاسبات ابري؛ تصویر کشی داده ها و تحلیل پیش بینی کننده ترکیب شده و داده هاي عظیم به عنوان پیشرو در این روندها عمل نمود.

سال 2012: طرح آمریکا برای توسعه داده های عظیم

دولت اوباما اعلام نمود که طرح توسعه و تحقیق داده هاي عظیم که شامل 84 برنامه می باشد در شش واحد اجرا خواهد شد. بنیاد علم آمریکا " تکنیکها و فناوري ها براي توسعه علم و مهندسی داده هاي عظیم" را منتشر نمود.

سال 2013: دمکراتیزه کردن اشیاء

دمکراتیزه کردن داده ها آغاز شد. هر فردي با استفاده از تلفنهاي هوشمند، تبلتها و Wi-Fi می‌تواند مقدار زیادي داده تولید کند. افراد بیشتري به مقدار بزرگتري از داده هاي عمومی دسترسی یافتند و از داده ها به صورت خلاقانه‌اي استفاده نمودند. براي تحلیل و بهینه سازي انبوهی از بنگاههاي تجاري شروع به استفاده از فناوري هاي جدید SAP HANA در حافظه مانند داده ها نمودند. شرکتها بیشتر بر استفاده از داده به عنوان یک سرمایه باارزش متکی شدند تا بتوانند مزیتی رقابتی به دست آورند همچنانکه داده هاي عظیم نقشی مهم در این راستا ایفا نمودند.

سال 2014: سال اینترنت اشیاء

این سال به عنوان سال اینترنت اشیا شناخته شده است. اینترنت اشیا به عنوان نیرویی قدرتمند در تحول کسب و کار به شمار آمد و تاثر دگرگون کننده آن در تمام صنایع و حوزه هاي جامعه احساس گردید.

 

درباره فنارا

اصول کاری فنارا برای خدمت به مشتریان:
  • خلق ارزش و ارائه خدمات ناب به مشتریان
  • ارتباط و تعامل سازنده با مشتریان
  • تلفیق توان خبرگان مجرب و اساتید دانشگاه
  • بهره‌گیری از متدولوژی‌ها و به‌روش‌های روز دنیا
  • بکارگیری برترین فناوری‌های روز دنیا
  • سازماندهي و اجرای مدل‌های مدیریتی بروز
شرکت فنارا با بیش از دو دهه تجربه كارشناسی و مدیریتی در توسعه و کاربرد فناوري اطلاعات و ارتباطات در سازمانهای بزرگ و کوچک در خدمت به صنایع مختلف کشور، قابليت عرضه خدمات در حوزه‌هاي متنوعي را دارد.

آخرین مقالات

تماس با ما

فنارا

پاسداران - بوستان سوم (پایین تر از برج سفید) پلاک 3 - واحد 5

تلفن: 22791540 - 87761969

دورنگار: 89774672

رایانامه: info [at] fanaraco [dot] com

درخواست همکاری:

jobcvs1389 [at] gmail [dot] com

شبکه های اجتماعی

اشتراک در خبرنامه: