کتاب : NMR Spectroscopy Data Acquisition by Christian Schorn

اختصاصی از سورنا فایل کتاب : NMR Spectroscopy Data Acquisition by Christian Schorn دانلود با لینک مستقیم و پر سرعت .

The application of NMR spectroscopy into new fields of research continues on an
almost daily basis. High-resolution NMR experiments on compounds of low molecular
mass in the liquid phase are now routine and modern NMR spectroscopy is aimed at
overcoming some of the inherent problems associated with the technique. Thus higher
magnetic field strengths can be used to help overcome the problems associated with low
sample concentration enabling the analysis of complex spectra of large macromolecules
such as proteins whilst also helping to advance the study of non liquid samples by MAS
and solid state NMR spectroscopy. Apart from the chemical and physical research fields
NMR spectroscopy has become an integral part of industrial production and medicine,
e.g. by MRI (magnetic resonance imaging) and MRS (magnetic resonance spectroscopy).
The basic principles of acquiring the raw time domain data, processing this data and then
analysing the spectra is similar irrespective of the particular technique used. The
diversity of NMR is such that a newcomer to NMR spectroscopy might train in the field
of high resolution NMR and establish his career in solid state NMR. A distinct advantage
of NMR spectroscopy is that the basic knowledge of acquisition, processing and analysis
may be transferred from one field of endeavour to another.

دانلودمقاله Data mining

اختصاصی از سورنا فایل دانلودمقاله Data mining دانلود با لینک مستقیم و پر سرعت .

چکیده :
داده کاوی عبارت است از فرآیند خودکار کشف دانش و اطلاعات از پایگاه های داد ه ای.
این فرآیند تکنیک ها یی از هوش مصنوعی را بر روی مقادیر زیادی داده اعمال می کند تا روندها , الگوها و روابط مخفی را کشف کند. ابزار های داده کاوی برای کشف دانش یا اطلاعات از داده ها به کاربراتکا نمی کنند، بلکه فرآیند پیشگویی واقعیت ها را خود کار می سازند. این تکنولوژی نوظهور، اخیرًا به طورفزایند های در تحلیل ها مورد استفاده قرار می گیرد.

کلمات کلیدی :
Data mining, Predictive data mining, Exploration data analysis,
Data warehousing, Olap, neural network, Deployment , machine
Learning, Meta-learning, Bagging , Boosting , clustering , Eda
Drill-down analysis, Stacket generalization , classification

مقدمه :
امروزه با حجم عظیمی از داده ها روبرو هستیم. برای استفاده از آنها به ابزارهای کشف دانش نیاز داریم. داده کاوی به عنوان یک توانایی پیشرفته در تحلیل داده و کشف دانش مورد استفاده قرار می گیرد. داده کاوی در علوم (ستاره شناسی،...)‌در تجارت (تبلیغات، مدیریت ارتباط با مشتری،...) در وب (موتورهای جستجو،...) در مسایل دولتی (فعالیتهای ضد تروریستی،...) کاربرد دارد. عبارت داده کاوی شباهت به استخراج زغال سنگ و طلا دارد. داده کاوی نیز اطلاعات را که در انبارهای داده مدفون شده است، استخراج می کند.
در واقع هـــــدف از داده کاوی ایجاد مدل هایی برای تصمیم گیری است. این مدلها رفتارهای آینده را براساس تحلیلهای گذشته پیش بینی می کنند. به کاربردن داده کاوی به عنوان اهرمی برای آماده سازی داده ها و تکمیل قابلیتهای انباره داده ، بهترین موقعیت را برای به دست آوردن برتریهای رقابتی ایجاد می کند.

داده کاوی (Data mining) :

داده کاوی (Data mining) یک فرایند تحلیلی است که جهت کاوش داده ها (معمولاً حجم بالای داده ها و یا داده های تجاری و مربوط به بازار) و جستجوی الگوهای پایدار یا روابط سیستماتیک مابین متغیرها بکار میرود وسپس با اعمال الکو های شناسایی شده به زیر مجمو عه های جدید صحت داده های بدست آمده بررسی میگردد. هدف نهایی داده کاوی پیشگویی است.
سازما نها معمو ً لا روزانه مقدار زیادی داده را در انجام عملیات تجاری خود تولید و جمع آوری می کنند.
امروزه برای این پایگاه های داده شرکتی عجیب نیست که مقدار داده های آن در حد ترابایت باشد. با این حال علی رغم ثروت اطلاعاتی عظیم ذخیره شده حدس زده می شود که فقط ٪ ٧کل داد ه هایی که جمع آوری می شود مورد استفاده قرار می گیرد. بدین ترتیب مقدار قابل توجهی داده که بدون شک حاوی اطلاعات ارزشمند سازمانی است تا حد زیادی دست نخورده باقی می ماند. در محیط تجاری عصر اطلاعات، که هر روز رقابتی تر می شود می توان با استخراج اطلاعات از داد ه های استفاده نشده به تصمیم گیری های استراتژیک دست یافت. در طول تاریخ تحلیل داده ها از طریق رگرسیون و دیگر تکنیک های آماری انجام شده است. برای استفاده از این تکنیکها ، لازم است که تحلیل گر مدلی خلق کند و فرآیند گر دآوری دانش را سازمان دهد.
اما امروزه این روش ها به تنهایی کافی نیستند و باید از روش ها ی خود کار استفاده کرد.
داده کاوی عبارت است از فرآیند خودکار کشف دانش و اطلاعات از پایگاه های داد ه ای.
این فرآیند تکنیک ها یی از هوش مصنوعی را بر روی مقادیر زیادی داده اعمال می کند تا روندها ، الگوها و روابط مخفی را کشف کند. ابزار های داده کاوی برای کشف دانش یا اطلاعات از داده ها به کاربر اتکا نمی کنند، بلکه فرآیند پیشگویی واقعیت ها را خود کار می سازند. این تکنولوژی نوظهور، اخیرًا به طور
فرایند های در تحلیل ها مورد استفاده قرار می گیرد

داده کاوی پیشگویانه رایج ترین نوع داده کاوی است و با برنامه های کاربردی تجاری در ارتباط مستقیم است . فرایند داده کاوی از سه مرحله تشکیل شده است.
ا- کاوش اولیه (initial exploration )
2-ساختن مدل یا شناسایی الگو بوسیلة سنجیدن اعتبار وصحت داده ها
3-گسترش

1- مرحله کاوش(Exploration) :
این مرحله معمولاً با آماده سازی داده ها آغاز می شود که تشکیل شده است از پاکسازی داده ها (cleaning data) ،تغیر شکل داده ها، انتخاب زیر مجموعه ای از رکورد ها (در زمانی که مجموعه ای از داده ها با حجم بالایی از فیلد ها موجود است) و انجام دادن برخی عملیات اولیه جهت قرار دادن متغیر ها در یک بازة قابل مدیریت،که بستگی به روش آماری ای که مورد نظراست دارد و پس ازآن به طبیعت مسئله تحت بررسی مربوط می شود.
مرحلهُ اول فرآیند داده کاوی می تواند در هر جایی از گسترة ، انتحاب یک روش مستقیم پیشگویی تا یک روش تجزیه و تحلیل با جزئیات وزحمت بالا قرار داشته باشد .(جهت کسب اطلاعات وسیع تر به قسمت EDA مراجعه کنید).
این مدل جهت شناسایی متغییر هایی که بیشتر از همه با موضوع مرتبط هستند و جهت مشخص کردن پیچیدگی و طبیعت کلی مسئله در مراحل بعدی مورد استفاده قرار میگیرد .

مرحله 2- ساختن مدل و معتبر سازی (model building and validation):
این مرحله در گیر در نظر گرفتن مدل های مختلف،و انتخاب بهترین آنها بر اساس کارایی در پیشگویی ، می باشد.(برای مثال تعییرات سوُالات را تشریح کندونتایج ثابتی در مقابل نمونه ها تولید کند.) شاید این به نظر عملیات ساده ای بیاید. ولی در واقع بعضی از مواقع در گیر یکسری فرآیند های پیچیده می شود.روشهای مختلفی جهت رسیدن به این هدف وجود دارد که آنها را روشهای ارزیابی رقابتی مدل ها (competitive evaluation of models ) می نامند که مدلهای مختلفی را بر روی یک دادهُ ثابت اعمال می کند و سپس کارایی آنها بررسی می شود تا بهترین آنها انتخاب گردد. این روش ها که در خیلی از مواقع به عنوان هستهُ داده کاوی پیشگویانه تلقی می گردند و شامل طبقه بندی کردن(bagging،)، ترقی دادن (boosting ) ،انباشتن (stacking )و یادگیری غیر نمادین(meta learning )میباشند.

مرحلة3- مرحلهُ گسترش Deployment):( :
در آخرین مرحله مدلی که به عنوای بهترین مدل در مرحلة قبلی انتخاب شده بود بر روی داده های جدید به منظور تولید پیشگویی یا بر آورد خروجی مورد انتظار اعمال میگردد.
شهرت داده کاوی به طور روز افزونی به عنوان یک ا بزار مدیریت تجاری داده ها شهرت یافته است و انتظار می رود بتواند ساختار های دانشی را نمایان سازد که در شرایط عدم قطعیت تصمیمات گرفته شده را هدایت کند.
روشهای تحلیلی جدید خصوصاً جهت نشان دادن مسائل مرتبط با داده کاوی تجاری ،اخیراًبسیار مورد توجه بوده اند (به عنوان مثال درخت های رده بندی) ، با این حال داده کاوی هنوز مبتنی بر قواعد مفهومی روشهای دستیابی قدیمی نظیر آنالیز اکتشافی داده ها (EDA) و مدلساری میباشد. وقسمت هایی از دست آورد های عمومی و بعضی از تکنیک های خاص خود را با آنها به اشتراک می گذارد.
بهرحال تفاوت زیادی در نفطه نظرات و اهداف داده کاوی و روش آنالیز اکتشافی داده ها (EDA) وجود دارد . داده کاوی بیشتر متمایل به کاربردها است تا طبیعت اصلی پدیدة مورد بررسی.به عبارت دیگر داده کاوی کمتر به شناسایی روابط خاص موجود بین متغیرها می پردازد.برای مثال آشکار کردن توابع و انواع داده ای خاصی که بر روابط تعاملی و چند متغیری که بین متغیرها وجود دارد هدف اصلی داده کاوی نمی باشد. در عوض توجه خود را به ایجاد روشی که بتواند پیشگویی قابل استفاده ای تولید کند معطوف می سازد. و به همین دلیل است که داده کاوی از بین دست آوردهای جعبه سیاه(black box ) در کاوش داده ها یا اکتشاف دانش مقبولیت بیشتری دارد. و نه تنها از روش های سنتی آنالیز اکتشافی داده ها (exploratory data analysis (استفاده می کند بلکه از روشهایی مانند شبکه های عصبی ( Neural network ) که می تواند پیشگویی های معتبری تولید کند ولی قادر به شناسایی طبیعت خاص روابط داخلی بین متغیرهایی که پیشگویی ها بر اساس آنها صورت گرفته است نمیباشد سود می جوید.
مفاهیم تعیین کننده در داده کاوی:
1-هم پیوندی (Bagging) :
هم پیوندی قابلیتی برای یافتن روابط ناشناخته موجود در اطلاعات است. این روابط مواردی از قبیل اینکه
حضور مجموعه ای از مقولات اشاره به این دارند که مجموعه مقولات دیگری نیز احتمالا وجود دارند را
شامل می شود. این قابلیت اساسًا روشی است برای اینکه کشف کنیم چه مقولاتی به هم می خورند. از آن با عنوان تحلیل سبد بازار یا گروه بندی خویشاوندی نیز یاد می شود.
برای مثال، گزار شهای هم پیوندی چنین شکلی دارند:"٪ ٨٠ مشتریانی که کالای A را خریداری نموده اند، کالای Bرا نیز خریده اند." درصد خاص وقوع وقایع) مثلا ٪ ٨٠ این نمونه ( را فاکتور اطمینان هم پیوندی B و A می نامند. همچنین ممکن است هم پیوندی های چند گانه وجود داشته باشد: "٪ ٧٥ مشتریانی که کالای D را خریداری نموده اند، کالای Cرا نیز خریده اند."
کاربرد های هم پیوندی عبارتند از برنامه ریزی موجودی، برنامه ریزی تبلیغاتی برای فروش و مراسلات بازاریابی مستقیم.
مفهوم Bagging (راُی دادن به رده بندی و بدست آوردن متوسط مسائلی که دارای متغیر هایی با مقادیر متوسط وابسته میباشند)و در گسترة داده کاوی اعمال می گردد تا طبقه بندی های پیشگویانه را از مدل های چندگانه یا از یک نوع مدل ، برای درک اطلاعات ترکیب کند . و همچنین جهت نشان دادن بی ثبا تی ماندگار نتایج در زمانی که مدل های پیچیده به مجموعه های کوچک داده ها اعمال می شوند به کار می رود. فرض کنید که عمل داده کاوی شما می خواهد یک مدل جهت طبقه بندی پیشگویا نه بسازد و مجموعة داده های آن نسبتاً کوچک است . شما می توانید به صورت متوالی مجموعه داده ها را به نمونه های کوجکتر تقسیم کنید و اعمال کنید همانند رده بندی درختی تا به نمونه مورد نظر برسید.در عمل درخت های متفاوتی برای نمونه های منقاوت بسط داده میشوند.یکی از روش های استنتاج یک پیشگویی استفاده از قالب درختی در نمونه های مختلف است و پس از آن برخی نظریات بر روی آن اعمال می گردد.
طبقه بندی نهایی طبقه بندی است که عموماً توسط درخت های متفاوت پیشگویی می شود. توجه داشته باشید که برخی از ترکیب های وزن دار از پیشگویی ها نیز محتمل است و عموماً مورد استفاده قرار می گیرد. یک الگوریتم پیشرفته جهت ایجاد وزن برای پیشگویی های وزن دار یا voting رویه های Boosting هستند.

2-طبقه بندی) Boosting ( :
طبقه بندی در واقع ارزشیابی ویژگیهای مجموعه ای از داد ه ها و سپس اختصاص دادن آ نها به مجموعه ای از گرو ههای از پیش تعریف شده است. این متداولترین قابلیت داده کاوی می باشد. داده کاوی را می توان با استفاده از داده های تاریخی برای تولید یک مدل یا نمایی از یک گروه بر اساس ویژگی های داده ها به کار برد. سپس می توان از این مدل تعریف شده برای طبقه بندی مجموعه داده های جدید استفاده کرد. همچنین می توان با تعیین نمایی که با آن سازگار است برای پیش بینی های آتی از آن بهره گرفت.
برای مثال، برای طبقه بندی تخلفات و کلاهبرداری ها در صنعت و اعتبارات، با استفاده از قابلیت طبقه بندی داده کاوی، سیستم با استفاده از مجموعه ای از پیش تعریف شده از داده ها، تعلیم می بیند. مجموعه داد ه های مورد استفاده در این نمونه باید هم شامل مجموعه هایی از داد ه های معتبر باشند و هم شامل مجموعه هایی از داد ه های جعلی. از آن جا که این داده ها از پیش تعریف شده هستند، سیستم پارامترهایی را می یابد که می توان از آ نها برای تشخیص طبقه بندی های متمایز استفاده کرد. بعد از تعیین پارامترها سیستم از آ نها برای طبقه بندی های بعدی بهره خواهد گرفت.
در واقع سیستم هایی که بر اساس طبقه بندی داده کاوی می کنند، دو مجموعه ورودی دارند: یک مجموعه آموزشی که در آن داده هایی که به طور پیش فرض در دسته های مختلفی قرار دارند، همراه با ساختار دسته بندی خود وارد سیستم می شوند و سیستم بر اساس آ نها به خود آموزش می دهد یا به عبارتی پارامترهای دسته بندی را برای خود مهیا می کند. دسته دیگر از ورودی هایی هستند که پس از مرحله آموزش و برای تعیین دسته وارد سیستم می شوند.
تکنیک های داده کاوی که برای دسته بندی به کار می آیند عمومًا شامل تکنیک های شبکه عصبی و درخت تصمیم گیری هستند.
یکی از متغیرهای مهم در قابلیت دسته بندی برآورد یا امتیاز دهی است. هر جا طبقه بندی یک پاسخ دو تایی مثل بله و خیر ارائه کند، برآورد یک درجه بندی مثل پایین بالا و یا متوسط ارائه می کند. در اصل برآورد، چندین نما در امتداد مجموعه ای از داده ها فراهم می آورد که نشان دهنده درجه تعلق یک نما به یک مجموعه است.
کاربرد قابلیت طبقه بندی در بازاریابی هدف، تصویب اعتبار و بررسی تقلب، است
مفهوم Boosting در گسترة داده کاوی پیشگویانه مطرح می شود و جهت ایجاد مدل ها و طبقه بندی های چند گانه مورد استفاده قرار می گیرد و همچنین برای استنتاج وزن ها برای ترکیب پیشگویی ها از آن مدل ها در یک پیشگویی واحد یا یک ردة پیشگویی به کار می رود.
یک الگوریتم ساده جهت Boosting به صورت این صورت عمل می کند که ابتدا کار را با اعمال کردن روش هایی بر روی learning data آغاز می کنیم (مانند طبقه بندی کننده های درختی )و به هر مشاهده وزن یکسانی نسبت می دهیم. طبقه بندی های پیشگویی شده را محاسبه کنید و وزن های تعیین شده را بر روی مشاهدات نمونه مورد بررسی که نسبت معکوس با دقت طبقه بندی دارند اعمال کنید .به عبارت ساده تر به مشاهداتی که طبقه بندی آنها دشوار تر است وزن بیشتری را اختصاص بدهید .(یعنی نرخ عدم طبقه بندی آنها بالا بوده است) و وزن کمتری را به آنهایی که طبقه بندی آنها ساده تر بوده است نسبت بدهید.(نرخ عدم طبقه بندی پایین بوده است )،سپس طبقه بندی را دوباره به داده های وزن دار اعمال کنیدو در طی چرخه بعدی این عملیات را ادامه دهید.
Boosting یک توالی از طبقه بندی ها ایجاد می کند .که هر توالی طبقه بندی در این روندیک متخصص در امر طبقه بندی مشاهداتی که پیش بینی آنها ساده نبوده است خواهد بود ، وسپس پیشگویی های انجام شده توسط طبقه بندی کننده های مختلف با یکدیگر ترکیب می شوند تا یک پیشگویی یا طبقه بندی بهینه ارائه دهند.
٣.الگوهای ترتیبی :
قابلیتهای ترتیبی هم مانند قابلیتهای هم پیوندی این خاصیت را دارند که می توانند وقایع را با هم مرتبط
کنند. این کار در هم پیوندی سنتی یا تحلیل سبد بازار مجموعه ای از مقولات را به عنوان مقولات پشت سر هم ارزیابی می کنند و از ابزارهایی مثل سر یهای زمانی هم برای تعیین ترتیب بهره می برند. الگوهای ترتیبی علاوه بر آن، این قابلیت جدید را هم دارند که می توانند فاصله زمانی بین دو واقعه را تخمین بزنند. برای مثال این قابلیت امکان نتیجه گیری هایی از قبیل اینکه " ٪ ٨٠ افرادی که کامپیوتر می خرند ظرف مدت ١ سال چاپگر هم خواهند خرید." را مهیا می نماید. به این ترتیب شناسایی نوعی از خریدهای مقدماتی که پتانسیل خریدهای بعدی را در آینده تعیین می کنند، عملی می شود. در نتیجه از چنین تحلیل هایی به شدت در تبلیغات فروش استفاده می گردد.

٤.خوشه بندی(clustering) :
قابلیت خوشه بندی وظیفه تقسیم یک گروه ناهمجنس را در چندین زیر گروه بر عهده دارد. این فرایند یک تفاوت اساسی با طبقه بندی دارد. زیرا در این مدل هیچ گونه الگوی آموزشی نداریم. خوشه بندی به طور خودکار ویژگی های متمایز کننده زیر گروه ها را تعریف می کند و زیر گرو هها را سازماندهی می نماید. و به عنوان نوعی قابلیت داده کاوی غیر مستقیم مطرح است.
این ابزارها پایگاه داده را بر اساس ویژگی های داده ها به چندین بخش تقسیم می کنند و گروه هایی از رکوردها را به وجود می آورند که نمایانگر یا صاحب صفت خاصی هستند. الگوهای به دست آمده در ذات پایگاه داده نهادینه هستند و نشانگر بعضی اطلاعات غیر منتظره و در عین حال ارزشمند شرکتی باشند.
مثالی از کاربردهای خوشه بندی در تقسیم بندی افرادی است که به پرسش نامه ای پاسخ داده اند. از این کار می توان در تقسیم بندی مشتریانی که به پرسش نامه ها پاسخ داده اند در گروه هایی که اعضای آن بیشترین شباهت را با یکدیگر و بیشترین تفاوت را با اعضای سایر گروه ها دارند، استفاده کرد. بعد از بخش بندی جمعیتی با استفاده از قابلیت خوشه بندی می توان بر روی خوشه های مشخص شده تحلیل هم پیوندی انجام داد تا خریدهای به هم مرتبط یک گروه جمعیتی خاص شناخته شوند.
کاربرد خوشه بندی برای تعیین بهترین گروه های جامعه شناختی برای اهداف خاص بازاریابی است.
اغلب از خوشه بندی به عنوان اولین گام فراین دهای داده کاوی یاد می شود که قبل از سایر فرایند ها برای شناسایی گروهی از رکوردهای مرتبط با هم که بعدًا بتوانند نقطه آغاز تحلیلها باشند بر روی رکوردها اعمال می شود.

تهیه مقدمات جهت داده کاوی :
تهیه مقدمات لازم و انجام پاکسازی از جمله مراحل بسیار مهّم ولی عموماً غفلت شده در فرایند داده کاوی می باشد. مصداق آن در بسیاری از پروژه های داده کاوی است که در آنها مجموعه ای از داده ها بوسیلة برخی روشهای اتوماتیک بدست می آیند. عموماً روشهایی که توسط آنها داده هاحمع آوری می شوند بدرستی کنترل نشده است ( مثل web )و مثلاً داده ها ممکن است شامل مقادیر خارج از محدوده باشند
(مثل 100- = درآمد) و ترکیبات غیر ممکن داده ها و آنالیز داده هایی که با دقت انتخاب نشده اند در چنین مسائلی منجر به تولید نتایج منحرف کننده ای می گردد. خصوصاً در داده کاوی پیشگویانه این مشکل بسیار محسوس است.

فرمت این مقاله به صورت Word و با قابلیت ویرایش میباشد

تعداد صفحات این مقاله   47 صفحه

پس از پرداخت ، میتوانید مقاله را به صورت انلاین دانلود کنید

دانلود مقاله Data Warehouse برای سازمانها

اختصاصی از سورنا فایل دانلود مقاله Data Warehouse برای سازمانها دانلود با لینک مستقیم و پر سرعت .

در حالی که عمر کوتاهی از استفاده از Database بعنوان بستری برای داده ها جهت انجام آنالیزهای پیچیده می گذرد، ولی نیاز به اینگونه عملیات از دیرزمانی احساس می شده و ابزار Database نیز در اینمورد از ارجحیت خاصی برخوردار گردیده اند. پاسخ به سؤالاتی نظیر What – If ، شبیه سازمانهای عملیات مهم مانند معرفی یک محصول جدید، یا تعیین پر سودترین محصولات، همگی از نیازهای اصلی کسب و کار بشمار آمده و ایجاد Data warehouse به کمک کامپیوتر جهت حل اینگونه مسایل کمک بسیار بزرگی کرده است.
در واقع کامپیوتر جهت حل مسایل پیچیده آنالیز داده ها، از سالهای 1950 مورد استفاده بوده اند و اساساً ماهیت مسایلی که توسط Data warehouse حل می شود، در این پنچ دهه تفاوتی نکرده است. انجام عملیات مختلف بر روی اعداد برای بدست آوردن نتایج گوناگون، عملیات Aggregation روی داده های هر مجموعه و آنالیز واریانس داده ها، جدید بشمار نمی آیند.
Expert Systems & Decision Support Systems
چنانچه به مسیر تحول داده ها توجه شود، الگوی واضحی از طرز استفاده آنها در Data Warehouse های حتی پیچیده دیده می شود. عامل مهمی که در این مسیر بسیار تغییر یافته است سرعت می باشد، سرعتی که با آن برای سؤالات پاسخی ایجاد می گردد. از سالهای 1975 تا 1990 برای مدیران برنامه ریزی استراتژیک، ساعتهای طولانی منتظر ماندن برای دریافت پاسخ امری عادی بشمار می آمد. امروزه Warehouse های Decision Support امکان ایجاد پاسخ برای انواع Query (پرس و جوها) را حتی برای کاربر نهایی در کمترین زمان ممکن (کسری از ثانیه) دارا می باشد. بنا به ماهیت سوالات مطروحه در صنعت امروز و حساسیت پاسخگویی، نیاز به سرعت در پاسخگویی بسیار احساس می شود.
با ایجاد یک شبیه سازی و یا طرح What – If از سوی کاربر Data Warehouse ، غالباً پاسخ به یک سؤال منجر به طرح سوالات دیگر خواهد شد و عامل زمان در این امر نقش مؤثری دارا می باشد.
Expert Systems & Data Warehouse
Expert System در دنیای کامپیوتر واژه ای است که برای هر برنامه حاوی عبارت IF مورد استفاده قرار می گیرد. بطور کلی یک سیستم خبره با Expert System پروسس ساخته یافته تصمیم گیری در ذهن بشر را مدل داده و آنرا به شرایط دنیای واقعی می رساند.
هر پروسس Decision Making قوانین یا Rule هایی در Interface engine دارند. Interface Engine جهت بکار انداختن اجزای جمع آوری اطلاعات یک سیستم که نهایتاً به راه حل مساله خواهند رسید، مورد استفاده می باشد. در واقع سیستم خبره تصمیمی برای کاربر می گیرد، در حالی که سیستم Decision Making تصمیمی را بهمراه کاربر می گیرد. سیستم خبره هیچ امکاناتی برای دخالت انسان در پروسس تصمیم گیری فراهم نمی کند. بسیاری تصمیم گیریهای واقعی در دنیای مدیریت نیازی به دخالت انسانی ندارد و Data Warehous قادر به تأمین پاسخ بدون دخالت کاربر می باشد. یعنی با وجود Data Warehouse کامپیوتر قادر به تولید گزارشات روزانه مورد نیاز بطور اتوماتیک می باشد. هم چنین یک سیستم DSS ، داده ها را طوری aggregate اولیه می نماید که مدیریت قادر به نگرشی کلی و نتیجه گیری می گردد. در DSS ها، هر قدر میزان aggregate در داده ها بالاتر بوده، قدرت تصمیم گیری و پیش بینی انسان بیشتر است.
Decision Support Systems & Data Warehouse
معمولاً Dss ها بعنوان نوعی از Data Warehouse هایی مطرح گشته که با حل مسایل نیمه ساختار یافته سرو کار دارد. بعبارتی دیگر مساله هر دو جز ساختار یافته و نیافته را دارا بوده و جز ساختار نیافته نیاز به دخالت انسانی داشته و ارتباط انسان با DSS را ایجاب می نماید.
اجزای ساختار یافته یک DSS ، قوانین تصمیم گیری یا Decision Rules ذخیره شده بعنوان سیستم پردازش مسایل می باشند و جز دیگر به انسان واگذار می شود. مثالهایی از مسایل نیمه ساختار یافته : انتخاب یک سایت برای کارخانه، و یا انتخاب سبد سهام (Stock Portfolio ).
در تکنولوژی Decision Support بسیاری عملیات نیاز به دخالت انسانی دارد مثل انتخاب سایت که اجزا ساختار یافته و نیافته را با هم دارد. عوامل و قوانینی براحتی قابل اندازه گیری بوده و در سیستم Database نگهداری می شوند و این به کاربر سیستم امکان ایجاد سناریوی What – If را می دهد. با اینحال وجود اجزای ساختار یافته، ساختار یافتگی کلی پروسس تصمیم گیری را تضمین نمی نماید.
یک سیستم DSS این مشخصات را دارد :
• یک مسأله اتفاق نیافتاده برای حل موجود است.
• دادن ورودی توسط انسان لازم است.
• مدلی برای تست فرضیات Hypothesis test موجود است.
• انجام Query های خاص امکانپذیر است (در پی انجام درخواستهای مکرر در سیستم از Database ، هر پاسخ Query منجر به Query دیگری خواهد شد، چون منظور از این Query ها ایجاد Query بدون شکلی خاص برای اطلاعات موجود جهت تصمیم گیری است، زمانهای پاسخگویی بسیار با اهمیت اند)
• ممکن است بیش از یک پاسخ قابل قبول بوجود بیاید.
• منابع خارجی از داده ها نیز مورد استفاده قرار می گیرند.
همچنین DSS ها به کاربران امکان ایجاد سناریوی What – If را میدهند. اینها اساساً ابزارهای مدل دهنده ای هستند که به کاربر امکان تعریف محیط و شبیه سازی رفتار آن محیط در صورت بروز تغییرات را میدهند.
انواع خروجی های سیستم Decision Support عبارتند از :
• (Management Information System) MIS ، شامل پیش بینی ها و گزارشات استاندارد
• تست فرضیات (Hypothesis Tests ) ، شامل تمامی سوالات متوالی که هر پاسخ منجر به طرح سوالات بعدی می شود.
• ساخت مدل، ایجاد مدل و تأیید رفتار آن در برابر داده های historical در Data Warehouse مدلهای پیش بینی کننده، جهت پیش بینی رفتارها بر اساس عوامل historical مورد استفاده قرار می گیرند.
• کشف جریانهای ناشناخته، مثلاً علت فروش بالای یک محصول در منطقه ای خاص. ابزار داده کاوی Data Minig پاسخگوی اینگونه سوالات، حتی در حالاتی که سوالی خاص مطرح نشده باشد، می باشد.
DSS ها به کاربر امکان کنترل پروسس تصمیم گیری را داده، قوانین تصمیم گیری شخص وی را با دخالت فکری او بکار می گیرند. با این وجود امکان بکارگیری هوش مصنوعی Artificial Intelligence جهت مدیریت قسمت انسانی قضیه، قابل بررسی است.
Life Cycle در Data warehouse
بطور کلی تمامی پروژه ها شامل پنج مرحله اصلی می باشند :
امکان سنجی (Feasibility Study) ، آنالیز (Analysis Stage) ، طراحی (System Design) ، پیاده سازی (Implementation) ، نگهداری (Ongoing Maintenance).
پروژه های Data Warehouse نیز از این قاعده مستثنی نبوده، ولی اهداف و نتایج هر فاز کمی متفاوت می باشند :
• فاز اول، امکان سنجی : یک آنالیز سود و زیان بوده که هزینه و سودهای واقعی را برای Data Warehouse قابل اندازه گیری و محاسبه می نماید. در این مرحله سود و زیانهای احتمالی که فعلاً وجود خارجی ندارند، نیز مطرح خواهند شد. هدف این مرحله تصمیم گیری برای اجرای پروژه Data Warehouse می باشد. فعالیت ها شامل آنالیز امکانات اقتصادی و تکنولوژیکی، با تمرکز بر روی شناسایی تمامی هزینه ها و سودهای ممکن در پروژه Data Warehouse می باشد.
• فاز دوم، آنالیز سیستم : یک تشریح منطقی از منابع داده ها برای Warehouse ، آنالیز استخراج داده ها، آنالیز اصلاح داده ها و بالا آوردن داده ها می باشد. برخلاف سیستمهای سنتی در آنالیز Data Warehouse شدیداً محور بر روی داده ها بوده و با تعریف Interface سیستم سروکاری ندارد. در مقایسه با پیاده سازی، فاز آنالیز نیاز به میزان کمتری از تخصص دارد و این بدلیل بی صبری مدیران و ظهور Case Tools های جدید می باشد. معماری انعطاف پذیر، تغییر ساختار Data base را در صورت حذف مواردی از داده ها در طول فاز آنالیز، بسیار راحت کرده است.
• فاز سوم، طراحی سیستم : پیاده سازی فیزیکی مدل منطقی داده ها بوده که در فاز آنالیز سیستم توسعه یافته است و شامل طراحی Warehouse ، مشخصات برای ابراز استخراج داده ها، پروسس های بالا آوردن داده ها و متدهای دست یابی به Warehouse است. در این مقطع مستندات منطقی به ساختار فیزیکی تغییر شکل می یابند. برای طراحی Database ، ایجاد مدل Entity / Relation ، و تعیین تکنیکهای مناسب ذخیره سازی داده ها و استفاده از ایندکسهای مناسب ایجادب می گردد.
• فاز چهارم ، پیاده سازی : در این فاز Warehouse ساخته شده و نرم افزار نیز نوشته و تست شده است. میزان تخصصی که در این فاز لازم بوده باندازه مجموع تمامی فازهای دیگر است. برای این فاز زمان نسبتاً طولانی صرف شده ، زیرا عوامل ناشناخته ای در این مرحله شناسایی شده و سیستم مطابق با تغییرات بوجود آمده بایستی هماهنگ شود. این مرحله طولانی ترین مرحله در ایجاد سیستم Data Warehouse می باشد. قوانین و تکنیکهایی برای حصول اطمینان از حداکثر بودن میزان کارآیی وجود دارد.
• فاز پنجم ، نگهداری : فاز نهایی Warehouse می باشد . این مرحله شامل بالا آوردن ثابت و پیوسته داده های جدید و مشخص کردن نیازهای تغییر پذیر آنالیز برای کاربر نهایی می باشد.
چنانچه تیم توسعه، عملیات آنالیز و طراحی را بخوبی انجام داده و سیستم جدید را برنامه نویسی کرده باشند، تیم برنامه نویسی نبایستی بلافاصله پس از اتمام برنامه نویسی ارتباط خود را قطع نماید. هزینه سیستم، رشد خود را حتی پس از تحویل این کار ادامه خواهد داد و این به ماهیت دینامیکی سیستم و نیازهایش مربوط می شود. غالباً در برنامه های دراز مدت سیستمهای نه چندان مطابق با شرایط روز تحویل کاربران داده می شود زیرا نیازها و شرایط در طول مدت زمان پروژه تغییر می یابند.
همانگونه که اشاره شد فازهای آنالیز و طراحی بسیار متمرکز بر روی داده ها می باشند تا بر روی پروسس ها. در مراحل اولیه توسعه یک Warehouse ، طراحان بیشتر به جمع آوری داده ها از منابع سنتی متمرکز بوده تا به روشی که کاربر نهایی از داده ها استفاده می کند.
مراحل پیشرفت در استفاده از یک Data Warehouse :
• آنالیز اولیه : محاسبه متوسط و مجموع بعنوان مثال
• آنالیزها ارتباطات : کاربر نهایی مدلهایی برای ارتباط دادن واقعیتهای موجود در ابعاد داده ها بوجود می آورد. این مرحله شروع آنالیز Stocjastic داده ها می باشد.
• آنالیز داده های گوناگون : کاربر نهایی شروع به برقراری ارتباطهایی بین گروههای متشکل از واقعیتهای بهم مربوط می نماید که اینها در هنگام استفاده از عملیات آماری تجزیه ای شکلی پیچیده می یابند.
• پیش بینی : کاربر نهایی شروع به استفاده از Package های SPSS و SAS جهت پیش گویی هایی از طریق Data Warehouse می نماید.
• مدل سازی : کاربر نهایی واقف به این نکته که قادر به تست فرضیاتش در Data Warehouse می باشد ، شده و شروع به طرح سناریوهای ساده What – If می کند.
• شبیه سازی : کاربر شروع به ساخت مدلهای پیچیده شبیه سازی گردیده و این مقطعی است که ارتباطهای ناشناخته بین داده ها، کشف می گردند.
• داده کاوی : کاربر شروع به استخراج نتایج Aggregate شده از Warehouse می نماید، و آنها را به برنامه های شبکه عصبی (Neutral Network) جهت کشف ارتباطهای غیر اجباری unobtrusive وارد مینماید. طی این مراحل ممکن است حتی سالها بطول بیانجامد. Interface های چند مسیره n – way برای warehouse پیش بینی می شود تا کاربر امکان انجام aggregate متقاطع را با هر دو مورد داده ای که انتخاب بنماید، داشته باشد.
امکان سنجی (بررسی امکانات ) :
مرحله ای است که در پروژه Data Warehouse با کمترین میزان تلاش و تخصص. آنالیز هزینه و سود برای سیستم مورد نظر سریعاً توسط چند آنالیست واجد شرایط قابل انجام است. ولی کوتاه بودن این دوره، ارزش آنرا زیر سوال نمی برد. تمامی سیستمهای کامپیوتری بایستی در مقایسه با هزینه ها سود قابل ملاحظه ای را بهمراه داشته باشند و در این مرحله، مقدار برگشت برای این پروژه تعیین می شود. اینکار با ارزیابی امکانات انجام می شود و شامل دو قسمت است :
- آنالیز امکانات تکنولوژیکی : آیا با تکنولوژی موجود به راه حل خواهیم رسید؟
- آنالیز امکانات اقتصادی : آیا برگشت سرمایه، انجام این پروژه را توجیه می نماید؟ این ملاحظات شامل هزینه های امر توسعه، سودهایی که پروژه بهمراه خواهد داشت، و ROI است.
- هزینه های توسعه : شامل هزینه های نرم افزار و سخت افزار و جهت ایجاد Data Warehouse، ولی برآورد هزینه های احتمالی و بالقوه این کار نیز با اهمیت است، استفاده از تکنولوژی های جدید نیز ریسکهایی بهمراه دارد. مدیران علاقمند به قابل اندازه گیری کردن و محاسبه هزینه اینگونه ریسکها هستند، ولی غالباً هزینه ریسکها در برآورد هزینه های پروژه آورده نمی شود زیرا قابل اندازه گیری دقیق نیستند و در طول مراحل توسعه Warehouse واقع می گردند، یعنی در زمانی که به منابع انسانی و فنی بیشتری احتیاج هست تا مسایلی را که در طول پیاده سازی بروز می نماید قابل حل سازد.
منافع Warehouse
راحت تر از هزینه قابل برآورد می باشند و بدو مقوله بالقوه و بالفعل تقسیم می شوند. سود بالفعل براحتی و دقیق قابل اندازه گیری است و برابر مقدار هزینه ای که بدلیل استفاده از Warehouse برای روشهای سنتی، صرفه جویی شده است. سود بالقوه وجود دارد ولی فعلاً قابل اندازه گیری نیست و وقتی به سود واقعی تبدیل میگردد بحالت بالفعل می رسد. مثالهایی از آن: کارآیی کارگران، میزان اطلاعات موجود، میزان قاطعیت مدیریت و دسترسی سریع به اطلاعات و تحویل بموقع کالا و مواد – کیفیت بالای اطلاعات و محصولات – توان باقی ماندن در صحنه رقابت بازار
محاسبه ROI برای Data Warehouse
متدی در امور مالی است که مورد استفاده سازمان جهت تعیین پروژه های قابل انجام می باشد. بزبان ساده تر ROI زمان برگشت سرمایه برای یک پروژه می باشد. آنالیز ROI با بررسی قسمتهای سازمانی که بایستی توسط پیاده سازی Data Warehouse متحول گردد، شروع می شود.
متدهای زیاد دیگری هم وجود دارد نظیر متد Net Present Value ، متد Internal Rate Of Return و متد Pay back Period . ROI به تصمیم گیریهای سرمایه گذاری Data Warehouse محدود نمیشود و جهت تصمیم گیریهای سازمان از جنبه مالی مورد استفاده قرار می گیرد.
موارد قابل ملاحظه در ROI مربوط به Data Warehouse :
بازگشت سریع : ROI متوسط برای Data Warehouse بسیار بالاتر از متوسط صنعت می باشد. سازمانهای با محیط پیچیده از نظر ساختار و مشتریان، بیشترین سود را در این زمینه می برند. بیش از 60 درصد پروژه های Data Warehouse ، زمان برگشت کمتر از 2 سال دارند.
تنوع زیاد در ROI : گوناگونی ROI در بین سازمانها از 3 تا 1800 درصد بوده است. مقادیرپایین ROI مربوط به پروژه های بسیار گران DWH بوده که پیاده سازی و توسعه آنها چندین سال طول کشیده و استفاده بسیار کمی از این سیستمها شده است.
میزان بالاتر ROI برای Data Mart ها : Database های بزرگتر از 200G ، ROI کوچکتری نسبت به Data Warehouse های کوچکتر داشته و این مربوط به کار اضافی لازم جهت یکپارچه ساختن و نگهداری منابع داده های غیر مشابه می باشد.
تفاوت در سیستمهای کاربرد (Applications) : تفاوتهای در ROI های DWH ، بر اساس نوع سازمان استفاده کننده DWH وجود دارد. DWH های تهیه شده جهت پشتیبانی مهندسی و عملیات، بالاترین ROI را داشته اند، زیرا سازمانهای تولیدی اولین استفاده کنندگان DWH بوده اند.
هر قدر میزان هوشمندی Query های تهیه شده بیشتر باشد، میزان ROI بیشتر است.
مشخصات یک Data Warehouse موفق
* توجیه منطقی برای انجام پروژه در سازمان : جهت پروژه بایستی سودهای قابل اندازه گیری تعریف شده باشند (مثل افزایش فروش) . Warehouse ها گران بوده و پروژه بایستی قادر به اندازه گیری سود بدست آمده باشد.
• آموزش مناسب کارکنان : Warehouse شامل تکنولوژی های جدید است مثل MPP، SMP ، MDDB ، و کارکنان بایستی جهت کار با این ابزار راحت باشند.
• اطمینان از کیفیت و یکپارچگی اطلاعات : Warehouse با داده های Historical که از منابع مختلف استخراج شده اند سرو کار داشته ، پس جهت ایجاد مدیریت Metadata ، که تعاریف داده های مشترک و تغییرات در تعاریف داده ها را ثبت نماید، بایستی پیش بینی ها و دقت لازم مبذول گردد.
• برقراری و تضمین حفظ امنیت برای داده ها
• چشم انداز کوچکتر برای DWH در ابتدای کار : بسیاری پروژه ها بدلیل داشتن Scope بسیار وسیع در ابتدا، شکست خورده اند. یک پروژه موفق، کار اولیه اش را بعنوان Prototype در نظر گرفته و از آن نقطه شروع به رشد می نماید.
• در گیر کردن کاربر نهایی در این امر : سیستم بایستی قابل انعطاف جهت تغییرات خواسته های کاربر نهایی باشد و کاربر نهایی بایستی واقف به معماری SWH جهت آگاهی از محدودیت های آن باشد.
• برنامه ریزی درست برای زیر ساخت : یک زیر ساخت جدید بایستی جهت ایجاد ارتباطات بین منافع داده ها، طراحی گردد. کامپیوترهای موازی بایستی پیش بینی و نصب گردیده و کارکنان آموزش مناسب ببینند.
• انجام مدل کردن مناسب د اده ها و تست استرس : برای کارکرد سیستم در یک سطح قابل قبول انجام می پذیرد. مدلی که برای سیستم 10GB خوب کارکرده، الزاماً برای 100GB مناسب کار نمی کند.
• انتخاب درست ابزار (Tools) : بسیاری پروژه ها بدلیل ناهماهنگی ابزار با یکدیگر شکست می خورند و بسیاری فروشندگان در مورد تبلیغات محصولاتشان گزافه گویی می کنند.
برآورد کلی
دلایل اصلی برای پیاده سازی Data Warehouse در سازمان :
• امکان اجرای گزارش گیری و پرس و جو (Query) بر روی دیسک و سروری جدا از دیسک و سرور سیستمهای پردازش Transactional . زیرا عملیات گزارش گیری و پرس و جو به میزان بسیار زیادتری نسبت به سیستمهای پردازش Transactional به منابع محدود دیسک و سرور نیاز داشته و بنابراین اجرای این عملیات در محیط سیستمهای پردازش Transactional ، موجب کاهش شدید کارآیی سیستمهای پردازش Transactional می گردد.
• استفاده از تکنولوژی های مربوط به سرور و نیز مدلهای داده ای (Data Model) که موجب افزایش سرعت عملیات گزارش گیری و پرس و جو گردیده ولی برای سیستمهای پردازش Transactional ، مناسب نمی باشند و موجب کاهش سرعت و کارآیی آنها و افزایش میزان پیچیدگی محیط می شود.
• ایجاد محیطی با حداقل میزان دانش فنی در مورد تکنولوژی Database ها جهت انجام گزارش گیری و پرس و جوهایی که موجب سرعت بخشیدن به نوشتن و نگهداری گزارشات، و پرس و جوها توسط پرسنل فنی می گردد.
• گاه یک Data warehouse برای ایجاد گزارشات و پرس و جوهای ساده توسط کارکنان معمول و غیر فنی، نصب می گردد. افراد IS مهارتهای خاصی در نوشتن و نگهداری گزارشات و پرس و جوهای سریع از داده های DWH دارند و معمولاً کارکنان غیر فنی به افراد IS متکی اند.
• ایجاد محیطی از داده های اصلاح شده حاصل از محیطهای پردازش Transactional که قابل گزارش گیری بوده و الزاماً نیاز به اصلاح محیط سیستمهای پردازش Transaction نمی باشد. DWH امکاناتی برای اصلاح و تصفیه داده های حاصل از سیستمهای پردازش Transaction فراهم آورده که اینکار بدون اعمال تغییراتی روی خود این سیستمها انجام پذیر است. حتی در بسیاری سیستمهای DWH امکان بازگردانیدن موارد اصلاح شده به محیطهای پردازش Transactional موجود می باشد.
• تسهیل در انجام گزارش گیری و پرس و جو از داده های حاصل از چندین سیستم پردازش Transaction و یا منابع خارجی. برای سالهای طولانی، شرکتها برای عمل گزارش گیری و پرس وجو از چندین سیستم پردازش Transaction ، ناچار به ایجاد برنامه های استخراج داده ها بوده و Logic های Sort / Merge را جهت انجام اینکار انجام می دادند، تا داده های استخراج شده، ترکیب شده و از داده های Sort/Merge گزارش تهیه گردد. این عملیات در صورت وجود داده های بسیار زیاد آنهم در حالتی که به اصلاح و تصفیه نیز نیاز دارند، مشکل و حتی غیر ممکن است.
• ایجاد مخزنی از داده های سیستم های پردازش Transaction که شامل داده های مربوط به طیف وسیعتری از زمان می باشند که نگهداری اینگونه داده ها برای سیستم پردازش Transaction بدلیل حجم زیاد مناسب نیست. داده های قدیمی تر از سیستم پردازش Transaction حذف می گردند تا زمان پاسخگویی سیستم بهتر قابل کنترل باشد. در DWH داده های جدید و قدیمی حذف شده از سیستم پردازش Transaction برای عملیات گزارش گیری و پرس و جو موجود می باشند.
• جلوگیری از افرادی که با داده های سیستم پردازش Transaction جهت گزارش گیری و پرس و جو سروکار دارند از دسترسی به Database های اینگونه سیستمها و نیز Logic های مربوط به نگهداری این Database ها. این امکان جهت ایجاد امنیت پیش بینی گردیده و قسمتهایی که تنها اجازه گزارش گیری و پرس و جو را به کارکنان و افراد می دهند، DWH را سیستمی جالب می یابند.
مشکلات سیستم DWH
• سیستم DWH داده های historical بوجود آمده از پردازش Transaction داخلی را نگهداری می کند که این تنها قسمت کوچکی از مجموعه داده های موجود برای مدیریت یک سازمان است و اغلب این قسمت کوچک ارزش زیادی ندارد. گاهاً کاربر نهایی علاقه زیادی به داده های قدیمی سیستمهای پردازش Transaction ایی غیر از داده های مورد استفاده در گزارشات تولید شده در محیط سیستمهای پردازش Transaction هستند، ندارد و این عدم علاقه را شرایط سازمان یا بازار ایجاب می نماید. پس با وجود این شرایط، اساس Historical مناسبی برای انجام مقایسه شرایط فعلی و قدیمی نمی ماند، و حتی در بعضی شرایط نیاز به بازبینی و مقایسه عمیق داده های Historical وجود ندارد.
• سیستمهای DWH ممکن است موجب پیچیدگی شدید در پروسس های سازمان و کسب و کار گردد. با وجود لزوم عمل مهندسی مجدد در سازمانها، تأثیر پروسسهای پیچیده بوجود آمده بر روی روند عملیات سازمان قابل چشم پوشی نیست.
• چنانچه سازمان نیاز به گزارشات از داده های تنها یک سیستم پردازش Transaction در هر زمان داشته و یا تمامی داده های Historical مورد نیاز در سیستم پردازش Transaction موجود هست و یا داده های سیستم اصلاح شده و بدون خطا هستند، و یا امکانات سخت افزاری قادر به انجام عملیات گزارش گیری و پرس و جو در محیط سیستم پردازش Transaction است و یا ساختار داده ها نسبتاً ساده هستند و یا سازمان علاقه به ابزار گزارش گیری و پرس و جوی پیچیده ندارد، DWH برای سازمان مناسب نیست.
• زمان طولانی که باید برای آماده سازی سازمان جهت پیاده سازی و استفاده از DWH صرف گردد. برای سازمان راه چگونگی تغییر روشهای کاری ممکن است بسیار طولانی باشد و این برای تمایل سازمان مبنی بر نتیجه گیری های سریع، خارج از صبر و حوصله است.
• DWH می تواند به محیطی از داده های فاقد ارزش سازمانی مناسب تبدیل شود. سازمان به نامحدود بودن فرصتها جهت افزودن داده به DWH پی می برد. DWH ها هم عمری خاص خود را دارند. متأسفانه افزودن داده بدون ارزیابی ارزش سازمانی آن می تواند ارزش سازمانی DWH را کاهش داده و هزینه های نگهداری DWH را افزایش بخشد.
• در برخی سازمانها ابزار گزارش گیری و پرس و جوی مجهز برای کاربر نهایی مورد نیاز نیست . این مربوط به سازمانهایی است که اعتقاد بر بازگشت سریع سرمایه ROI از طریق نوشتن برنامه های پرس و جو و گزارش گیری توسط کاربران را دارند و این به محدودیت های فرهنگی سازمان برگشته که امکان برای افراد جهت پرسش سوالات خودشان را نمی دهند. البته پیچیدگی ساختار و روند جریان کارهای سازمان، ارزش بسیار کمی برای این گزارشات ساده بجای می گذارد.
• بسیاری کاربردهای استراتژیک DWH زمان عمر کوتاهی دارند و توسعه دهندگان مجبور به سرهم بندی سریع یک سیستم نامطبوع می شوند که این برخلاف میل آنان می باشند. اهمیت فرهنگ را نمی توان نادیده گرفت و این به سازماندهی IS نیز برمی گردد. اگر اهمیت DWH را در انجام کارهای استراتژیک میدانید (که ممکن است همین حالا توسط کاربران و یا صفحه های گسترده بزرگ و پیچیده انجام پذیرد) در سازمان این سوال مطرح است که آیا فرهنگ IS اجازه اینگونه کارکردن را میدهد.
• کمبود افرادی که با مراحل Life Cycle پروژ] DWH آشنایی و تجربه کافی دارند، و این شامل کارکنان و مشاورین می شود زمان لازم برای بدست آوردن تجارب با ارزش در این کار نسبتاً طولانی است.
• سیستمهای DWH نیاز به نگهداری زیاد داشته که غالب سازمانها قادر به تأمین آن نیستند. موفق ترین سیستمهای DWH آنهایی بوده اند که بنحو احسن نگهداری می شده و افراد سازمان بایستی با نیازهای نگهداری سیستم DWH هماهنگ باشند.
• اغلب هزینه استخراج داده ها، تصفیه و اصلاح آن و تحویل بشکل دلخواه کاربر نهایی و در یک زمان معقول، بالاتر از حد انتظار می باشد.
عوامل ریسک در پروژه DWH
• نیاز به عملیات مهندسی مجدد در سازمان
• لزوم تأیید و حمایت کافی مدیریت سازمان
• لزوم همکاری پرسنل سازمان
• کمبود متخصص IT
• لزوم بررسی و تجدید زیر ساخت IT
• لزوم ایجاد هماهنگی تکنولوژیکی DWH با تکنولوژی سخت افزار، نرم افزار و شبکه
• احتمال وابستگی شدید به فروشنده محصول و مشاوران بکار گرفته شده برای پروژه
• لزوم ایجاد ظرفیت کافی و امکانات سخت افزاری مناسب جهت ذخیره سازی
• در صورت عدم استفاده از ERP، وجود ناهماهنگی بین داده های سیستم پردازش Transational از نظر ساختار، واحدهای اندازه گیری، نامگذاری ، و ... و نیز وجود داده های اصلاح نشده.

استفاده از الگوریتم های فازی و GIS برای مکان یابی تجهیزات شهری
(مطالعة موردی : محل دفن زبالة شهر بابلسر)

سرآغاز
رشد روز افزون جمعیت شهری ایران به همراه ایجاد مراکز جمعیتی جدید، فقدان، یا سیاستگذاری و ارزیابی عملکردها و فعالیت های گوناگون شهری بر اساس برنامة جامع و کلان ملی (آمایش سرزمین) و تداوم تخلیه انواع زواید و فاضلاب ها به محیط زیست از جمله عوامل بحران زایی است که محیط زیست طبیعی و کیفیت بهداشت و سلامتی انسان، بویژه شهرنشینان را در معرض خطرها و زیان های گوناگون قرار داده است (عبدلی، 1379) . این واقعیت که نظام مدیریت مواد زاید شهری ایران در شرایط به نسبت بحرانی و به دور از وضعیت مطلوب قرار دارد بر کسی پوشیده نیست. مسئله مذکور هنگامی پیچیده و بغرنج می شود که آثار منفی و زیانبار آن در ارتباط با سایر نظام های موجود شهری و از جمله نظام زیست محیطی آنها مورد بررسی قرار گیرد، یکی از مهم ترین مراحل مطالعاتی به موازات طراحی مدفون زباله، عوامل مکان یابی و یافتن محل مناسب دفن زباله است

فرمت این مقاله به صورت Word و با قابلیت ویرایش میباشد

تعداد صفحات این مقاله   40 صفحه

پس از پرداخت ، میتوانید مقاله را به صورت انلاین دانلود کنید

تحقیق بررسی نحوه انتخاب Data Storage در شبکه های حسگر

اختصاصی از سورنا فایل تحقیق بررسی نحوه انتخاب Data Storage در شبکه های حسگر دانلود با لینک مستقیم و پر سرعت .

لینک پرداخت و دانلود *پایین مطلب*

فرمت فایل:Word (قابل ویرایش و آماده پرینت)


تعداد صفحه:12

فهرست:

بررسی نحوه انتخاب Data Storage در شبکه های حسگر

شبکه های سنسور بی سیم شامل نودهای کوچکی با توانایی حس کردن، محاسبه و ارتباط به زودی در همه جا خود را می گسترانند. چنین شبکه هایی محدودیت منابع روی ارتباطات، محاسبه و مصرف انرژی دارند. اول اینکه پهنای باند لینکهایی که گرههای سنسور را به هم متصل می کنند محدود می باشد و شبکه های بیسیم ای که سنسورها را به هم متصل می کنند کیفیت سرویس محدودی دارند و میزان بسته های گم شده در این شبکه ها بسیار متغیر می باشد. دوم اینکه گره های سنسور قدرت محاسبه محدودی دارند و اندازه حافظه کم نوع الگوریتمهای پردازش داده ای که می تواند استفاده شود را محدود می کند. سوم اینکه سنسورهای بی سیم باطری کمی دارند و تبدیل انرژی یکی از مسائل عمده در طراحی سیستم می باشد.

داده جمع آوری شده می تواند در شبکه های سنسور ذخیره شود و یا به سینک منتقل شود وقتی داده در شبکه های سنسور ذخیره می شود مشکلات عدیده ای به وجود می آید:

• سنسورها میزان حافظه محدودی دارند که این باعث می شود نتوانیم میزان زیادی داده که در طول ماه یا سال جمع آوری شده را ذخیره کنیم
• چون منبع تغذیه سنسورها باطری می باشد با تمام شدن باطری داده ذخیره شده در آن از بین می رود.
• جستجو در شبکه گسترده و پراکنده آن بسیار مشکل می باشد.

پایان نامه در مورد DATA

اختصاصی از سورنا فایل پایان نامه در مورد DATA دانلود با لینک مستقیم و پر سرعت .

لینک پرداخت و دانلود *پایین مطلب*

فرمت فایل:Word (قابل ویرایش و آماده پرینت)

تعداد صفحه10

فهرست مطالب

مفهوم داده کاوی

فرآیند داده‌کاوی

داده‌کاوی و مدیریت دانش

کاربرد داده‌کاوی در آموزش عالی

از هنگامی که رایانه در تحلیل و ذخیره سازی داده ها بکار رفت (1950) پس از حدود 20 سال، حجم داده ها در پایگاه داده ها دو برابر شد. ولی پس از گذشت دو دهه و همزمان با پیشرفت فن آوری اطلاعات(IT)  هر دو سال یکبار حجم داده ها، دو برابر شد. همچنین تعداد پایگاه داده ها با سرعت بیشتری رشد نمود. این در حالی است که تعداد متخصصین تحلیل داده ها و آمارشناسان با این سرعت رشد نکرد. حتی اگر چنین امری اتفاق می افتاد، بسیاری از پایگاه داده ها چنان گسترش یافته اند که شامل چندصد میلیون یا چندصد میلیارد رکورد ثبت شده هستند و امکان تحلیل و استخراج اطلاعات با روش های معمول آماری از دل انبوه داده ها مستلزم چند روز کار با رایانه- های موجود  است. حال با وجود سیستم های یکپارچه اطلاعاتی، سیستم های یکپارچه بانکی و تجارت الکترونیک، لحظه به لحظه به حجم داده ها در پایگاه داده های مربوط اضافه شده و باعث    به وجود آمدن انبارهای ( توده های ) عظیمی از داده ها شده است به طوری که ضرورت کشف و استخراج سریع و دقیق دانش از این پایگاه داده ها را بیش از پیش نمایان کرده است (چنان که در عصر حاضر گفته می شود « اطلاعات طلاست» ).

هم اکنون در هر کشور، سازمان ها، شرکت ها و . . . برای امور بازرگانی، پرسنلی، آموزشی، آماری و . . . پایگاه داده ها ایجاد یا خریداری شده است، به طوری که این پایگاه داده ها برای مدیران، برنامه ریزان، پژوهشگران و . . . جهت تصمیم گیری های راهبردی، تهیه گزارش های مختلف، توصیف وضعیت جاری خود و . . . می تواند مفید باشد. داده کاوی[1] یا استخراج و کشف سریع و دقیق اطلاعات با ارزش و پنهان از این پایگاه داده ها از جمله اموری است که هر کشور، سازمان و شرکتی به منظور توسعه علمی، فنی و اقتصادی خود به آن نیاز دارد.

در کشور ما نیز سازمان ها، شرکت ها و مؤسسات دولتی و خصوصی به طور فزاینده ولی آهسته در حال ایجاد یا خرید نرم افزارهای پایگاه داده ها و مکانیزه کردن سیستم های اطلاعات خود هستند، همچنین با توجه به فصول دهم و یازدهم قانون برنامه سوم توسعه در خصوص داد و ستدهای الکترونیکی و همچنین تأکید بر برخورداری کشور از فن آوری های جدید اطلاعات برای دستیابی آسان به اطلاعات داخلی و خارجی، دولت مکلف شده است امکانات لازم برای دستیابی آسان به اطلاعات، زمینه سازی برای اتصال کشور به شبکه های جهانی و ایجاد زیر ساخت های ارتباطی و شاهراه های اطلاعاتی فراهم کند. واضح است این امر باعث ایجاد پایگاه های عظیم داده ها شده و ضرورت استفاده از  داده کاوی  را بیش از پیش نمایان می سازد.

سابقه داده کاوی

داده کاوی و کشف دانش در پایگاه داده ها از جمله موضوع هایی هستند که همزمان با ایجاد و استفاده از پایگاه داده ها در اوایل دهه 80 برای جستجوی دانش در داده ها شکل گرفت.

[1] - Data mining