ماتریس باینری تنک^[۷۸]. یک ماتریس با آرایه­های صفر و یک می­باشد. این ماتریس­ها می­توانند برای نمایش یک رابطه دوتایی^[۷۹] بین هر جفت از اعضای یک مجموعه متناهی مورد استفاده قرار بگیرند.

انرژی آزاد تغییر^[۸۰]. به طور کلی در ترمودینامیک، انرژی آزاد به معنای ماکزیمم مقدار انرژی در یک سیستم فیزیکی است که می ­تواند برای انجام کار، تولید و برگردانده شود. به عبارت دیگر زمانیکه سیستم از یک حالت به حالت دیگر تغییر می­یابد، کار انجام شده توسط سیستم را انرژی آزاد می­گویند. انرژی آزاد تغییر، ریشه در تئوری اطلاعات قرار دارد که در روش­های بیزین تغییر مورد استفاده قرار می­گیرد. انرژی آزاد تغییر، یک رویکرد کاملاً بیزین است که بر اساس آن استنباط­های تقریبی از طریق ماکزیمم­سازی انرژی آزاد تغییر بدست می­آیند.
آنتروپی. آنتروپی یک تابع چگالی احتمال (pdf) به صورت زیر تعریف می­ شود
علامت مقدار متوسط یک کمیت را نسبت به چگالی ، مشخص می­ کند و انتگرال­گیری در امتداد تکیه­گاه^[۸۱] بسط یافته است. کمیت آنتروپی شانون^[۸۲] از می­باشد. این کمیت میزان تصادفی بودن کلی را به صورت کمی نشان می­دهد.
معیار واگرایی-KL. این معیار، انتقال اطلاعات در یک سیستم تصادفی را تعیین کمیت می­ کند. به این معیار آنتروپی نسبی^[۸۳] نیز می­گویند. دو چگالی احتمال و را با تکیه­گاه­های یکسان در نظر می­گیریم به گونه ­ای که چگالی مدنظر ما است و (اغلب مجهول است)، در حالیکه چگالی پیشین یا مرجع^[۸۴] است که مرتبط با سیستم مدنظر می­باشد. می­خواهیم تفاوت اطلاعاتی بین و را تعیین کمیت نماییم. آنتروپی نسبی بین و به صورت زیر تعریف می­ شود
برای سادگی، قرار می­دهیم و .
آنتروپی نسبی به تساوی تبدیل می­ شود، هرگاه چگالی­های و مشابه باشند. توجه شود که کمیت (۲) یک معیار فاصله^[۸۵] به مفهوم متریک آن نمی ­باشد (متقارن نیست و نابرابری مثلثاتی^[۸۶] برای آن برقرار نمی ­باشد)، اما به طور کلی به عنوان یک شاخص اطلاعاتی از شباهت یا واگرایی میان دو چگالی و ، پذیرفته شده است.
مزدوج^[۸۷]. در تئوری احتمال بیزین، اگر توزیع­های پسین از خانواده یکسان با توزیع احتمال پیشین باشند، در اینصورت پیشین و پسین را توزیع­های مزدوج می­نامند و پیشین یک پیشین مزدوج برای راستنمایی نامیده می­ شود. در اینصورت محاسبات می­توانند در فرم بسته بیان شوند. این مفهوم و همچنین نام پیشین مزدوج را نخستین بار ریفا و اشلیفر^[۸۸] (۱۹۶۱) در کار خود تحت عنوان تئوری تصمیم ­گیری بیزین معرفی کردند.
اگر یک مجموعه از توزیع­های نمونه گیری باشد و یک مجموعه از توزیع­های پیشین برای باشد، ، می­گوییم که مزدوج است با راستنمایی اگر
توجه شود که اگر چه توزیع پسین از همان خانواده پیشین است اما ابرپارامترهای^[۸۹] متفاوتی خواهد داشت. متفاوت بودن ابرپارامترها منعکس کننده اطلاعات اضافه شده از داده ­ها می­باشد که اعتقادات ذهنی فرد بر اساس آن به روز شده است. پیشین مزدوج فرمول جبری ساده­ای دارد و دست­یابی به یک عبارت فرم بسته را برای پسین ممکن می­سازد.
ابرپارامتر. در آمار بیزین، منظور از ابرپارامتر، همان پارامتر توزیع پیشین است؛ این واژه به منظور تمییز پارامترهای توزیع پیشین از پارامترهای مدل­های مربوط به سیستم­های تحت بررسی، مورد استفاده قرار می­گیرد.
مدل­های احتمالی^[۹۰]. مدل­های احتمالی، یک توزیع احتمال را برای متغیرهای تصادفی نمایش
می­ دهند و یک چارچوب اصولی و مطمئن را برای حل مسائل تحت شرایط نااطمینانی، فراهم می­ کنند. این مدل­ها همواره شامل پارامترهای معین، متغیرهای پنهانی شامل متغیرهای نهفته و پارامترهای تصادفی و متغیرهای مشاهده شده، می­باشند که به طور مشترک توزیع احتمال را تصریح می­نمایند.
مدل­های گرافیکی. مدل­های گرافیکی ابزاری برای پرداختن به دو مشکل نااطمینانی و پیچیدگی را فراهم می­ کنند. بویژه اینکه این مدل­ها نقش مهمی را در طراحی و آنالیز الگوریتم­های یادگیری ماشین بازی می­ کنند. مدل­های گرافیکی مدل­های احتمالی چند متغیره هستند که بر حسب شرط استقلال شرطی ساختاربندی شده ­اند، یعنی بیانگر سیستمی­هایی متشکل از بخش­های مختلف و روابط ممکن بین بخش­ها در یک روش احتمالی، هستند. در مدل­های گرافیکی، گره­ها^[۹۱] یک اجتماع از متغیرهای تصادفی را نشان می­ دهند و یال­ها رابطه مستقل شرطی میان متغیرها را نشان می­ دهند.
کلاس هم­ارزی^[۹۲]. در ریاضیات، برای مجموعه مفروض و یک رابطه هم­ارزی بر روی ، کلاس هم­ارزی برای یک عنصر در ، زیرمجموعه­ای است از همه عناصر در که هم­ارز با هستند.
به زبان ریاضی، کلاس هم­ارزی یک عنصر از مجموعه ، با علامت نشان داده می­ شود و به صورت مجموعه زیر تعریف می­گردد
تابع دی گاما^[۹۳]. در ریاضیات، تابع دی گاما به صورت مشتق لگاریتمی از تابع گاما تعریف می­ شود
خانواده نمایی^[۹۴]. گفته می­ شود که یک چگالی احتمال که ، به یک خانواده نمایی تعلق دارد اگر فرم زیر را داشته باشد
برای توابع مفروض ، ، و .
جواب فرم بسته. در ریاضیات گفته می­ شود که یک عبارت به فرم بسته است اگر بتواند بر حسب تعداد متناهی از توابع معین به طور تحلیلی^[۹۵] بیان گردد. منظور از توابع معین همان توابع مقدماتی است: مقدار ثابت، متغیر ، عملگرهای مقدماتی ، ، ، ، ریشه ام، لگاریتم، توان، نما، توابع مثلثاتی (, )، توابع معکوس مثلثاتی (). بنابراین یک معادله یا یک سیستم معادلات، زمانی جواب فرم بسته دارد که حداقل یک جواب آن را بتوان به صورت یک عبارت فرم بسته بیان نمود.
فضای احتمال^[۹۶]. یک فضای احتمال شامل عناصر زیر می­باشد. ۱) یک فضای نمونه، که شامل نقاطی است که بیانگر همه پیش­آمدهای^[۹۷] ممکن از یک آزمایش تصادفی هستند. ۲) یک جبر سیگما^[۹۸]، ، از زیرمجموعه­های اندازه­پذیر^[۹۹] از . عناصر این زیرمجموعه­ها، حوادثی^[۱۰۰] هستند که می­توان اطلاعاتی درباره آن­ها بدست آورد. ۳) یک اندازه احتمال^[۱۰۱]، که ، احتمال اینکه حادثه ، اتفاق بیافتد را بیان می­ کند.
اندازه^[۱۰۲]. در ریاضیات اندازه به تابعی گفته می­ شود که یک عدد یا مقدار (برای مثال، اندازه، حجم یا احتمال) را به هر زیرمجموعه از یک مجموعه خاص نسبت می­دهد. در آنالیز حقیقی، بر فضای
اندازه­پذیر^[۱۰۳] که در آن یک جبر سیگما از زیرمجموعه­های است، یک اندازه می­باشد اگر یک تابع جمع­پذیر شمارش­پذیر^[۱۰۴] (غیرمنفی) به صورت وجود داشته باشد.
متغیر تصادفی^[۱۰۵]. یک تابع که بر مجموعه با یک جبر-سیگما تعریف شده است، گفته می­ شود که اندازه­پذیر-^[۱۰۶]است، یا به بیان ساده­تر، گفته می­ شود اندازه­پذیر است هنگامی که درک شد، اگر برای هر مجموعه بورل^[۱۰۷] در ، داشته باشیم .
یک متغیر تصادفی در فضای احتمال یک تابع اندازه­پذیر- با مقادیر حقیقی می­باشد، . به طور شهودی، یک متغیر تصادفی، یک کمیت با مقادیر حقیقی است که می ­تواند از پیش­آمد یک آزمایش تصادفی اندازه گرفته شود.
فرایند تصادفی^[۱۰۸]. در تئوری احتمال، یک مجموعه از متغیرهای تصادفی را یک فرایند تصادفی
می­گویند. این فرایند غالباً برای نمایش تحولات زمانی مقادیر تصادفی یا سیستم، مورد استفاده قرار می­گیرد. در یک فرایند تصادفی به جای توصیف نمو یک فرایند تنها در یک جهت، نوعی عدم تعیین وجود دارد: حتی اگر شرایط اولیه (یا نقطه شروع) نیز معلوم باشد، چندین جهت (اغلب به تعداد
بی­نهایت) وجود دارد که امکان دارد این فرایند در آن جهات نمو کند.
به زبان ریاضی، تابع اندازه­پذیر زیر را درنظر بگیرید
که یک فضای احتمال است، در اینصورت می­گوییم یک فرایند تصادفی است. کمیت ارزش این فرایند در زمان برای پیش­آمد است.
اگر یک فرایند تصادفی را برای یک مقدار مفروض ، تعریف کنیم، یک متغیر تصادفی بدست می­آوریم
که در فضای احتمال تعریف شده است. تحت چنین دیدگاهی، فرایند تصادفی اجتماعی است از متغیرهای تصادفی که با متغیر زمان اندیس گذاری شده ­اند.
در مدل­های ناپارامتریک بیزین، هر مشخصه از یک مدل آماری (مانند تابع رگرسیون) به یک خانواده با بعد نامتناهی متعلق است. بنابراین توزیع­های احتمال پارامتریک نیستند و بر خانواده­هایی از توابع یا معیارها^[۱۰۹] قرار داده می­شوند. در اینصورت در مدل­های بیزین ناپارامتریک، هر دوی توزیع­های پسین و پیشین، احتمال­هایی در فضاهای با بعد نامتناهی هستند و از این رو فرآیندهای تصادفی یا میدان تصادفی^[۱۱۰] خواهند بود.
فرایند پوآسون. یک فرایند تصادفی است که تعداد حوادث و زمانیکه این حوادث در یک بازه زمانی مفروض به وقوع می­پیوندند را می­شمارد. زمانی بین ورود^[۱۱۱] هر جفت از حوادث متوالی دارای توزیع نمایی است و هر کدام از این زمان­های بین دو ورود، مستقل از سایر زمانی­های بین دو ورود دیگر،
می­باشد.
توزیع احتمال یک فرایند تصادفی. یک قطعه اطلاعات درباره یک فرایند تصادفی ، توزیع احتمال مشترک از متغیرهای تصادفی برای هر می­باشد. به منظور توصیف چگونگی ارتباط بین ارزش­های یک فرایند در زمان­های مختلف، نیازمند توابع توزیع چند بعدی هستیم.
دنباله را یک دنباله زمانی و را یک دنباله از
زیرمجموعه­های بورل^[۱۱۲]، قرار می­دهیم. در اینصورت حوادث را به صورت زیر در نظر بگیرید
بنابراین می­توانیم بنویسیم
این‌گونه چگالی­های احتمال با بعد متناهی، یک توصیف کامل را از فرایند تصادفی فراهم می­ کنند.
تعویض­پذیری^[۱۱۳]. در ریاضیات، یک دنباله از متغیرهای تصادفی در فضای احتمال یکسان ، قابلیت تعویض­پذیری دارند اگر توزیع مشترک آن­ها نسبت به جایگشت­های^[۱۱۴] متغیرها، بدون تغییر باقی بماند. به عبارت دیگر، اگر این توزیع مشترک باشد و هر جایگشتی از باشد، داشته باشیم
می­گوییم یک دنباله نامتناهی ، به طور نامتناهی تعویض­پذیر است اگر برای هر تعویض­پذیر باشد. در این رساله منظور ما تعویض­پذیری نامتناهی است. تحت فرض تعویض­پذیری، نمونه­های آتی دنباله، رفتاری شبیه نمونه­های قبلی آن دارند؛ یعنی آینده بر اساس تجارب گذشته قابل پیش ­بینی است.
تکیه­گاه. در تئوری احتمال، تکیه­گاه یک توزیع به صورت بستار^[۱۱۵] مجموعه مقادیر ممکن یک متغیر تصادفی که آن توزیع را دارد، دیده می­ شود. بستار کوچک­ترین مجموعه بسته­ای است که مکمل آن احتمال صفر دارد. یعنی، تکیه­گاه یک توزیع، شامل مجموعه نقاطی می­باشد که عناصر واقعی توزیع هستند.
مجموعه بیشینه­سازها^[۱۱۶]. این عملگر، مکمل طبیعی عملگر ماکزیمم (max) است که مقدار ماکزیمم تابع هدف را (به جای نقطه یا نقاطی که مقدار ماکزیمم آن را می­ دهند) بر می­گرداند.
تلاش. به معنای اقدام­هایی است که افراد بدون دریافت پاداش اتخاذ نخواهند نمود. منظور از تلاش تنها ساعات کار انجام شده نیست.
انگیزه. به معنای ارتباط­های ممکن بین پاداش و تلاش می­باشد. منظور از انگیزه تنها قراردادهای جبران نیست.
اطلاعات کامل^[۱۱۷]. زمانی می­گوییم اطلاعات کامل وجود دارد که کارفرما آنچه را که کارگزار انجام داده است، بداند.
عدم تقارن اطلاعات. موقعیتی است که در آن یک طرف در یک معامله اطلاعات بیشتر یا برتری در مقایسه با طرف دیگر دارد. این مشکل در معاملاتی مشاهده می­ شود که فروشنده اطلاعات بیشتری نسبت به خریدار دارد، هر چند برعکس نیز می ­تواند اتفاق بیفتد. به طور کلی در چنین موقعیت­هایی امکان وقوع زیان وجود دارد زیرا یک طرف می ­تواند از ناآگاهی طرف دیگر بهره­جویی نماید.
مخاطره اخلاقی. موقعیتی است که در آن یک طرف در مورد میزان ریسکی که باید بپذیرد
تصمیم ­گیری می­نماید، در حالیکه طرف دیگر تمامی (یا بخشی از) پیش­آمدهای منفی انتخاب­های ریسکی را متحمل می­ شود.