Anomaly Detection Technique

Editor's Notes

1. ในการทำเหมืองข้อมูลการตรวจจับความผิดปกติคือการระบุรายการกิจกรรมหรือข้อสังเกตที่หายากซึ่งก่อให้เกิดความสงสัยโดยมีความหมายแตกต่างจากข้อมูลส่วนใหญ่
2. ในการทำเหมืองข้อมูลการตรวจจับความผิดปกติคือการระบุรายการกิจกรรมหรือข้อสังเกตที่หายากซึ่งก่อให้เกิดความสงสัยโดยมีความหมายแตกต่างจากข้อมูลส่วนใหญ่
3. ในการทำเหมืองข้อมูลการตรวจจับความผิดปกติคือการระบุรายการกิจกรรมหรือข้อสังเกตที่หายากซึ่งก่อให้เกิดความสงสัยโดยมีความหมายแตกต่างจากข้อมูลส่วนใหญ่
4. ติดตามปัญหาที่มีความรุนแรงสูงอย่างต่อเนื่องเพื่อไม่ให้เกิดปัญหาอีก โดย วิเคราะห์ root cause ปัญหาที่ it opt มีโอกาสผิดพลาดได้
5. Point Anomalies ค่าที่ต่างจากค่าส่วนใหญ่ ใช้ Distribution หาได้ Contextual Anomalies ดูตาม Pattern หรือตามบริบท เช่น ตามห้างสรรพสินค้าทุกวันเสาร์อาทิตย์จะมีรายได้มากกว่าวันปรกติแต่หาก เกิดรายได้น้อย แสดงว่าผิดปรกติ เป็นค้น Data ที่พบก็เป็น Time Series เป็นค้น Collective Anomalies คือ Anomaly ที่ต้องใช้ปัจจัยหลายๆอย่างมาวิเคราะห์ร่วม (Collection) เช่นต้องการหาคนที่พยายาม copy ข้อมูลจากเครื่องหนึ่งไปยังเครื่องปลายทาง
6. Point Anomalies ค่าที่ต่างจากค่าส่วนใหญ่ ใช้ Distribution หาได้ Contextual Anomalies ดูตาม Pattern หรือตามบริบท เช่น ตามห้างสรรพสินค้าทุกวันเสาร์อาทิตย์จะมีรายได้มากกว่าวันปรกติแต่หาก เกิดรายได้น้อย แสดงว่าผิดปรกติ เป็นค้น Data ที่พบก็เป็น Time Series เป็นค้น Collective Anomalies คือ Anomaly ที่ต้องใช้ปัจจัยหลายๆอย่างมาวิเคราะห์ร่วม (Collection) เช่นต้องการหาคนที่พยายาม copy ข้อมูลจากเครื่องหนึ่งไปยังเครื่องปลายทาง
7. Point Anomalies ค่าที่ต่างจากค่าส่วนใหญ่ ใช้ Distribution หาได้ Contextual Anomalies ดูตาม Pattern หรือตามบริบท เช่น ตามห้างสรรพสินค้าทุกวันเสาร์อาทิตย์จะมีรายได้มากกว่าวันปรกติแต่หาก เกิดรายได้น้อย แสดงว่าผิดปรกติ เป็นค้น Data ที่พบก็เป็น Time Series เป็นค้น Collective Anomalies คือ Anomaly ที่ต้องใช้ปัจจัยหลายๆอย่างมาวิเคราะห์ร่วม (Collection) เช่นต้องการหาคนที่พยายาม copy ข้อมูลจากเครื่องหนึ่งไปยังเครื่องปลายทาง
8. Supervised Deep Anomaly Detection การหาสินค้าที่ขายได้ยากหรือขายไม่ได้เลย , ชื่อยาที่ถูกสั่งห้าม , หาการโกงจากข้อมูล Transaction (Fraudulent)
9. Type I - Extreme value anomaly: A case with an extremely high, low or otherwise rare value for one or multiple individual numerical attributes. A case can be an anomaly with respect to one individual variable, so Type I anomalies do not depend on relationships between attributes. Such a case has one or more values that can be considered extreme or rare when the entire dataset is taken into account. Traditional univariate statistics typically considers this type of outlier, e.g. by using a measure of central tendency plus or minus 3 times the standard deviation or the median absolute deviation. Type II - Rare class anomaly: A case with an uncommon class value for one or multiple categorical variables. A case can be an anomaly with respect to one individual attribute, so Type II anomalies do not depend on relationships between attributes. Type III - Simple mixed data anomaly: A case that is both a Type I and Type II anomaly, i.e. with at least one extreme value and one rare class. This anomaly type deviates with regard to multiple data types. This requires deviant values for at least two attributes, each anomalous in its own right. These can thus be analyzed separately; analyzing the attributes jointly is not necessary because the case is not anomalous in terms of a combination of values. Type IV - Multidimensional numerical anomaly: A case that does not conform to the general patterns when the relationship between multiple continuous attributes is taken into account, but which does not have extreme values for any of the individual attributes that partake in this relationship. The anomalous nature of a case of this type lies in the deviant or rare combination of its continuous attribute values, and as such hides in multidimensionality. It therefore requires several continuous attributes to be analyzed jointly to detect this type. Type V - Multidimensional rare class anomaly: A case with a rare combination of class values. In datasets with independent data points a minimum of two substantive categorical attributes needs to be analyzed jointly to discover a multidimensional rare class anomaly. An example is this curious combination of values from three attributes used to describe dogs: 'MALE', 'PUPPY' and 'PREGNANT'. Type VI - Multidimensional mixed data anomaly: A case with a deviant relationship between its continuous and categorical attributes. The anomalous case generally has a categorical value or a combination of categorical values that in itself is not rare in the dataset as a whole, but is only rare in its neighborhood (numerical area) or local pattern. As with Type IV and V anomalies, such cases hide in multidimensionality and multiple attributes need thus to be jointly taken into account to identify them. In fact, multiple datatypes need to be used, as a Type VI anomaly per definition requires both numerical and categorical data.