Statistický software
1 Software
AcaStat GAUSS MRDCL RATS StatsDirect ADaMSoft GAUSS NCSS RKWard[4] Statistix Analyse-it GenStat OpenEpi SalStat SYSTAT The ASReml GoldenHelix Origin SAS Unscrambler Oxprogramming Auguri gretl language SOCR UNISTAT BioStat JMP OxMetrics Stata VisualStat BrightStat MacAnova Origin Statgraphics Winpepi Dataplot Mathematica Partek STATISTICA WinSPC EasyReg Matlab Primer StatIt XLStat EpiInfo MedCalc PSPP StatPlus XploRe EViews modelQED R SPlus Excel Minitab R Commander[4] SPSS 2 Data miningovýsoftware n Cca 20 až30 dodavatelů n Hlavníhráči na trhu:
n Clementine, IBM SPSS Modeler
n IBM’s Intelligent Miner, (PASW Modeler)
n SGI’sMineSet,
n SAS’s Enterprise Miner. n Řada vestavěných produktů:
n fraud detection:
n electronic commerce applications,
n health care,
n customer relationship management 3 Software-SAS n : www.sas.com
4 SAS
n Společnost SAS Institute
n Vznik 1976 v univerzitním prostředí
n Dnes:největšísoukromásoftwarováspolečnost na světě (více než11.000 zaměstnanců)
n přes 45.000 instalací
n cca 9 milionů uživatelů ve 118 zemích
n v USA okolo 1.000 akademických zákazníků (SAS používávětšina vyšších a vysokých škol a výzkumných pracovišť) 5 SAS
6 SAS
7 SAS q Statistickáanalýza: Ø Popisnástatistika Ø Analýza kontingenčních (frekvenčních) tabulek Ø Regresní, korelační, kovariančníanalýza Ø Logistickáregrese Ø Analýza rozptylu Ø Testováníhypotéz Ø Diskriminačníanalýza Ø Shlukováanalýza Ø Analýza přežití Ø … 8 SAS q Analýza časových řad: Ø Regresnímodely Ø Modely se sezónními faktory Ø Autoregresnímodely Ø ARIMA Ø Metody exponenciálního vyrovnání Ø …
9 SAS q Víceo SASu: http://www.sas.com/offices/europe/czech/ q (neúplný) seznamkomerčníchspolečnostívyužívajícíSAS: http://www.sas.com/offices/europe/czech/reference/list.html q o akademickém programu: http://www.sas.com/offices/europe/czech/academic/index.html q o konferenciSAS forum: http://www.sas.com/reg/offer/cz/2010_sas_forum_2010
10 Software-SPSS n : www.spss.cz
11 SPSS n IBM SPSS/ PASW Modeler13 (dříve Clementine) http://www.spss.cz/ibmspss_modeler.htm
12 SPSS q Více o IBM SPSS Modeler13 (dříve Clementine): http://www.spss.cz/ibmspss_modeler.htm q (neúplný) seznam zákazníků: http://www.spss.cz/zakaznici.htm q Akademický program: http://www.spss.com/academic/
13 Software-Statistica n Statistica: www.statistica.cz
14 Statistica
n Více o StatisticaData Miner: http://www.statistica.cz/produkty/5- dataminingove-nastroje/21-statistica-data-miner/detail/ n (neúplný) seznam zákazníků: http://www.statsoft.com/customers/ n Akademický program: http://www.statsoft.com/academic/ n Petra Beranová–Stručný manuál k ovládáníprogramu STATISTICA: http://www.statsoft.cz/download/soubory/STATISTICA_manual.pdf
15 Software n MS Excel: http://office.microsoft.com/en-us/excel/default.aspx
Věková struktura podnikajicích cizinců
1%1% 7% 4% 1%
48% 38%
-19 20-24 25-39 40-54 55-59 60-64 65+
http://office.microsoft.com/en-us/excel/HA100738731033.aspx 16 Software
n MS Excel: Počet z idBAD score_k,001,00Celkový součetgoodbadallBRWOE ,729,42%23,22%13,06%0,7212639,42%23,22%13,06%46,88%-0,392 ,735,43%11,15%6,94%0,7275515,43%11,15%6,94%42,35%-0,312 ,739,98%11,15%10,29%0,7322019,98%11,15%10,29%28,57%-0,048 ,7319,51%20,74%19,84%0,73408319,51%20,74%19,84%27,57%-0,027 ,7410,31%9,29%10,04%0,73516810,31%9,29%10,04%24,39%0,045 ,7411,31%6,50%10,04%0,73563211,31%6,50%10,04%17,07%0,240 ,7411,09%7,12%10,04%0,73670611,09%7,12%10,04%18,70%0,192 ,7410,75%7,43%9,88%0,73975310,75%7,43%9,88%19,83%0,161 ,7412,20%3,41%9,88%0,74226712,20%3,41%9,88%9,09%0,554 Celkový součet100,00%100,00%100,00%
score Lorenzova křivka 25,00% 80,00% Lift 60,00% 20,00% 1 40,00% 0,9 2,0 0,8 15,00% 20,00% 0,7 1,5 10,00% 0,00% 0,6 0,5 -20,00% 1,0 0,4 5,00% -40,00% 0,3 0,2 0,5 0,00% -60,00% 0,1 0,72130,72760,73220,73410,73520,73560,73670,73980,7423 0 0,0 00,20,40,60,81 0,720,730,730,730,740,740,740,740,74 good bad all BR WOE
17 Software
n Matlab:www.mathworks.com, www.humusoft.cz
18 Software n Matlab: http://www.humusoft.cz/produkty/matlab/matlab/
19 Software-MU
n https://inet.muni.cz/app/soft/licence
n Matlab2009a: ÚVT MU http://www.muni.cz/ics/services/software 20 GIGO
Ø Garbagein, Garbageout(smetídovnitř, smetíven)
Ø sebelepšímodel/proces/software nevyrobíze smetínic jiného nežopět smetí.
21 Vizualizace dat
22 Vizualizace –zdroje
n Na prvním místě se obvykle citujíknihy prof. Tufteho, např. TufteE.R. (1983) TheVisualDisplay ofQuantitativeInformation, GraphicPress, Chesire, Conn. n Weby o vizualizaci, např.
n http://www.math.yorku.ca/SCS/Gallery/noframes.html -galerie s poučným výkladem a příklady i nezdařených či lživých grafů
n http://www.agocg.ac.uk/ -John Lansdown(1992) AspectsofDesign in ComputerGraphics: SomeNotes – http://www.agocg.ac.uk/train/hitch/hitch.htm n Jinéweby, např. stránky různých vizualizačníchprogramů a organizací
n http://www.cybergeography.org/atlas/atlas.html nebo http://miner3d.com/products/gallery.html
23 Vizualizace –historie q WilliamPlayfair, 1786: prvnípublikovanáprezentačnígrafika
24 Vizualizace –historie q Dr. John Snow, 1845: epidemie cholery v Londýně
25 Vizualizace –historie q Florence Nightingale, 1858: důvody úmrtív průběhu Krymskéválky (1853-1856)
26 Vizualizace –historie q HarryBeck, 1931: schéma Londýnského metra
27 Vizualizace – investigativníanalýza q http://www.i2inc.com/
Law Enforcement Government Commercial »Counterterrorism »Criminal prosecutions »Forensic accounting »Narcotics »National security »Money laundering investigations »Military intelligence »Insider trading violations »Organized crime »Embassy security »Corporate security »Intelligence analysis »Postal inspection and »Anti-pirating investigations »Fraud fraud »Entertainment copyright »Missing persons »Prison investigations violations »Major investigations »Park and wildlife services »Competitive intelligence »Counterfeiting »Antitrust investigations »Civil lawsuits »Immigration control »Tax fraud investigations »Fraud: »Major event security »Customs investigations »Credit card »Money laundering »Insurance »Gang investigations »Retail »Health care »Commercial »Telephone 28 Vizualizace – investigativníanalýza q osobníkontakty, pojistnépodvody
29 Vizualizace – investigativníanalýza q Praníšpinavých peněz, kriminálnígangy
30 Vizualizace –portfolio management q Hledánízávislostív datech:
31 Vizualizace –portfolio management q Distribučnífunkce doby do defaultu
32 Vizualizace –portfolio management q Test stability scóringovéfunkce
33 Vizualizace –portfolio management q Vizualizace kreditních rizikových nákladů (KRN)
34 Vizualizace –portfolio management q Histogram, Distribučnífunkce
35 Vizualizace –portfolio management q Bodovégrafy
36 Vizualizace –portfolio management A q Lorenzova křivka Gini = A + B Gini = 2A 1 c _ stat = A + 2 1 c _ stat = ()1+ Gini 2
37 Vizualizace -dendrogram
Credit ranking (1=default)
Node 0 Category%n Bad52,01168 Good47,99155 Total(100,00)323
Paid Weekly/Monthly Adj. P-value=0,0000, Chi-square=179,6665, df=1
Weekly pay Monthly salary
Node 1 Node 2 Category%n Category%n Bad86,67143 Bad15,8225 Good13,3322 Good84,18133 Total(51,08)165 Total(48,92)158
Social Class Age Categorical Adj. P-value=0,0004, Chi-square=20,3674, df=2 Adj. P-value=0,0000, Chi-square=58,7255, df=1
Management;Professional Clerical;Skilled Manual Unskilled Young (< 25) Middle (25-35);Old ( > 35)
Node 3 Node 4 Node 5 Node 6 Node 7 Category%n Category%n Category%n Category%n Category%n Bad71,1132 Bad97,5680 Bad81,5831 Bad48,9824 Bad0,921 Good28,8913 Good2,442 Good18,427 Good51,0225 Good99,08108 Total(13,93)45 Total(25,39)82 Total(11,76)38 Total(15,17)49 Total(33,75)109 38 Vizualizace –ekonomie
39 Vizualizace –ekonomie
40 Vizualizace –ekonomie
41 Vizualizace v biologii/chemii q 3D zobrazeníproteinu
42 Meteo-vizualizace
43 Kartogram q Obce s počtem 500 a více obyvatel s vysokorychlostním připojením k internetu, podle okresů (%), k 31.12.2006
44 Kartogram
45 Kartodiagram
46 Grafy –dalšítypy
47 Geografickádata
48