R-Workshops der TU Dortmund zu Strukturgleichungsmodelle und Mehrebenenanalysen

August 23, 2023/in Certification / Training, Education / Certification/by Redaktion

Unser R-Workshop zu Strukturgleichungsmodellen und Mehrebenenanalysen bietet Ihnen die Möglichkeit, Ihre statistischen Fähigkeiten auf das nächste Level zu heben.

Die beiden nächsten Kurse finden im Herbst dieses Jahres statt:

& 26. September 2023, jeweils 9:00 – 17:00 Uhr (Präsenzseminar in Dortmund)
& 24. Oktober 2023, jeweils 9:00 – 17:00 Uhr (Online-Seminar via Zoom)

Das Angebot richtet sich primär an Promovierende aus der Psychologie, den Wirtschafts- und Sozialwissenschaften. Sie sollten bereits Grundkenntnisse in R/RStudio sowie Regressionsanalysen mitbringen, um das Beste aus diesem Seminar herauszuholen.

Am ersten Tag erfahren Sie mehr über Mehrebenenanalysen:

Fixed & Random Slope-Modelle auf Level 1
Modelle mit Level-2 Prädikatoren
Crosslevel-Interaktionen
Zentrierung von Prädiktorvariablen

Im zweiten Tag tauchen Sie in die Welt der Strukturgleichsmodelle ein:

Konfirmatorische Faktorenanalyse (CFA)
Pfadanalyse
Modelle mit latenten Variablen (SEM)
Moderation, Mediation und moderierte Mediation

Weitere Informationen und die Anmeldeinformationen finden Sie unter: https://wb.zhb.tu-dortmund.de/seminare/r-workshops-fuer-doktorand/innen/

Webinar zum Statistikprogramm R

September 8, 2022/in Certification / Training, Education / Certification/by Redaktion

R – ein unverzichtbares Werkzeug für Data Scientists. Lassen Sie auch Ihre Mitarbeitenden auf den neusten Stand in der Open Source Statistiksoftware R aus der modernen Datenanalyse bringen. Zielgruppe unserer Fortbildungen sind nicht nur Statistikerinnen und Statistiker, sondern auch Anwenderinnen und Anwender jeder Fachrichtung aus Industrie und Forschungseinrichtungen, die mit R ihre Daten effektiv analysieren möchten. Die Teilnehmenden erwerben Qualifikationen zur selbstständigen Analyse eigener Daten sowie Schlüsselkompetenzen im Umgang mit Big Data.

Webinar zum Statistikprogramm R

Inhalte Basiskurs:

Installation von R und zugehöriger Entwicklungsumgebung
Grundlagen von R: Syntax, Datentypen, Operatoren, Funktionen, Indizierung
R-Hilfe effektiv nutzen
Ein- und Ausgabe von Daten
Behandlung fehlender Werte
Statistische Kennzahlen
Visualisierung

Inhalte Vertiefungskurs:

Effizienter Umgang mit R:
Eigene Funktionen, Schleifen vermeiden durch *apply – Einführung in ggplot2 und dplyr
Statistische Tests und Lineare Regression
Dynamische Berichterstellung
Angewandte Datenanalyse anhand von Fallbeispielen

Termine:

R-Basiskurs: 14. und 15. November 2022 (jeweils 9:00 – 17:30 Uhr)
R-Vertiefungskurs: 17. und 18. November 2022 (jeweils 9:00 – 16:30 Uhr)

Kosten: pro 2-tägigem Kurs 750 €; bei Buchung beider Kurse im November erhalten Sie einen Preisnachlass von 200€

Weitere Informationen zu den Inhalten und zur Anmeldung finden Sie unter: https://wb.zhb.tu-dortmund.de/seminare/dortmunder-r-kurse/

Bei Fragen können Sie sich an Daniel Neubauer (daniel.neubauer@tu-dortmund.de; Tel.: 0231 755 6632) wenden.

Support Vector Machines for Text Recognition

Hand Written Alphabet recognition Using Support Vector Machine

March 20, 2021/in Artificial Intelligence, Data Science, Data Science Hack, Machine Learning, Main Category, R Statistics/by Mohan Rai

We have used image classification as an task in many cases, more often this has been done using an module like openCV in python or using pre-trained models like in case of MNIST data sets. The idea of using Support Vector Machines for carrying out the same task is to give a simpler approach for a complicated process. There are some pro’s and con’s in every algorithm. Support vector machine for data with very high dimension may prove counter productive. But in case of image data we are actually using a array. If its a mono chrome then its just a 2 dimensional array, if grey scale or color image stack then we may have a 3 dimensional array processing to be considered. You can get more clarity on the array part if you go through this article on Machine learning using only numpy array. While there are certainly advantages of using OCR packages like Tesseract or OpenCV or GPTs, I am putting forth this approach of using a simple SVM model for hand written text classification. As a student while doing linear regression, I learn’t a principle “Occam’s Razor”, Basically means, keep things simple if they can explain what you want to. In short, the law of parsimony, simplify and not complicate. Applying the same principle on Hand written Alphabet recognition is an attempt to simplify using a classic algorithm, the Support Vector Machine. We break the problem of hand written alphabet recognition into a simple process rather avoiding usage of heavy packages. This is an attempt to create the data and then build a model using Support Vector Machines for Classification.

Data Preparation

Manually edit the data instead of downloading it from the web. This will help you understand your data from the beginning. Manually write some letters on white paper and get the photo from your mobile phone. Then store it on your hard drive. As we are doing a trial we don’t want to waste a lot of time in data creation at this stage, so it’s a good idea to create two or three different characters for your dry run. You may need to change the code as you add more instances of classes, but this is where the learning phase begins. We are now at the training level.

Data Structure

You can create the data yourself by taking standard pictures of hand written text in a 200 x 200 pixel dimension. Alternatively you can use a pen tab to manually write these alphabets and save them as files. If you know and photo editing tools you can use them as well. For ease of use, I have already created a sample data and saved it in the structure as below.

Image Source : From Author

You can download the data which I have used, right click on this download data link and open in new tab or window. Then unzip the folders and you should be able to see the same structure and data as above in your downloads folder. I would suggest, you should create your own data and repeat the process. This would help you understand the complete flow.

Install the Dependency Packages for RStudio

We will be using the jpeg package in R for Image handling and the SVM implementation from the kernlab package. Also we need to make sure that the image data has dimension’s of 200 x 200 pixels, with a horizontal and vertical resolution of 120dpi. You can vary the dimension’s like move it to 300 x 300 or reduce it to 100 x 100. The higher the dimension, you will need more compute power. Experiment around the color channels and resolution later once you have implemented it in the current form.

1

2

3

# install package "jpeg"

install.packages("jpeg", dependencies = TRUE)

1

2

3

4

# install the "kernlab" package for building the model using support vector machines

install.packages("kernlab", dependencies = TRUE)

Load the training data set

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

# load the "jpeg" package for reading the JPEG format files

library(jpeg)

# set the working directory for reading the training image data set

setwd("C:/Users/mohan/Desktop/alphabet_folder/Train")

# extract the directory names for using as image labels

f_train<-list.files()

# Create an empty data frame to store the image data labels and the extracted new features in training environment

df_train<- data.frame(matrix(nrow=0,ncol=5))

Feature Transformation

Since we don’t intend to use the typical CNN, we are going to use the white, grey and black pixel values for new feature creation. We will use the summation of all the pixel values of a image and save it as a new feature called as “sum”, the count of all pixels adding up to zero as “zero”, the count of all pixels adding up to “ones” and the sum of all pixels between zero’s and one’s as “in_between”. The “label” feature names are extracted from the names of the folder

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

# names the columns of the data frame as per the feature name schema

names(df_train)<- c("sum","zero","one","in_between","label")

# loop to compute as per the logic

counter<-1

for(i in 1:length(f_train))

{

setwd(paste("C:/Users/mohan/Desktop/alphabet_folder/Train/",f_train[i],sep=""))

data_list<-list.files()

for(j in 1:length(data_list))

{

temp<- readJPEG(data_list[j])

df_train[counter,1]<- sum(temp)

df_train[counter,2]<- sum(temp==0)

df_train[counter,3]<- sum(temp==1)

df_train[counter,4]<- sum(temp > 0 & temp < 1)

df_train[counter,5]<- f_train[i]

counter=counter+1

}

# Convert the labels from text to factor form

df_train$label<- factor(df_train$label)

Support Vector Machine model

1

2

3

4

5

6

7

8

9

10

# load the "kernlab" package for accessing the support vector machine implementation

library(kernlab)

# build the model using the training data

image_classifier <- ksvm(label~.,data=df_train)

Evaluate the Model on the Testing Data Set

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

# set the working directory for reading the testing image data set

setwd("C:/Users/mohan/Desktop/alphabet_folder/Test")

# extract the directory names for using as image labels

f_test <- list.files()

# Create an empty data frame to store the image data labels and the extracted new features in training environment

df_test<- data.frame(matrix(nrow=0,ncol=5))

# Repeat of feature extraction in test data

names(df_test)<- c("sum","zero","one","in_between","label")

# loop to compute as per the logic

for(i in 1:length(f_test))

{

temp<- readJPEG(f_test[i])

df_test[i,1]<- sum(temp)

df_test[i,2]<- sum(temp==0)

df_test[i,3]<- sum(temp==1)

df_train[counter,4]<- sum(temp > 0 & temp < 1)

df_test[i,5]<- strsplit(x = f_test[i],split = "[.]")[[1]][1]

}

# Use the classifier named "image_classifier" built in train environment to predict the outcomes on features in Test environment

df_test$label_predicted<- predict(image_classifier,df_test)

# Cross Tab for Classification Metric evaluation

table(Actual_data=df_test$label,Predicted_data=df_test$label_predicted)

I would recommend you to learn concepts of SVM which couldn’t be explained completely in this article by going through my free Data Science and Machine Learning video courses. We have created the classifier using the Kerlab package in R, but I would advise you to study the mathematics involved in Support vector machines to get a clear understanding.

Einführung und Vertiefung in R Statistics mit den Dortmunder R-Kursen!

May 19, 2020/in Carrier, Certification / Training, Education / Certification, Gerneral, R Statistics/by events

Im Rahmen der Dortmunder R Kurse bieten wir unsere Expertise in Schulungen für die Programmiersprache R an. Zielgruppe unserer Fortbildungen sind nicht nur Statistiker, sondern auch Anwender jeder Fachrichtung aus Industrie und Forschungseinrichtungen, die mit R ihre Daten analysieren wollen. Die Dortmunder R-Kurse werden ausschließlich von Statistikern mit langjähriger Erfahrung angeboten. Die Referenten gehören zum engsten Kreis der internationalen R-Gemeinschaft. Die angebotenen Kurse haben sich vielfach national und international bewährt.

Unsere Termine für die Online-Durchführung in diesem Jahr:

8., 9. und 10. Juni: R-Basiskurs (jeweils 9:00 – 14:00 Uhr)

22., 23., 24. und 25. Juni: R-Vertiefungskurs (jeweils 9:00 – 13:00 Uhr)

Kosten jeweils 750.00€, bei Buchung beider Kurse im Juni erhalten Sie einen Preisnachlass von 200€.

Zur Anmeldung gelangen Sie über den nachfolgenden Link:
https://www.zhb.tu-dortmund.de/zhb/wb/de/home/Seminare/Andere_Veranst/index.html

R Basiskurs

Das Seminar R Basiskurs für Anfänger findet am 8., 9. und 10. Juni 2020 statt. Den Teilnehmern wird der praxisrelevante Part der Programmiersprache näher gebracht, um so die Grundlagen zur ersten Datenanalyse — von Datensatz zu statistischen Kennzahlen und ersten Visualisierungen — zu schaffen. Anmeldeschluss ist der 25. Mai 2020.

Programm:

Installation von R und zugehöriger Entwicklungsumgebung
Grundlagen von R: Syntax, Datentypen, Operatoren, Funktionen, Indizierung
R-Hilfe effektiv nutzen
Ein- und Ausgabe von Daten
Behandlung fehlender Werte
Statistische Kennzahlen
Visualisierung

R Vertiefungskurs

Das Seminar R-Vertiefungskurs für Fortgeschrittene findet am 22., 23., 24. und 25. Juni (jeweils von 9:00 – 13:00 Uhr) statt. Die Veranstaltung ist ideal für Teilnehmende mit ersten Vorkenntnissen, die ihre Analysen effizient mit R durchführen möchten. Anmeldeschluss ist der 11. Juni 2020.

Der Vertiefungskurs baut inhaltlich auf dem Basiskurs auf. Es besteht aber keine Verpflichtung, bei Besuch des Vertiefungskurses zuvor den Basiskurs zu absolvieren, wenn bereits entsprechende Vorkenntnisse in R vorhanden sind.

Programm:

Eigene Funktionen, Schleifen vermeiden durch *apply
Einführung in ggplot2 und dplyr
Statistische Tests und Lineare Regression
Dynamische Berichterstellung
Angewandte Datenanalyse anhand von Fallbeispielen

Links zur Veranstaltung direkt:

R-Basiskurs: https://dortmunder-r-kurse.de/kurse/r-basiskurs/

R-Vertiefungskurs: https://dortmunder-r-kurse.de/kurse/r-vertiefungskurs/

Dortmunder R-Kurse | Neue Termine im Herbst 2019

September 12, 2019/in Certification / Training, Education / Certification, Gerneral/by Redaktion

Erweitern Sie Ihre Fähigkeiten in der Anwendung der Open Source Statistiksoftware R: In der Tagesseminarreihe „Dortmunder R-Kurse“ an der Technischen Universität Dortmund geben erfahrene Wissenschaftler der Fakultät Statistik ihre Expertise an Sie weiter.

Sie erwerben dadurch Qualifikationen zur selbstständigen Analyse eigener Daten sowie Schlüsselkompetenzen im Umgang mit Big Data. Die Kurse richten sich an Anwenderinnen und Anwender jeder Fachrichtung aus Industrie und Forschungseinrichtungen, die ihre Daten mit R auswerten möchten.

Das Angebot umfasst Kurse für Einsteiger und Fortgeschrittene, wo Sie Ihre Kenntnisse in R erlernen und vertiefen können.

R Basiskurs
Inhalte: Grundlagen zur ersten Datenanalyse
Termine: 5. & 6. November 2019
R Vertiefungskurs
Inhalt: Effiziente Analysen mit R
Termine: 21. & 22. November 2019
Weitere Inhouse Themen auf Anfrage: Machine Learning in R, Shiny Apps mit R

Weitere Informationen zu den R-Kursen finden Sie unter:
http://dortmunder-r-kurse.de/

A common trap when it comes to sampling from a population that intrinsically includes outliers

February 21, 2019/in Business Analytics, Business Intelligence, Data Mining, Data Science, Data Science Hack, Main Category, R Statistics, Statistics/by Moussa El-Zaarah

I will discuss a common fallacy concerning the conclusions drawn from calculating a sample mean and a sample standard deviation and more importantly how to avoid it.

Suppose you draw a random sample $x_1$ , $x_2$ , … $x_N$ of size $N$ and compute the ordinary (arithmetic) sample mean $x_m$ and a sample standard deviation $sd$ from it. Now if (and only if) the (true) population mean µ (first moment) and population variance (second moment) obtained from the actual underlying PDF are finite, the numbers $x_m$ and $sd$ make the usual sense otherwise they are misleading as will be shown by an example.

By the way: The common correlation coefficient will also be undefined (or in practice always point to zero) in the presence of infinite population variances. Hopefully I will create an article discussing this related fallacy in the near future where a suitable generalization to Lévy-stable variables will be proposed.

Drawing a random sample from a heavy tailed distribution and discussing certain measures

As an example suppose you have a one dimensional random walker whose step length is distributed by a symmetric standard Cauchy distribution (Lorentz-profile) with heavy tails, i.e. an alpha-stable distribution with alpha being equal to one. The PDF of an individual independent step is given by $p(x) = \frac{\pi^{-1}}{(1 + x^2)}$ , thus neither the first nor the second moment exist whereby the first exists and vanishes at least in the sense of a principal value due to symmetry.

Still let us generate $N = 3000$ (pseudo) standard Cauchy random numbers in R* to analyze the behavior of their sample mean and standard deviation $sd$ as a function of the reduced sample size $n \leq N$ .

*The R-code is shown at the end of the article.

Here are the piecewise sample mean (in blue) and standard deviation (in red) for the mentioned Cauchy sampling. We see that both the sample mean and $sd$ include jumps and do not converge.

Especially the mean deviates relatively largely from zero even after 3000 observations. The sample $sd$ has no target due to the population variance being infinite.

If the data is new and no prior distribution is known, computing the sample mean and $sd$ will be misleading. Astonishingly enough the sample mean itself will have the (formally exact) same distribution as the single step length $p(x)$ . This means that the sample mean is also standard Cauchy distributed implying that with a different Cauchy sample one could have easily observed different sample means far of the presented values in blue.

What sense does it make to present the usual interval $x_m \pm sd / \sqrt{N}$ in such a case? What to do?

The sample median, median absolute difference (mad) and Inter-Quantile-Range (IQR) are more appropriate to describe such a data set including outliers intrinsically. To make this plausible I present the following plot, whereby the median is shown in black, the mad in green and the IQR in orange.

This example shows that the median, mad and IQR converge quickly against their assumed values and contain no major jumps. These quantities do an obviously better job in describing the sample. Even in the presence of outliers they remain robust, whereby the mad converges more quickly than the IQR. Note that a standard Cauchy sample will contain half of its sample in the interval median $\pm$ mad meaning that the IQR is twice the mad.

Drawing a random sample from a PDF that has finite moments

Just for comparison I also show the above quantities for a standard normal (pseudo) sample labeled with the same color as before as a counter example. In this case not only do both the sample mean and median but also the $sd$ and mad converge towards their expected values (see plot below). Here all the quantities describe the data set properly and there is no trap since there are no intrinsic outliers. The sample mean itself follows a standard normal, so that the $sd$ in deed makes sense and one could calculate a standard error $\frac{sd}{\sqrt{N}}$ from it to present the usual stochastic confidence intervals for the sample mean.

A careful observation shows that in contrast to the Cauchy case here the sampled mean and $sd$ converge more quickly than the sample median and the IQR. However still the sampled mad performs about as well as the $sd$ . Again the mad is twice the IQR.

And here are the graphs of the prementioned quantities for a pseudo normal sample:

The take-home-message:

Just be careful when you observe outliers and calculate sample quantities right away, you might miss something. At best one carefully observes how the relevant quantities change with sample size as demonstrated in this article.

Such curves should become of broader interest in order to improve transparency in the Data Science process and reduce fallacies as well.

Thank you for reading.

P.S.: Feel free to play with the set random seed in the R-code below and observe how other quantities behave with rising sample size. Of course you can also try different PDFs at the beginning of the code. You can employ a Cauchy, Gaussian, uniform, exponential or Holtsmark (pseudo) random sample.

QUIZ: Which one of the recently mentioned random samples contains a trap** and why?

**in the context of this article

R-code used to generate the data and for producing plots:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

#R-script for emphasizing convergence and divergence of sample means

####install and load relevant packages ####

#uncomment these lines if necessary

#install.packages(c('ggplot2',’stabledist’))

#library(ggplot2)

#library(stabledist)

#####drawing random samples #####

#Setting a random seed for being able to reproduce results

set.seed(1234567)

N= 2000 #sample size

#Choose a PDF from which a sample shall be drawn

#To do so (un)comment the respective lines of following code

data <- rcauchy(N) # option1(default): standard Cauchy sampling

#data <- rnorm(N) #option2: standard Gaussian sampling

#data <- rexp(N) # option3: standard exponential sampling

#data <- rstable(N,alpha=1.5,beta=0) # option4: standard symmetric Holtsmark sampling

#data <- runif(N) #option5: standard uniform sample

#####descriptive statistics####

#preparations/declarations

SUM = vector()

sd =vector()

mean = vector()

SQ =vector()

SQUARES = vector()

median = vector()

mad =vector()

quantiles = data.frame()

sem =vector()

#piecewise calculaion of descrptive quantities

for (k in 1:length(data)){ #mainloop

SUM[k] <- sum(data[1:k]) # sum of sample

mean[k] <- mean(data[1:k]) # arithmetic mean

sd[k] <- sd(data[1:k]) # standard deviation

sem[k] <- sd[k]/(sqrt(k)) #standard error of the sample mean (for finite variances)

mad[k] <- mad(data[1:k],const=1) # median absolute deviation

for (j in 1:5){

qq <- quantile(data[1:k],na.rm = T)

quantiles[k,j] <- qq[j] #quantiles of sample

}

colnames(quantiles) <- c('min','Q1','median','Q3','max')

for (i in 1:length(data[1:k])){

SQUARES[i] <- data[i]*data[i]

}

SQ[k] <- sum(SQUARES[1:k]) #sum of squares of random sample

} #end of mainloop

#create table containing all relevant data

TABLE <- as.data.frame(cbind(quantiles,mean,sd,SQ,SUM,sem))

#####plotting results###

x11()

print(ggplot(TABLE,aes(1:N,median))+

geom_point(size=.5)+xlab('sample size n')+ylab('sample median'))

x11()

print(ggplot(TABLE,aes(1:N,mad))+geom_point(size=.5,color ='green')+

xlab('sample size n')+ylab('sample median absolute difference'))

x11()

print(ggplot(TABLE,aes(1:N,sd))+geom_point(size=.5,color ='red')+

xlab('sample size n')+ylab('sample standard deviation'))

x11()

print(ggplot(TABLE,aes(1:N,mean))+geom_point(size=.5, color ='blue')+

xlab('sample size n')+ylab('sample mean'))

x11()

print(ggplot(TABLE,aes(1:N,Q3-Q1))+geom_point(size=.5, color ='blue')+

xlab('sample size n')+ylab('IQR'))

#uncomment the following lines of code to see further plots

#x11()

#print(ggplot(TABLE,aes(1:N,sem))+geom_point(size=.5)+

#xlab('sample size n')+ylab('sample sum of r.v.'))

#x11()

#print(ggplot(TABLE,aes(1:N,SUM))+geom_point(size=.5)+

#xlab('sample size n')+ylab('sample sum of r.v.'))

#x11()

#print(ggplot(TABLE,aes(1:N,SQ))+geom_point(size=.5)+

#xlab('sample size n')+ylab('sample sum of squares'))

Bringing intelligence to where data lives: Python & R embedded in T-SQL

June 20, 2018/in Business Analytics, Business Intelligence, Data Engineering, Data Science, Data Science Hack, Data Science News, Main Category, Python, R Statistics, SQL, Tool Introduction, Tutorial/by Kyle Weller

Introduction

Did you know that you can write R and Python code within your T-SQL statements? Machine Learning Services in SQL Server eliminates the need for data movement. Instead of transferring large and sensitive data over the network or losing accuracy with sample csv files, you can have your R/Python code execute within your database. Easily deploy your R/Python code with SQL stored procedures making them accessible in your ETL processes or to any application. Train and store machine learning models in your database bringing intelligence to where your data lives.

You can install and run any of the latest open source R/Python packages to build Deep Learning and AI applications on large amounts of data in SQL Server. We also offer leading edge, high-performance algorithms in Microsoft’s RevoScaleR and RevoScalePy APIs. Using these with the latest innovations in the open source world allows you to bring unparalleled selection, performance, and scale to your applications.

If you are excited to try out SQL Server Machine Learning Services, check out the hands on tutorial below. If you do not have Machine Learning Services installed in SQL Server,you will first want to follow the getting started tutorial I published here:

How-To Tutorial

In this tutorial, I will cover the basics of how to Execute R and Python in T-SQL statements. If you prefer learning through videos, I also published the tutorial on YouTube.

Basics

Open up SQL Server Management Studio and make a connection to your server. Open a new query and paste this basic example: (While I use Python in these samples, you can do everything with R as well)

1 2	EXEC sp_execute_external_script @language = N'Python', @script = N'print(3+4)'

Sp_execute_external_script is a special system stored procedure that enables R and Python execution in SQL Server. There is a “language” parameter that allows us to choose between Python and R. There is a “script” parameter where we can paste R or Python code. If you do not see an output print 7, go back and review the setup steps in this article.

Parameter Introduction

Now that we discussed a basic example, let’s start adding more pieces:

1

2

3

4

5

6

EXEC sp_execute_external_script @language =N'Python',

@script = N'

OutputDataSet = InputDataSet;

',

@input_data_1 =N'SELECT 1 AS Col1';

Machine Learning Services provides more natural communications between SQL and R/Python with an input data parameter that accepts any SQL query. The input parameter name is called “input_data_1”.
You can see in the python code that there are default variables defined to pass data between Python and SQL. The default variable names are “OutputDataSet” and “InputDataSet” You can change these default names like this example:

1

2

3

4

5

6

7

8

EXEC sp_execute_external_script @language =N'Python',

@script = N'

MyOutput = MyInput;

',

@input_data_1_name = N'MyInput',

@input_data_1 =N'SELECT 1 AS foo',

@output_data_1_name =N'MyOutput';

As you executed these examples, you might have noticed that they each return a result with “(No column name)”? You can specify a name for the columns that are returned by adding the WITH RESULT SETS clause to the end of the statement which is a comma separated list of columns and their datatypes.

1

2

3

4

5

6

7

8

9

10

11

12

EXEC sp_execute_external_script @language =N'Python',

@script=N'

MyOutput = MyInput;

',

@input_data_1_name = N'MyInput',

@input_data_1 =N'

SELECT 1 AS foo,

2 AS bar

',

@output_data_1_name =N'MyOutput'

WITH RESULT SETS ((MyColName int, MyColName2 int));

Input/Output Data Types

Alright, let’s discuss a little more about the input/output data types used between SQL and Python. Your input SQL SELECT statement passes a “Dataframe” to python relying on the Python Pandas package. Your output from Python back to SQL also needs to be in a Pandas Dataframe object. If you need to convert scalar values into a dataframe here is an example:

1

2

3

4

5

6

7

8

9

10

EXEC sp_execute_external_script @language =N'Python',

@script=N'

import pandas as pd

c = 1/2

d = 1*2

s = pd.Series([c,d])

df = pd.DataFrame(s)

OutputDataSet = df

'

Variables c and d are both scalar values, which you can add to a pandas Series if you like, and then convert them to a pandas dataframe. This one shows a little bit more complicated example, go read up on the python pandas package documentation for more details and examples:

1

2

3

4

5

6

7

8

EXEC sp_execute_external_script @language =N'Python',

@script=N'

import pandas as pd

s = {"col1": [1, 2], "col2": [3, 4]}

df = pd.DataFrame(s)

OutputDataSet = df

'

You now know the basics to execute Python in T-SQL!

Did you know you can also write your R and Python code in your favorite IDE like RStudio and Jupyter Notebooks and then remotely send the execution of that code to SQL Server? Check out these documentation links to learn more: https://aka.ms/R-RemoteSQLExecution https://aka.ms/PythonRemoteSQLExecution

Check out the SQL Server Machine Learning Services documentation page for more documentation, samples, and solutions. Check out these E2E tutorials on github as well.

Would love to hear from you! Leave a comment below to ask a question, or start a discussion!

Neues Weiterbildungsangebot zu Programmiersprache R an der TU Dortmund

December 12, 2017/in Certification / Training, Data Science News, Education / Certification/by Redaktion

Anzeige: Neues Weiterbildungsangebot zu Programmiersprache R an der TU Dortmund

In der Tagesseminarreihe „Dortmunder R-Kurse“ an der Technischen Universität Dortmund vermitteln erfahrene Experten die praktische Anwendung der Open-Source Statistiksoftware R. Die Teilnehmenden erwerben dadurch Schlüsselkompetenzen im Umgang mit Big Data.

Das Seminar R-Basiskurs für Anfänger findet am 22.02. & 23.02.18 statt. Den Teilnehmern wird der praxisrelevante Part der Programmiersprache näher gebracht, um so die Grundlagen zur ersten Datenanalyse — vom Datensatz zu statistischen Kennzahlen und ersten Datenvisualisierungen — zu schaffen. Anmeldeschluss ist der 01.02.2018.

Das Seminar R-Vertiefungskurs für Fortgeschrittene findet am 06.03. & 07.03.18 statt. Die Veranstaltung ist ideal für Teilnehmende mit ersten Vorkenntnissen, die ihre Analysen effizient mit R durchführen möchten. Anmeldeschluss ist der 13.02.2018.

Weitere inhaltliche Informationen zu den R-Kursen finden Sie unter:
http://dortmunder-r-kurse.de/

Shiny Web Applikationen

November 7, 2017/in Business Analytics, Data Science, Data Science Hack, R Statistics, Visualization/by Markus Lang

Jede Person, die irgendwie mit Daten arbeitet, kommt nicht herum, aus Analysen oder Modellen gezogene Erkenntnisse mit anderen zu teilen. Meist haben diese Personen keinen statistischen oder mathematischen Hintergrund. Für diese sollten die Ergebnisse nicht nur verständlich, sondern im besten Fall auch visuell ansprechend aufbereitet sein. Neben recht teuren Softwarelösungen wie Tableau oder QlikView gibt es von R-Studio auch eine (zumindest im kleinen Rahmen) kostenfreie Lösung – R-Shiny.

Shiny ist ein R Paket, mit dessen Hilfe man interaktive Webapplikationen oder Dashboards erstellen kann, bei dem man auf den vollen Funktionsumfang aller R-Pakete zugreifen kann.

Bei der Erstellung für einfache Shiny-Apps sind keine HTML, CSS oder Javascript Kenntnisse nötig. Shiny teilt sich im Prinzip in zwei Programme: Das Front-End wird in der Datei ui.r festgelegt. Alles was im Back-End passiert, wird in der Datei server.r beschrieben. R-Studio übernimmt danach das Rendern des Front- Ends und man erhält eine übliche HTML-Datei, in dessen Backend R läuft.

Die Vorteile der Einfachheit, nur mit R eine funktionale Web-App erstellen können, hat natürlich auch seine Nachteile. Shiny ist, was das Design betrifft, eher limitiert und auch die Platzierung von Inputs wie Slidern, Drop-Downs oder auch Outputs wie Grafiken oder Tabellen ist stark beschränkt.

Eine kaum bekannte und dokumentierte Funktion von R-Shiny ist die Funktion „htmlTemplate“. Mit dieser lassen sich komplett in HTML, CSS und gegebenenfalls Javascript geschriebene Websites mit der vollen Funktionalität von R im Back-End integrieren – und sehen um Längen besser aus als rein in R geschriebene Web-Apps.

Wie man auf diese Art Shiny Apps programmiert zeige ich nun anhand des Folgenden Beispiels. Die folgenden Erklärungen sind mit Absicht kurz gehalten und stellen kein Tutorial dar, sondern sollen vielmehr die Möglichkeiten der Funktion „htmlTemplate“ zeigen.

Zunächst zur ui.R:

1

2

3

4

5

6

7

8

9

10

11

12

library(shiny)

library(corrplot)

library(ggplot2)

## ui.R ##

htmlTemplate("template.html",

slider = sliderInput("weight", "Gewicht", 1.5, 5.4, c(1.7, 3.2)),

plot1 = plotOutput("plot1"),

plot2 = plotOutput("plot2"),

plot3 = plotOutput("plot3")

)

Der Code in der ui.R Datei ist recht einfach gehalten. Es werden nur die Bibliotheken geladen, auf die R zugreifen muss. Danach wird das html Template mit dem entsprechenden Namen geladen. Ansonsten werden in dieser Datei nur Input und Output als Variablen festgelegt.

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

library(shiny)

library(corrplot)

library(dplyr)

library(ggplot2)

shinyServer <- function(input, output) {

### Berechnung der Daten ueber das Reactive Statement

filterddata <- reactive ({

mtcars$cyl <- as.numeric(mtcars$cyl)

data <- mtcars %>%

filter(wt > input$weight[1]) %>%

filter(wt < input$weight[2])

data

})

### Erstellung der Plots

output$plot1 <- renderPlot({

ggplot(data = filterddata(), aes(x = mpg, y = wt)) + geom_point(color = "blue") +

geom_smooth(method = "lm", color = "red") +

xlab("Meilen pro Galone Benzin") +

ylab("Gewicht in Tonnen") +

ggtitle("Zusammenhang Gewicht und Benzinverbrauch") +

theme_bw()

})

output$plot2 <- renderPlot({

ggplot(data = filterddata(), aes(x = cyl)) +

geom_bar(fill = "#6b86b2") +

xlab("Zylinder") +

ylab("Anzahl") +

ggtitle("Anzahl Fahrzeuge pro Gruppe") +

geom_vline(aes(xintercept = mean(filterddata()$cyl), color = "mean"), size = 1) +

geom_vline(aes(xintercept = median(filterddata()$cyl), color = "median"), size = 1) +

scale_color_manual(name = "Statistiken", values = c(mean = "red", median = "blue")) +

theme_bw()

})

output$plot3 <- renderPlot({

M <- cor(filterddata())

corrplot(M, method="square", order="AOE", col = colorRampPalette(c("red",

"yellow", "green"))(100))

})

}

In der Server.R Datei wird in diesem Beispiel der bekannte und oft verwendete Datensatz Mtcars verwendet. Zunächst wird mit dem Paket dplyr und der Funktion filter ein neuer Datensatz berechnet, der auf Nutzereingaben reagiert (sliderInput, siehe ui.R). Wenn in R-Shiny in DataFrames Berechnungen durchgeführt werden, müssen diese immer in einem sog. reactive Statement stehen. Danach werden mittels ggplot2 insgesamt drei Plots zu dem Datensatz erstellt.

Plot 1 stellt einen Zusammenhang zwischen Gewicht und Benzinverbrauch mittels linearer Regression dar. Plot 2 zeigt an, wie viele Zylinder die Fahrzeuge aus dem gefilterten Datensatz haben und Plot 3 zeigt die Korrelationen zwischen den Variablen an. Diese drei Plots sollen dem Endnutzer interaktiv zur Verfügung stehen.

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

Dies ist ein renderHTML Beispiel

Input Gewicht

Mit diesem Slider kannst du das Gewicht verändern

Optionen

Plot 1 verstecken

Plot 2 verstecken

Plot 3 verstecken

Hier sind die verschiedenen Grafiken

Dies ist eine Shiny App, die über renderHTML erstellt wurde (incl. "fancy" CSS Animationen ;-) )

In dieser HTML Datei wird die Struktur der Web App festgelegt. Diese enthält neben reichlich HTML auch ein paar Zeilen Internal Javascript, mit dem sich die die Diagramme ein- und ausblenden lassen. Das wichtigste in dieser Datei ist jedoch die Funktionsweise, mit der die in der ui.R Datei die Variablen an das Template übergeben werden. Jede template.html muss im Kopf (<head> … /<head>) die Funktion {{ headContent() }} enthalten. Damit werden die für Shiny benötigte Depedencies beim Rendern geladen. Diese übrigen, in der ui.R Datei deklarierten Variablen, werden ebenfalls mittels zwei geschweiften Klammern an das Template übergeben.

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

body{

font-family: Arial, Helvetica, sans-serif;

font-size: 15px;

line-height: 1.5;

padding:0;

margin:0;

background-color:#f4f4f4;

}

/*Global*/

.container{

width: 80%;

margin:auto;

overflow:hidden;

}

ul{

margin:0;

padding:0;

}

header{

background:#35424a;

color:#ffffff;

padding-top:30px;

min-height:70px;

border-bottom:#e8491d 3px solid;

}

header #branding{

float:left;

}

header #branding h1{

animation-name: myanimation;

position: relative;

animation-duration: 4s;

}

@keyframes myanimation {

0% {top: -200px;}

100% {top: 0px;}

}

@keyframes myanimation2 {

0% {left: -1000px;}

100% {left: 0px;}

}

header .right h2{

padding-bottom: 20px;

animation-name: myanimation;

position: relative;

animation-duration: 4s;

}

header nav{

float:right;

margin-top:10px;

}

h2{

align-content:center;

}

#showcase{

background-color: #c5dee2;

background-size:cover;

background-position:center;

height:55vh;

display:flex;

flex-direction:column;

justify-content: center;

align-items:center;

text-align:center;

margin-bottom: 10px;

}

#showcase h1{

margin-top:30px;

font-size:30px;

margin-bottom:10px;

}

.btn{

display: inline-block;

background-color: black;

color:white;

text-decoration:None;

padding: 0.7rem 2rem;

padding-bottom:20px;

margin-right: 20px;

opacity: 0;

animation-name: button;

animation-duration: 2s;

animation-delay: 3s;

animation-fill-mode: forwards;

transition-property: transform;

transition-duration: 1s;

}

.btn:hover{

background-color:#e8491d;

color:white!important;

}

@keyframes button{

0% {opacity:0}

100% {opacity: 1}

}

footer{

background-color:#e8491d;

text-align: center;

margin-top:20px;

padding:20px;

color:#ffffff;

bottom:0;

}

p{

font-weight: bold;

}

Nun muss für das Styling der App nur doch eine CSS-Datei geladen werden. Wichtig ist zu beachten, dass externe CSS Dateien bei Shiny immer in einem gesonderten Ordner mit dem Namen „www“ abgespeichert werden müssen. Auf diesen Ordner wird in der HTML Datei nicht gesondert verwiesen. Es reicht der Verweis <link rel=’stylesheet’ href=’style.css’/>.

Für den Upload der Datei müssen server.R, ui.R und template.html auf einer Ebene liegen, während wie bereits erwähnt die CSS Datei in einem gesonderten Ordner namens „www“ abliegen muss.

Die Web App liegt unter folgendem Link ab: https://markuslang1987.shinyapps.io/CustomShiny/

Einiges an der App ist sicherlich Spielerei, der Artikel soll in erster Linie aber die Möglichkeiten zeigen, die man mit einem selbst erstellten HTML Template im Gegensatz zu den recht eingeschränkten Möglichkeiten der normalen Shiny Programmierung zur Verfügung hat. Außerdem möchte ich mit diesem Artikel zeigen, dass Webentwicklung und Data Science/Analytics nicht zwangsläufig komplett voneinander unabhängige Welten sind.

Unsupervised Learning in R: K-Means Clustering

May 15, 2017/in Data Mining, Data Science, Machine Learning, R Statistics, Statistics, Tutorial/by Markus Lang

Die Clusteranalyse ist ein gruppenbildendes Verfahren, mit dem Objekte Gruppen – sogenannten Clustern zuordnet werden. Die dem Cluster zugeordneten Objekte sollen möglichst homogen sein, wohingegen die Objekte, die unterschiedlichen Clustern zugeordnet werden möglichst heterogen sein sollen. Dieses Verfahren wird z.B. im Marketing bei der Zielgruppensegmentierung, um Angebote entsprechend anzupassen oder im User Experience Bereich zur Identifikation sog. Personas.

Es gibt in der Praxis eine Vielzahl von Cluster-Verfahren, eine der bekanntesten und gebräuchlichsten Verfahren ist das K-Means Clustering, ein sog. Partitionierendes Clusterverfahren. Das Ziel dabei ist es, den Datensatz in K Cluster zu unterteilen. Dabei werden zunächst K beliebige Punkte als Anfangszentren (sog. Zentroiden) ausgewählt und jedem dieser Punkte der Punkt zugeordnet, zu dessen Zentrum er die geringste Distanz hat. K-Means ist ein „harter“ Clusteralgorithmus, d.h. jede Beobachtung wird genau einem Cluster zugeordnet. Zur Berechnung existieren verschiedene Distanzmaße. Das gebräuchlichste Distanzmaß ist die quadrierte euklidische Distanz:

$D^2 = \sum_{i=1}^{v}(x_i - y_i)^2$

Nachdem jede Beobachtung einem Cluster zugeordnet wurde, wird das Clusterzentrum neu berechnet und die Punkte werden den neuen Clusterzentren erneut zugeordnet. Dieser Vorgang wird so lange durchgeführt bis die Clusterzentren stabil sind oder eine vorher bestimmte Anzahl an Iterationen durchlaufen sind.
Das komplette Vorgehen wird im Folgenden anhand eines künstlich erzeugten Testdatensatzes erläutert.

1

2

3

4

set.seed(123)

Alter <- c(24, 22, 28, 25, 41, 39, 35, 40, 62, 57, 60, 55)

Einkommen <- c(20000, 22000, 25000, 24000, 55000, 65000, 75000, 60000, 30000, 34000, 30000, 34000)

Daten <- as.data.frame(cbind(Alter, Einkommen))

Zunächst wird ein Testdatensatz mit den Variablen „Alter“ und „Einkommen“ erzeugt, der 12 Fälle enthält. Als Schritt des „Data preprocessing“ müssen zunächst beide Variablen standardisiert werden, da ansonsten die Variable „Alter“ die Clusterbildung zu stark beeinflusst.

1 2	Daten$Alter <- scale(Daten$Alter) Daten$Einkommen <- scale(Daten$Einkommen)

Das Ganze geplottet:

1

2

3

4

5

plot(Daten$Alter, Daten$Einkommen, col = "blue", pch = 19,

xlab = "Alter (scaled)",

ylab = "Einkommen (scaled)",

main = "Alter vs. Einkommen (scaled)")

Wie bereits eingangs erwähnt müssen Cluster innerhalb möglichst homogen und zu Objekten anderer Cluster möglichst heterogen sein. Ein Maß für die Homogenität die „Within Cluster Sums of Squares“ (WSS), ein Maß für die Heterogenität „Between Cluster Sums of Squares“ (BSS).

Diese sind beispielsweise für eine 3-Cluster-Lösung wie folgt:

1

2

3

4

5

6

7

8

KmeansObj <- kmeans(Daten, 3, nstart = 20)

KmeansObj$withinss # Within Cluster Sums of Squares (WSS)

KmeansObj$totss # Between Cluster Sums of Suqares (BSS)

> KmeansObj$withinss # Within Cluster Sums of Squares (WSS)

[1] 0.7056937 0.1281607 0.1792432

> KmeansObj$totss # Between Cluster Sums of Suqares (BSS)

[1] 22

Sollte man die Anzahl der Cluster nicht bereits kennen oder sind diese extern nicht vorgegeben, dann bietet es sich an, anhand des Verhältnisses von WSS und BSS die „optimale“ Clusteranzahl zu berechnen. Dafür wird zunächst ein leerer Vektor initialisiert, dessen Werte nachfolgend über die Schleife mit dem Verhältnis von WSS und WSS gefüllt werden. Dies lässt sich anschließend per „Screeplot“ visualisieren.

1

2

3

4

5

6

7

8

9

10

11

ratio <- vector()

for (k in 1:6) {

KMeansObj <- kmeans(Daten, k, nstart = 20)

ratio[k] <- KMeansObj$tot.withinss / KMeansObj$totss

}

plot(ratio, type = "b",

xlab = "Anzahl der Cluster",

ylab = "Ratio WSS/BSS",

main = "Screeplot für verschiedene Clusterlösungen",

col = "blue", pch = 19)

Die „optimale“ Anzahl der Cluster zählt sich am Knick der Linie ablesen (auch Ellbow-Kriterium genannt). Alternativ kann man sich an dem Richtwert von 0.2 orientieren. Unterschreitet das Verhältnis von WSS und BSS diesen Wert, so hat man die beste Lösung gefunden. In diesem Beispiel ist sehr deutlich, dass eine 3-Cluster-Lösung am besten ist.

1

2

3

4

5

6

KmeansObj <- kmeans(Daten, centers = 3, nstart = 20)

plot(Daten$Alter, Daten$Einkommen, col = KmeansObj$cluster, pch = 19, cex = 4,

xlab = "Alter (scaled)",

ylab = "Einkommen (scaled)",

main = "3-Cluster-Lösung")

points(KmeansObj$centers, col = 1:3, pch = 3, cex = 5, lwd = 5)

Fazit: Mit K-Means Clustering lassen sich schnell und einfach Muster in Datensätzen erkennen, die, gerade wenn mehr als zwei Variablen geclustert werden, sonst verborgen blieben. K-Means ist allerdings anfällig gegenüber Ausreißern, da Ausreißer gerne als separate Cluster betrachtet werden. Ebenfalls problematisch sind Cluster, deren Struktur nicht kugelförmig ist. Dies ist vor der Durchführung der Clusteranalyse mittels explorativer Datenanalyse zu überprüfen.

Tag Archive for: R Statistics

R-Workshops der TU Dortmund zu Strukturgleichungsmodelle und Mehrebenenanalysen

Webinar zum Statistikprogramm R

Anzeige

Hand Written Alphabet recognition Using Support Vector Machine

Data Preparation

Data Structure

Install the Dependency Packages for RStudio

Load the training data set

Feature Transformation

Support Vector Machine model

Evaluate the Model on the Testing Data Set

Einführung und Vertiefung in R Statistics mit den Dortmunder R-Kursen!

R Basiskurs

R Vertiefungskurs

Dortmunder R-Kurse | Neue Termine im Herbst 2019

A common trap when it comes to sampling from a population that intrinsically includes outliers

Bringing intelligence to where data lives: Python & R embedded in T-SQL

Introduction

How-To Tutorial

Basics

Parameter Introduction

Input/Output Data Types

Neues Weiterbildungsangebot zu Programmiersprache R an der TU Dortmund

Shiny Web Applikationen

MT Cars Datenanalyse

Dies ist ein renderHTML Beispiel

Input Gewicht

Optionen

Hier sind die verschiedenen Grafiken

Unsupervised Learning in R: K-Means Clustering

Tag Archive for: R Statistics

Nothing Found

Interesting links

Pages

Categories

Archive