Geschriebene Artikel über Big Data Analytics

Glorious career paths of a Big Data Professional

Are you wondering about the career profiles you may get to fill if you get into Big Data industry? If yes, then Bingo! This is the post that will inform you just about that. Big data is just an umbrella term. There are a lot of profiles and career paths that are covered under this umbrella term. Let us have a look at some of these profiles.

Data Visualisation Specialist

The process of visualizing data is turning out to be critical in guaranteeing information-driven representatives get the upfront investment required to actualize goal-oriented and significant Big Data extends in their organization. Making your data to tell a story and the craft of envisioning information convincingly has turned into a significant piece of the Big Data world and progressively associations need to have these capacities in-house. Besides, as a rule, these experts are relied upon to realize how to picture in different instruments, for example, Spotfire, D3, Carto, and Tableau – among numerous others. Information Visualization Specialists should be versatile and inquisitive to guarantee they stay aware of most recent patterns and answers for a recount to their information stories in the most intriguing manner conceivable with regards to the board room. 

 

Big Data Architect

This is the place the Hadoop specialists come in. Ordinarily, a Big Data planner tends to explicit information issues and necessities, having the option to portray the structure and conduct of a Big Data arrangement utilizing the innovation wherein they practice – which is, as a rule, mostly Hadoop.

These representatives go about as a significant connection between the association (and its specific needs) and Data Scientists and Engineers. Any organization that needs to assemble a Big Data condition will require a Big Data modeler who can serenely deal with the total lifecycle of a Hadoop arrangement – including necessity investigation, stage determination, specialized engineering structure, application plan, and advancement, testing the much-dreaded task of deploying lastly.

Systems Architect 

This Big data professional is in charge of how your enormous information frameworks are architected and interconnected. Their essential incentive to your group lies in their capacity to use their product building foundation and involvement with huge scale circulated handling frameworks to deal with your innovation decisions and execution forms. You’ll need this individual to construct an information design that lines up with the business, alongside abnormal state anticipating the improvement. The person in question will consider different limitations, adherence to gauges, and varying needs over the business.

Here are some responsibilities that they play:

    • Determine auxiliary prerequisites of databases by investigating customer tasks, applications, and programming; audit targets with customers and assess current frameworks.
    • Develop database arrangements by planning proposed framework; characterize physical database structure and utilitarian abilities, security, back-up and recuperation particulars.
    • Install database frameworks by creating flowcharts; apply ideal access methods, arrange establishment activities, and record activities.
    • Maintain database execution by distinguishing and settling generation and application advancement issues, figuring ideal qualities for parameters; assessing, incorporating, and putting in new discharges, finishing support and responding to client questions.
    • Provide database support by coding utilities, reacting to client questions, and settling issues.


Artificial Intelligence Developer

The certain promotion around Artificial Intelligence is additionally set to quicken the number of jobs publicized for masters who truly see how to apply AI, Machine Learning, and Deep Learning strategies in the business world. Selection representatives will request designers with broad learning of a wide exhibit of programming dialects which loan well to AI improvement, for example, Lisp, Prolog, C/C++, Java, and Python.

All said and done; many people estimate that this popular demand for AI specialists could cause a something like what we call a “Brain Drain” organizations poaching talented individuals away from the universe of the scholarly world. A month ago in the Financial Times, profound learning pioneer and specialist Yoshua Bengio, of the University of Montreal expressed: “The industry has been selecting a ton of ability — so now there’s a lack in the scholarly world, which is fine for those organizations. However, it’s not extraordinary for the scholarly world.” It ; howeverusiasm to perceive how this contention among the scholarly world and business is rotated in the following couple of years.

Data Scientist

The move of Big Data from tech publicity to business reality may have quickened, yet the move away from enrolling top Data Scientists isn’t set to change in 2020. An ongoing Deloitte report featured that the universe of business will require three million Data Scientists by 2021, so if their expectations are right, there’s a major ability hole in the market. This multidisciplinary profile requires specialized logical aptitudes, specialized software engineering abilities just as solid gentler abilities, for example, correspondence, business keenness, and scholarly interest.

Data Engineer

Clean and quality data is crucial in the accomplishment of Big Data ventures. Consequently, we hope to see a lot of opening in 2020 for Data Engineers who have a predictable and awesome way to deal with information transformation and treatment. Organizations will search for these special data masters to have broad involvement in controlling data with SQL, T-SQL, R, Hadoop, Hive, Python and Spark. Much like Data Scientists. They are likewise expected to be innovative with regards to contrasting information with clashing information types with have the option to determine issues. They additionally frequently need to make arrangements which enable organizations to catch existing information in increasingly usable information groups – just as performing information demonstrations and their modeling.

IT/Operations Manager Job Description

In Big data industry, the IT/Operations Manager is a profitable expansion to your group and will essentially be in charge of sending, overseeing, and checking your enormous information frameworks. You’ll depend on this colleague to plan and execute new hardware and administrations. The person in question will work with business partners to comprehend the best innovation ventures to address their procedures and concerns—interpreting business necessities to innovation plans. They’ll likewise work with venture chiefs to actualize innovation and be in charge of effective progress and general activities.

Here are some responsibilities that they play:

  • Manage and be proactive in announcing, settling and raising issues where required 
  • Lead and co-ordinate issue the executive’s exercises, notwithstanding ceaseless procedure improvement activities  
  • Proactively deal with our IT framework 
  • Supervise and oversee IT staffing, including enrollment, supervision, planning, advancement, and assessment
  • Verify existing business apparatuses and procedures remain ideally practical and worth included 
  • Benchmark, dissect, report on and make suggestions for the improvement and development of the IT framework and IT frameworks 
  • Advance and keep up a corporate SLA structure

Conclusion

These are some of the best career paths that big data professionals can play after entering the industry. Honesty and hard work can always take you to the zenith of any field that you choose to be in. Also, keep upgrading your skills by taking newer certifications and technologies. Good Luck 

Programmierung für OttoNormalVerbraucher

Facebook und Co. arbeiten daran Nachrichten so aufzubereiten, dass sie emotional noch mehr ansprechen, als ob die gesellschaftliche Situation nicht schon aufgeheizt genug ist. Wir arbeiten daran dem Endnutzer Werkzeuge bereitzustellen um seine rationale Urteilskraft mit Hilfe des Computers zu stärken. Dafür benötigt man möglichst einfache aber dennoch leistungsstarke Programmiersprachen und umfangreiche, vertrauenswürdige, öffentlich zugängliche Informationen in Form von vielgestaltigen großen Tabellen und Dokumenten ähnlich der Wikipedia. 

Auch wenn die entwickelte Sprache so einfach wie möglich ist, wird sie im Gegensatz zum Facebookansatz einen gewissen Lernaufwand erfordern. 

Eine solche Programmiersprache in Kombination mit vertrauensvollen Daten könnte ein großer Schritt in Richtung einer weiteren Demokratisierung der Gesellschaft werden. Viele Falschnachrichten könnten leicht von jedermann durch entsprechende Fakten oder statistischen Auswertungen paralysiert werden. 

Vielleicht kann man die Schaffung einer solchen Programmiersprache mit der Schaffung des ersten Alphabets durch die Phönizier oder der Schaffung des ersten Alphabets mit Vokalen durch die Griechen vergleichen. Hätten diese Völker solche Leistungen vollbringen können ohne diese Voraussetzungen. Ich vermute ohne dieses Alphabet hätte es keine griechische Wissenschaft und Kultur gegeben; vielleicht auch keine griechische Demokratie.  

Entwurfskriterien für eine solche Sprache:

  1. Eine mathematische Fundierung ist erforderlich.
  2. Methodisch-didaktische und pragmatische Fragen stehen zunächst vor Effizienzproblemen.
  3. Kurze, lesbare Programme; die wichtigsten Schlüsselworte sollten kurz sein
  4. Einfache, unstrukturierte Programme; Schleifen und allgemeine Rekursionen führen häufig zu schwer lesbaren und schwer änderbaren Programmen; 
  5. Universelle Anwendbarkeit; sie muss nicht nur für Relationen (flache einfache Tabellen) sondern auch für strukturierte Tabellen und Dokumente nutzbar sein; sie muss nicht nur für Anfragen an die wichtigsten Systeme sondern auch für vielfältige Berechnungen geeignet sein
  6. Um im Schulunterricht einsetzbar zu sein, muss sie die verschiedenen mathematische Teilgebiete unterstützen, sowie Nutzen für die anderen Fächer bieten
  7. Sie sollte so mächtig sein, dass sie andere Systeme und Sprachen wie Tabellenkalkulation und SQL ersetzen kann. 
  8. Aus Endnutzersicht darf es nur ein einheitliches System mit einheitlicher Syntax (Schreibweise) für die Verarbeitung von Massendaten geben, genau wie die Operationen der Einzeldatenverarbeitung (+ – * 🙂 standardisiert sind. 

 

Einführung in o++o: 

A. Merkel „Jeder Schüler soll neben lesen, rechnen und schreiben auch programmieren können.“ 

o++o (ausführlich ottoPS) ist eine tabellenorientierte Programmiersprache mit funktionalen Möglichkeiten, die auf Schleifen verzichtet. Dennoch ist o++o sehr ausdrucksstark und man kann mit ihr nicht nur kompakte Anfragen sondern auch vielfältige Berechnungen für strukturierte Tabellen und strukturierte Dokumente bewerkstelligen.

o++o benutzt viele mathematische Konzepte, daher sehen wir die Hauptvorteile der Vermittlung im Mathematikunterricht, genau wie die wesentlichen Fähigkeiten für die Nutzung des Taschenrechners in Mathematik vermittelt werden. o++o verwendet insbesondere folgende Konzepte: Kollektion (Menge, Multimenge, Liste); Gleichheit und Inklusionsbeziehungen dieser; Tupel; leistungsfähige Operationen zum Selektieren; Berechnen; Restrukturieren; Sortieren und Aggregieren (Summe; Durchschnitt; …),… .

Tabellenkalkulationsprogramme wie EXCEL und die Datenbankstandardabfragesprache SQL kennen keine strukturierten Schemen und Tabellen. Erste Tests mit Vorschulkindern lassen vermuten, dass man mit strukturierten Tabellen leichter rechnen kann als mit Dezimalzahlen. Wir wollen einige o++o-Beispielprogramme anfügen:

1. Berechne den Wert eines einfachen Terms.

2*3+4

* und + haben jeweils 2 Inputwerte. Zunächst wird 2*3 (6) berechnet. Die 6 ist erster Inputwert von +, so dass sich insgesamt 24 ergibt. Hier wird also einfach von links nach rechts gerechnet.

 

2. Schreibe den Term cos³(sin²(3.14159)) in o++o.

pi sin hoch 2 cos hoch 3

 

Unserer Meinung nach ist der Ausgangsterm für Otto Normalverbraucher schwer zu lesen. Man beginnt mit pi geht nach links bis zum sin dann nach rechts zum hoch 2 jetzt bewegt man sich wieder nach links zum cos und abschließend nach rechts zum hoch 3. Diese Schreibweise wurde sicher eingeführt um Klammern zu sparen. Eigentlich müsste der Ausgangsterm um unmissverständlich zu sein, folgendes Aussehen haben: 

(cos((sin(3.14159))²))³ 

Das ist sicher noch schwerer zu lesen und man bewegt sich noch mehr von links nach rechts und umgekehrt. 

 

3. Schreibe den Term sin²(x)+cos³(y)  in o++o.

X sin hoch 2 + (Y cos hoch 3) 

oder 

X sin hoch 2

+ Y cos hoch 3

Man könnte alle Terme in o++o ohne Klammern schreiben, allerdings müssten dann bestimmte Terme mehrzeilig geschrieben werden.  

 

4. Wie berechnet man den Term 2+3:4*5 ?

2+(3:(4*5))=2 3/20

2+((3:4)*5)=5 ¾

o++o: ((2+3):4)*5=6 1/4

 

Man erkennt, dass man mit der Schulweisheit Punktrechnung geht vor Strichrechnung noch nicht auskommt. Man benötigt die Regel „von links nach rechts“ zusätzlich.

 

5. Berechne den Durchschnitt mehrerer Noten.

1 2 3 1 2 ++:

 

Vom methodischen Standpunkt kann man dieses Programm noch verbessern, indem man die Klammern für Listen hinzufügt: [1 2 3 1 2] ++:

Man erkennt jetzt, dass die Durchschnittsoperation ++: einen Inputwert, nämlich eine Liste besitzt und dass ++: diesem einen Inputwert nachgestellt wird. Da die Nutzer in der Regel nicht viel tippen wollen, gehen wir davon aus, dass die erste Notation in Praxis häufiger benutzt werden wird.

 

6. Berechne die Durchschnitte einer strukturierten Tabelle noten.tab für jedes Fach.

noten.tab

DUR:=NOTEl ++:

noten.tab könnte so aussehen:

FACH,NOTEl l
Ma 1 2 1 3 1 2
Phy 4 3 2 2 1

 

Hierbei kürzt l Liste ab. D.h., noten.tab ist eine einfache strukturierte Tabelle (Liste), die zu jedem Fach eine Liste von Noten enthält. Um Platz zu sparen, wählen wir auch hier die methodisch nicht optimale Darstellung. Wie FACH ist auch NOTE ein Spaltenname, so dass noten.tab eigentlich so dargestellt werden müsste:

FACH,NOTEl l

Ma     1
    2
    1
    3
    1
    2
Phy     4
    3
    2
    2
    1

 

Das Ergebnis der Anfrage wieder im „tab-Format“:

FACH, DUR, NOTEl l
Ma 1.66666666667 1 2 1 3 1 2
Phy 2.4 4 3 2 2 1

7. Bilde die Summe der Zahlen von 1 bis 100 (Aufgabe von Gauß Klasse 5).

1 .. 100 ++

Wie die Addition und die Multiplikation besitzt  .. zwei Inputwerte (1 und 100). Als Zwischenergebnis entsteht die Liste

ZAHLl
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43
44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63
64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83
84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100

,deren Zahlen dann aufsummiert werden, so dass sich 5050 ergibt. 

 

8. Berechne näherungsweise das Maximum der Sinus-Funktion im Intervall [1 2].

1 … 2!0.001 sin max 

… benötigt 3 Inputwerte: 1. den Anfangswert 1, den Endwert 2 und die Schrittweite 0.001. Es entstehen hierbei die Zahlen 1 1.001 1.002 1.003 …1.999 2.

Auf jede der Zahlen wird die Sinusfunktion angewandt, sodass wieder 1001 Zahlen entstehen. Auf diese Liste wird dann die Funktion max (Maximum) angewandt. Obwohl es sich hierbei um ein Näherungsverfahren handelt, kommt der exakte Wert 1 heraus, wenn die Schrittweite weiter verfeinert wird. sin und max haben jeweils einen Inputwert (hier eine Liste) aber der Outputwert von sin ist wieder eine Liste und max erzeugt lediglich eine Zahl, da es sich hier um eine Aggregationsfunktion handelt. Der zweite und der dritte Inputwert einer dreistelligen Operation (oben  …) wird jeweils durch ein „!“ getrennt. Das ist in o++o nötig, da das Komma für die Paarbildung bereits vergeben ist und das Leerzeichen bereits Listenelemente trennt. 

 

9. Berechne näherungsweise das Minimum des Polynoms X³ + 4 X² -3 X+2 im Intervall [0 2] mit zugehörigem X-Wert.

[X! 0 … 2!0.001] 

Y:= X polynom [1 4 -3 2] 

MINI:= Yl min

avec Y = MINI

avec ist französisch und bezeichnet eine Selektion. Ein konkretes Polynom von einer Variablen X  hat stets nur einen Inputwert, der für X eingesetzt wird. polynom in Zeile 2 ist dagegen allgemeiner und hat 2 Inputwerte: 

  1. Den Inputwert für X, der hier alle Zahlen, die in der ersten Zeile generiert wurden, annimmt.
  2. Eine Liste von Zahlen, die den Koeffizienten des konkreten Polynoms entspricht.

Durch die ersten Zeile entsteht eine Liste von Zahlen, die alle den Namen X bekommen haben. Das erkennt man am besten in der xml bzw. ment-Repräsentation:

<X>0.</X>

<X>0.001</X>

<X>0.002</X>

Gesamtergebnis:
MINI,             (X,      Y                  l)

1.481482037 0.333 1.481482037

 

10. Berechne eine Nullstelle der Cosinus Funktion im Intervall [1 2] näherungsweise.

[X! 1 … 2!0.0001]

avec X cos < 0

avec X pos = 1  

Hier verbleiben nach der ersten Selektion nur die X-Werte mit Funktionswert kleiner 0. Von diesen wird im zweiten Schritt der erste Wert ausgewählt. Da wir wissen, dass cos nur eine Nullstelle im betrachteten Intervall besitzt, wird diese durch das Ergebnis angenähert. pos kürzt Position ab, so dass das erste Paar der verbliebenen Paare selektiert wird. 

11. Berechne das Gesamtwachstum, wenn 5 Jahreswachstumszahlen gegeben sind. Runde das Ergebnis auf eine Stelle nach dem Komma.

[W! 0 1.5 2.1 1.3 0.4 1.2]

ACCU:= first 100. next ACCU pred *(W:100+1) at W

rnd 1

Die Ergebnistabelle:

[W! 0 1.5 2.1 1.3 0.4 1.2]
ACCU:= first 100. next ACCU pred *(W:100+1) at W
rnd 1
Die Ergebnistabelle:
W, ACCU l
0. 100.
1.5 101.5
2.1 103.6
1.3 105.
0.4 105.4
1.2 106.7

Der erste ACCU-Wert ergibt sich durch den Ausdruck hinter first (100.). Für den zweiten Wert wird für ACCU pred der Wert 100. eingesetzt und der Term nach next bewertet. Es ergibt sich 101.5. Diese Zahl wird wieder in ACCU pred eingesetzt und der next-Term erneut berechnet (rund 103.6),…  bis der letzte W-Wert erreicht ist. pred ist der predecessor (Vorgänger).

 

12. Berechne die Fläche unter der Sinuskurve im Intervall [0, pi] näherungsweise.

0 … pi!0.0001 sin* 0.0001 ++

Hierbei werden nacheinander alle Zahlen zwischen 0 und pi generiert, dann von jeder Zahl der Sinus berechnet und anschließend jede Zahl mit 0.0001 multipliziert. Es entstehen 31415 Rechteckflächen, die abschließend addiert werden.

 

13. Berechne den DurchschnittsBMI pro Alter und den BMI pro Person und Alter für alle Personen über 20.

<TAB!
NAME, LAENGE, (ALTER, GEWICHT l) l
Klaus 1.68     18      61
30     65
56     80
Rolf 1.78         40     72
Kathi 1.70       18      55
40     70
Walleri 1.00      3      16
Viktoria 1.61      13      51
Bert 1.72      18      66
30     70
!TAB>

avec NAME! 20&lt;ALTER
BMI:= GEWICHT : LAENGE : LAENGE
gib ALTER,BMIAVG,(NAME,BMI m) m BMIAVG:= BMI ! ++:
rnd 2 #rundet alle Zahlen der Tabelle auf 2 Stellen nach dem Punkt

Die TAB-Klammern deuten an, dass die eingeschlossenen Daten der TAB-Darstellung entsprechen. 

Die obige Bedingung selektiert Personen-Sätze, d.h. NAME,LAENGE,(ALTER,GEWICHT l) Tupel (strukturierte Tupel bzw. Strupel). Da eine Personen mehrere ALTER-Angaben besitzt, muss quantifiziert werden. NAME! 20 <ALTER selektiert demnach alle Personen, die einen entsprechenden Alterseintrag besitzen. D.h., der Existenzquantor wird nicht geschrieben, gehört aber zu jeder Bedingung.  In diesem kleinen Beispiel könnte man die Selektion natürlich auch per Hand realisieren.

Resultat:

ALTER, BMIAVG, (NAME, BMI  m) m

18     20.98   Bert 22.31

                       Kathi 19.03

                       Klaus 21.61

30     23.35   Bert 23.66

                       Klaus 23.03

40     23.47   Kathi 24.22

                       Rolf  22.72

56     28.34   Klaus 28.34

Das Endergebnis kann beispielsweise durch einfaches Klicken als Säulendiagramm dargestellt werden. Das Beispiel zeigt, dass man eine Hierarchie einfach durch Angabe des gewünschten Schemas umkehren kann. Im Ergebnis ist der Name dem Alter untergeordnet.

 Es wird insbesondere deutlich, dass die Aufgaben ohne Kenntnisse der Differential- und Integral-rechnung gelöst werden können. Mit o++o kann der Mathematikunterricht in vielfältiger Weise unterstützt werden. Das reicht von Klasse 7 oder tiefer bis zur Klassenstufe 12. Es betrifft: Rechnen mit natürlichen Zahlen, Dezimalzahlen, näherungsweise Berechnung von Nullstellen beliebiger Funktionen, Ableitung, Flächen unter Kurven, Extremwerte (kann wahrscheinlich bereits in der Sekundarschule gelehrt werden), Wahrscheinlichkeitsrechnung, … . Mit o++o können Dinge in einfacher Weise berechnet werden, die sonst nur theoretisch abgehandelt werden. Dadurch kann das Verständnis der Konzepte wesentlich verbessert, erweitert und vertieft werden. Weitere Informationen zu o++o finden Sie unter ottops.de (Z.B. „o++o auf 8 Seiten“ ist eine kurze Einführung).

Wir glauben, dass o++o besondere Vorteile für den Mathematik- und Informatikunterricht bietet aber auch in den anderen Fächern sinnvoll genutzt werden kann.

Treffen Sie bessere Entscheidungen

Entscheidungen prägen unseren Alltag, dies beginnt schon bei der Frage, was man anziehen oder essen soll. Andere hingegen mögen auf den ersten Blick unbedeutend erscheinen, können das Leben aber gravierend verändern, wie beispielsweise die Entscheidung, ob die Überquerung einer Straße sicher ist. Je größer die relative Macht eines Entscheidungsträgers ist, desto größer ist natürlich auch die Auswirkung seiner Entscheidungen.

Auch der Unternehmensalltag ist geprägt durch Entscheidungen. Tatsächlich kann man ein Unternehmen als die Summe großer und kleiner Entscheidungen betrachten: Welche neuen Märkte erschlossen werden sollen, über die nächste große Werbekampagne bis hin zur Wandfarbe für das neue Büro. Im Idealfall wäre jede einzelne Entscheidung innerhalb einer Organisation Teil einer konsistenten, kohärenten Unternehmensstrategie.

Leider ist eine derartige Konsistenz für viele Unternehmen schwer umsetzbar. Den Überblick darüber zu behalten, was in der gestrigen Sitzung beschlossen wurde, geschweige denn vor Wochen, Monaten oder gar Jahren, kann schwierig sein. Die Erkennung, Kategorisierung und Standardisierung der Entscheidungsfindung kann daher eine Möglichkeit sein, diese Herausforderung zu meistern.

Strategische, taktische und operative Entscheidungen

Grundsätzlich gibt es in einem Unternehmen drei Entscheidungsebenen: Strategische Entscheidungen haben einen großen Einfluss auf das gesamte Unternehmen, wie bspw. Fusionen und Übernahmen oder die Aufgabe eines leistungsschwachen Geschäftsbereichs. Taktische Entscheidungen werden zu bestimmten Themen getroffen, z. B. wo und wie eine Marketingkampagne durchgeführt werden soll.

Und schließlich gibt es noch die operativen Entscheidungen, auf die jeder Mitarbeiter täglich in jedem Unternehmen trifft: Beispielsweise wie viele Treuepunkte ein Kunde erhält, bei welchem ​​Lieferanten Materialien und Dienstleistungen gekauft werden oder ob ein Kunde einen Kredit erhält. Millionen dieser Entscheidungen werden jeden Tag getroffen.

Der kumulative Effekt dieser operativen Entscheidungen hat einen enormen Einfluss auf die geschäftliche Leistung eines Unternehmens. Nicht unbedingt in dem Maße wie sich strategische oder taktische Entscheidungen auswirken, aber sie nehmen Einfluss darauf, wie reibungslos und effektiv die Dinge innerhalb des Unternehmens tatsächlich erledigt werden.

Risiken einer schlechten Entscheidungsfindung

Auf operativer Ebene können sich selbst kleine Entscheidungen erheblich auf das gesamte Unternehmen auswirken – vor allem dann, wenn sich diese Entscheidungen wiederholen. In vielen Fällen bedeutet dies:

  • Compliance-Verstöße: Mitarbeiter und Systeme wissen nicht, was das Management erwartet, oder welches das richtige Verfahren ist. Mit der Zeit kann dies dazu führen, dass Richtlinien generell nicht eingehalten werden.
  • Weniger Agilität: Unkontrolliert oder unstrukturiert getroffene Entscheidungen lassen sich nur schwer ändern, um schnell auf neue interne oder externe Umstände reagieren zu können.
  • Reduzierte Genauigkeit: Ohne einen klaren Entscheidungsrahmen können sich unklar und unpräzise ausgerichtete Prozesse und Praktiken weiterverbreiten.
  • Mangelnde Transparenz: Mitarbeiter und Management können möglicherweise die Faktoren nicht erkennen und verstehen, die jedoch für eine effektive Entscheidungsfindung zu berücksichtigen sind.
  • Zunehmende Nichteinhaltung gesetzlicher Vorschriften: Viele Entscheidungen betreffen Themen wie Steuern, Finanzen und Umwelt, sodass falsch getroffene Entscheidungen zu potenziellen Verstößen gegen Gesetze und Vorschriften und damit letztlich zu Straf- und Rechtskosten führen können.

Diese Risiken können sich wiederholen, wenn Entscheidungen nicht prozessbasiert, sondern aus dem Bauch heraus getroffen werden oder wenn Entscheidungsträger erst Anwendungsfälle, Berichte und Prozesse durchsuchen müssen.

Treffen Sie bessere Entscheidungen

Die richtige Entscheidung zur richtigen Zeit zu treffen, ist für den Geschäftserfolg entscheidend; doch nur wenige Unternehmen verwalten ihre Entscheidungen als separate Instanzen. Die meisten Unternehmen nutzen KPIs oder Ähnliches, um die Auswirkungen ihrer Entscheidungen zu messen, statt die eigentlichen Entscheidungsprozesse im Vorfeld zu definieren.

Hier kommt Business Decision Management (BDM) ins Spiel, mit dem Entscheidungen identifiziert, katalogisiert und modelliert werden können – insbesondere die bereits genannten operativen Entscheidungen. BDM kann zudem ihre Auswirkungen auf die Leistung quantifizieren und Metriken und Schlüsselindikatoren für die Entscheidungen erstellen.

Mit einem effektiven BDM-Ansatz und der Decision Model and Notation (DMN) können Unternehmen Modelle zur Entscheidungsfindung erstellen. DMN bietet ein klares, benutzerfreundliches Notationssystem, das Geschäftsentscheidungen einschließlich der zugrunde liegenden Richtlinien und Daten beschreibt.

Bessere Entscheidungen mit Signavio

Die Signavio Business Transformation Suite unterstützt nicht nur den DMN-Standard, sondern auch den Aufbau einer umfassenden Umgebung zur kollaborativen Ermittlung, Verwaltung und Verbesserung Ihrer Entscheidungen.

Mit dem Signavio Process Manager können Sie Entscheidungen über mehrere Geschäftsbereiche hinweg standardisieren, replizieren und wiederverwenden und diese Entscheidungen mit Ihren Geschäftsprozessen verknüpfen. Der Signavio Process Manager ermöglicht es Ihren Mitarbeitern, stets die beste Entscheidung für ihre Arbeit zu treffen – egal, wie komplex die Aufgaben sind.

Profitieren Sie von den vielen Vorteilen wie verbesserte Leistung und geringere Risiken und trennen Sie die Entscheidungsfindung von unklaren Prozessen und unsicheren Technologien. Registrieren Sie sich noch heute für eine kostenlose 30-Tage-Testversion und lernen Sie die Signavio Business Transformation Suite und ihre Vorteile kennen. Mehr zum Thema lesen Sie in unserem kostenlosen Whitepaper.

Visual Question Answering with Keras – Part 2: Making Computers Intelligent to answer from images

Making Computers Intelligent to answer from images

This is my second blog on Visual Question Answering, in the last blog, I have introduced to VQA, available datasets and some of the real-life applications of VQA. If you have not gone through then I would highly recommend you to go through it. Click here for more details about it.

In this blog post, I will walk through the implementation of VQA in Keras.

You can download the dataset from here: https://visualqa.org/index.html. All my experiments were performed with VQA v2 and I have used a very tiny subset of entire dataset i.e all samples for training and testing from the validation set.

Table of contents:

  1. Preprocessing Data
  2. Process overview for VQA
  3. Data Preprocessing – Images
  4. Data Preprocessing through the spaCy library- Questions
  5. Model Architecture
  6. Defining model parameters
  7. Evaluating the model
  8. Final Thought
  9. References

NOTE: The purpose of this blog is not to get the state-of-art performance on VQA. But the idea is to get familiar with the concept. All my experiments were performed with the validation set only.

Full code on my Github here.


1. Preprocessing Data:

If you have downloaded the dataset then the question and answers (called as annotations) are in JSON format. I have provided the code to extract the questions, annotations and other useful information in my Github repository. All extracted information is stored in .txt file format. After executing code the preprocessing directory will have the following structure.

All text files will be used for training.

 

2. Process overview for VQA:

As we have discussed in previous post visual question answering is broken down into 2 broad-spectrum i.e. vision and text.  I will represent the Neural Network approach to this problem using the Convolutional Neural Network (for image data) and Recurrent Neural Network(for text data). 

If you are not familiar with RNN (more precisely LSTM) then I would highly recommend you to go through Colah’s blog and Andrej Karpathy blog. The concepts discussed in this blogs are extensively used in my post.

The main idea is to get features for images from CNN and features for the text from RNN and finally combine them to generate the answer by passing them through some fully connected layers. The below figure shows the same idea.

 

I have used VGG-16 to extract the features from the image and LSTM layers to extract the features from questions and combining them to get the answer.

3. Data Preprocessing – Images:

Images are nothing but one of the input to our model. But as you already may know that before feeding images to the model we need to convert into the fixed-size vector.

So we need to convert every image into a fixed-size vector then it can be fed to the neural network. For this, we will use the VGG-16 pretrained model. VGG-16 model architecture is trained on millions on the Imagenet dataset to classify the image into one of 1000 classes. Here our task is not to classify the image but to get the bottleneck features from the second last layer.

Hence after removing the softmax layer, we get a 4096-dimensional vector representation (bottleneck features) for each image.

Image Source: https://www.cs.toronto.edu/~frossard/post/vgg16/

 

For the VQA dataset, the images are from the COCO dataset and each image has unique id associated with it. All these images are passed through the VGG-16 architecture and their vector representation is stored in the “.mat” file along with id. So in actual, we need not have to implement VGG-16 architecture instead we just do look up into file with the id of the image at hand and we will get a 4096-dimensional vector representation for the image.

4. Data Preprocessing through the spaCy library- Questions:

spaCy is a free, open-source library for advanced Natural Language Processing (NLP) in Python. As we have converted images into a fixed 4096-dimensional vector we also need to convert questions into a fixed-size vector representation. For installing spaCy click here

You might know that for training word embeddings in Keras we have a layer called an Embedding layer which takes a word and embeds it into a higher dimensional vector representation. But by using the spaCy library we do not have to train the get the vector representation in higher dimensions.

 

This model is actually trained on billions of tokens of the large corpus. So we just need to call the vector method of spaCy class and will get vector representation for word.

After fitting, the vector method on tokens of each question will get the 300-dimensional fixed representation for each word.

5. Model Architecture:

In our problem the input consists of two parts i.e an image vector, and a question, we cannot use the Sequential API of the Keras library. For this reason, we use the Functional API which allows us to create multiple models and finally merge models.

The below picture shows the high-level architecture idea of submodules of neural network.

After concatenating the 2 different models the summary will look like the following.

The below plot helps us to visualize neural network architecture and to understand the two types of input:

 

6. Defining model parameters:

The hyperparameters that we are going to use for our model is defined as follows:

If you know what this parameter means then you can play around it and can get better results.

Time Taken: I used the GPU on https://colab.research.google.com and hence it took me approximately 2 hours to train the model for 5 epochs. However, if you train it on a PC without GPU, it could take more time depending on the configuration of your machine.

7. Evaluating the model:

Since I have used the very small dataset for performing these experiments I am not able to get very good accuracy. The below code will calculate the accuracy of the model.

 

Since I have trained a model multiple times with different parameters you will not get the same accuracy as me. If you want you can directly download mode.h5 file from my google drive.

 

8. Final Thoughts:

One of the interesting thing about VQA is that it a completely new field. So there is absolutely no end to what you can do to solve this problem. Below are some tips while replicating the code.

  1. Start with a very small subset of data: When you start implementing I suggest you start with a very small amount of data. Because once you are ready with the whole setup then you can scale it any time.
  2. Understand the code: Understanding code line by line is very much helpful to match your theoretical knowledge. So for that, I suggest you can take very few samples(maybe 20 or less) and run a small chunk (2 to 3 lines) of code to get the functionality of each part.
  3. Be patient: One of the mistakes that I did while starting with this project was to do everything at one go. If you get some error while replicating code spend 4 to 5 days harder on that. Even after that if you won’t able to solve, I would suggest you resume after a break of 1 or 2 days. 

VQA is the intersection of NLP and CV and hopefully, this project will give you a better understanding (more precisely practically) with most of the deep learning concepts.

If you want to improve the performance of the model below are few tips you can try:

  1. Use larger datasets
  2. Try Building more complex models like Attention, etc
  3. Try using other pre-trained word embeddings like Glove 
  4. Try using a different architecture 
  5. Do more hyperparameter tuning

The list is endless and it goes on.

In the blog, I have not provided the complete code you can get it from my Github repository.

9. References:

  1. https://blog.floydhub.com/asking-questions-to-images-with-deep-learning/
  2. https://tryolabs.com/blog/2018/03/01/introduction-to-visual-question-answering/
  3. https://github.com/sominwadhwa/vqamd_floyd

6 Important Reasons for the Java Experts to learn Hadoop Skills

You must be well aware of the fact that Java and Hadoop Skills are in high demand these days. Gone are the days when advancement work moved around Java and social database. Today organizations are managing big information. It is genuinely big. From gigabytes to petabytes in size and social databases are exceptionally restricted to store it. Additionally, organizations are progressively outsourcing the Java development jobs to different groups who are as of now having big data experts.

Ever wondered what your future would have in store for you if you possess Hadoop as well as Java skills? No? Let us take a look. Today we shall discuss the point that why is it preferable for Java Developers to learn Hadoop.

Hadoop is the Future Java-based Framework that Leads the Industry

Data analysis is the current marketing strategy that the companies are adopting these days. What’s more, Hadoop is to process and comprehend all the Big Data that is generated all the time. As a rule, Hadoop is broadly utilized by practically all organizations from big and small and in practically all business spaces. It is an open-source stage where Java owes a noteworthy segment of its success

The processing channel of Hadoop, which is MapReduce, is written in Java. Thus, a Hadoop engineer needs to compose MapReduce contents in Java for Big data analysis. Notwithstanding that, HDFS, which is the record arrangement of Hadoop, is additionally Java-based programming language at its core. Along these lines, a Hadoop developer needs to compose documents from local framework to HDFS through deployment, which likewise includes Java programming.

Learn Hadoop: It is More Comfortable for a Java Developer

Hadoop is more of an environment than a standalone innovation. Also, Hadoop is a Java-based innovation. Regardless of whether it is Hadoop 1 which was about HDFS and MapReduce or Hadoop2 biological system that spreads HDFS, Spark, Yarn, MapReduce, Tez, Flink, Giraph, Storm, JVM is the base for all. Indeed, even a portion of the broadly utilized programming languages utilized in a portion of the Hadoop biological system segments like Spark is JVM based. The run of the mill models is Scala and Clojure.

Consequently, if you have a Java foundation, understanding Hadoop is progressively easier for you. Also, here, a Hadoop engineer needs Java programming information to work in MapReduce or Spark structure. Thus, if you are as of now a Java designer with a logical twist of the brain, you are one stage ahead to turn into a Hadoop developer.

IT Industry is looking for Professionals with Java and Hadoop Skills

If you pursue the expected set of responsibilities and range of abilities required for a Hadoop designer in places of work, wherever you will watch the reference of Java. As Hadoop needs solid Java foundation, from this time forward associations are searching for Java designers as the best substitution for Hadoop engineers. It is savvy asset usage for organizations as they don’t have to prepare Java for new recruits to learn Hadoop for tasks.

Nonetheless, the accessible market asset for Hadoop is less. Therefore, there is a noteworthy possibility for Java designers in the Hadoop occupation field. Henceforth, as a Java designer, on the off chance that you are not yet arrived up in your fantasy organization, learning Hadoop, will without a doubt help you to discover the chance to one of your top picks.

Combined Java and Hadoop Skills Means Better Pay Packages

You will be progressively keen on learning Hadoop on the off chance that you investigate Gartner report on big information industry. According to the report, the Big Data industry has just come to the $50 billion points. Additionally, over 64% of the main 720 organizations worldwide are prepared to put resources into big information innovation. Notwithstanding that when you are a mix of a Java and Hadoop engineer, you can appreciate 250% pay climb with a normal yearly compensation of $150,000.It is about the yearly pay of a senior Hadoop developer.

Besides, when you change to Big Data Hadoop, it very well may be useful to improve the nature of work. You will manage unpredictable and greater tasks. It does not just give you a better extension to demonstrate your expertise yet, in addition, to set up yourself as a profitable asset who can have any kind of effect.

Adapting Big Data Hadoop can be exceptionally advantageous because it will assist you in dealing with greater, complex activities a lot simpler and convey preferable yield over your associates. To be considered for examinations, you should be somebody who can have any kind of effect in the group, and that is the thing that Hadoop lets you be.

Learning Hadoop will open New Opportunities to Other Lucrative Fields

Big data is only not going to learn Hadoop. When you are in Big information space, you have sufficient chance to jump other Java and Hadoop engineer. There are different exceedingly requesting zones in big information like Artificial Intelligence, Machine Learning, Data Science. You can utilize your Java and Hadoop engineer expertise as a springboard to take your vocation to the following level. In any case, the move will give you the best outcome once you move from Java to Hadoop and increase fundamental working knowledge.

Java with Hadoop opens new skylines of occupation jobs, for example, data scientist, data analyst business intelligence analyst, DBA, etc.

Premier organizations prefer Hadoop Developers with Java skills

Throughout the years the Internet has been the greatest driver of information, and the new data produced in 2012 remained at 2500 Exabyte. The computerized world developed by 62% a year ago to 800K petabytes and will keep on developing to the tune of 1.2 zeta bytes during the present year. Gartner gauges the market of Hadoop Ecosystem to $77 million and predicts it will come to the $813 million marks by 2016.

A review of LinkedIn profiles referencing Hadoop as their abilities uncovered that just about 17000 individuals are working in Companies like Cisco, HP, TCS, Oracle, Amazon, Yahoo, and Facebook, and so on. Aside from this Java proficient who learn Hadoop can begin their vocations with numerous new businesses like Platfora, Alpine information labs, Trifacta, Datatorrent, and so forth.

Conclusion

You can see that combining your Java skills with Hadoop skills can open the doors of several new opportunities for you. You can get better remuneration for your efforts, and you will always be in high demand. It is high time to learn Hadoop online now if you are a java developer.

Industrial IoT erreicht die Fertigungshalle

Lumada Manufacturing Insights nutzt KI, Machine Learning und DataOps, um digitale  Innovationen für Manufacturing 4.0 bereitzustellen

Dreieich/ Santa Clara (Kalifornien), 17. September 2019 Mit Lumada Manufacturing Insights kündigt Hitachi Vantara eine Suite von IIoT-Lösungen (Industrial IoT) an, mit der Fertigungsunternehmen auf ihren Daten basierende Transformationsvorhaben umsetzen können. Die Lösung lässt sich in bestehende Anwendungen integrieren und liefert aussagekräftige Erkenntnisse aus Daten, ohne dass Fertigungsanlagen oder -anwendungen durch einen „Rip-and-Replace”-Wechsel kostspielig ersetzt werden müssen. Lumada Manufacturing Insights optimiert Maschinen, Produktion und Qualität und schafft dadurch die Basis für digitale Innovationen, ohne die Manufacturing 4.0 unmöglich wäre. Die Plattform unterstützt eine Vielzahl von Bereitstellungsoptionen und kann On-Premise oder in der Cloud ausgeführt werden.

„Daten und Analytics können Produktionsprozesse modernisieren und transformieren. Aber für zu viele Hersteller verlangsamen bestehende Legacy-Infrastrukturen und voneinander getrennte Software und Prozesse die Innovation”, kommentiert Brad Surak, Chief Product und Strategy Officer bei Hitachi Vantara. „Mit Lumada Manufacturing Insights können Unternehmen die Basis für digitale Innovationen schaffen und dabei mit den Systemen und der Software arbeiten, die sie bereits im Einsatz haben.” 

Lumada Manufacturing Insights wird weltweit ab dem 30. September verfügbar sein. Weitere Informationen:

Bei der deutschen Version handelt es sich um eine gekürzte Version der internationalen Presseinformation von Hitachi Vantara.

Hitachi Vantara
Hitachi Vantara, eine hundertprozentige Tochtergesellschaft der Hitachi Ltd., hilft datenorientierten Marktführern, den Wert ihrer Daten herauszufinden und zu nutzen, um intelligente Innovationen hervorzubringen und Ergebnisse zu erzielen, die für Wirtschaft und Gesellschaft von Bedeutung sind. Nur Hitachi Vantara vereint über 100 Jahre Erfahrung in Operational Technology (OT) und mehr als 60 Jahre in Information Technology (IT), um das Potential Ihrer Daten, Ihrer Mitarbeitern und Ihren Maschinen zu nutzen. Wir kombinieren Technologie, geistiges Eigentum und Branchenwissen, um Lösungen zum Datenmanagement zu liefern, mit denen Unternehmen das Kundenerlebnis verbessern, sich neue Erlösquellen erschließen und die Betriebskosten senken können. Über 80% der Fortune 100 vertrauen Hitachi Vantara bei Lösungen rund um Daten. Besuchen Sie uns unter www.HitachiVantara.com.

Hitachi Ltd. Corporation
Hitachi, Ltd. (TSE: 6501) mit Hauptsitz in Tokio, Japan, fokussiert sich auf Social Innovation und kombiniert dazu Information Technology, Operational Technology und Produkte. Im Geschäftsjahr 2018 (das am 31. März 2019 endete) betrug der konsolidierte Umsatz des Unternehmens insgesamt 9.480,6 Milliarden Yen (85,4 Milliarden US-Dollar), wobei das Unternehmen weltweit rund 296.000 Mitarbeiter beschäftigt. Hitachi liefert digitale Lösungen mit Lumada in den Bereichen Mobility, Smart Life, Industry, Energy und IT. Weitere Informationen über Hitachi finden Sie unter http://www.hitachi.com.

 

Pressekontakte

Hitachi Vantara
Bastiaan van Amstel 
bastiaan.vanamstel@hitachivantara.com 

 

Public Footprint 
Thomas Schumacher
+49 / (0) 214 8309 7790
schumacher@public-footprint.de

 

 

Process Mining als Radar: So spüren Sie Optimierungspotenziale auf!

Unklare Prozesse können den Erfolg einer digitalen Transformation schnell behindern. Process Mining kann an dieser Stelle der Initiative zum Erfolg verhelfen. 

Process Mining, funktioniert wie ein Radar. Mithilfe dieser Methode lassen sich Prozesse überwachen und Schwachstellen identifizieren. Dabei werden Prozessoptimierung und Data Mining kombiniert. Unternehmen sind so in der Lage, bessere und faktenbasierte Entscheidungen zu treffen.

Dadurch erhalten Sie einen beispiellosen „Zugriff“ auf den versteckten Mehrwert in Ihren Prozessen. Es ist, als ob Sie auf Schatzsuche sind und genau wissen, wo Sie suchen müssen – mit einem „Bodenradar“ als Vorteil. Die Technologie bietet wertvolle, detaillierte Erkenntnisse für Ihre Entscheidungsfindung und zeigt zugleich verborgene Schätze und Möglichkeiten zur Umsatzsteigerung bei bisher unentdeckten Transformationsinitiativen auf.

 

Prozesse für geschäftliche Erkenntnisse in Echtzeit

Die Ermittlung von Prozessen basierend auf Ihren Daten kann über die Standards Ihrer Mitbewerber hinausgehen, sodass Sie diesen einen Schritt voraus sind. Mithilfe von Process Mining können Sie in digitalen Transformationsprojekten genau nachvollziehen, was in Ihrem Unternehmen vor sich geht. Die umfangreichen digitalen Daten zu tatsächlichen Ereignissen, Entscheidungen und Prozesspfaden zeigen Ihnen auf, was initiiert oder bereits realisiert wurde. Aus den Analysen lassen sich anschließend konkrete Ansätze ableiten, wie etwa Maßnahmen zur Kosteneinsparung oder einem genau definierten ROI.

Dies kann sogar auf ein ganzheitliches digitales Managementsystem für die dynamische und kontinuierliche Nutzung von Erkenntnissen aus einem Unternehmen ausgeweitet werden. Process Mining ist die Grundlage der digitalen Transformation und der erforderlichen neuen Strategien, um zu verstehen, wie ein Unternehmen funktioniert.

 

Ticktack: Zeit, den Ist-Zustand des Prozesses zu ermitteln

Mit einem expansiven Process-Mining-Ansatz wird die Optimierung zu einem Kernelement der DNA Ihres Unternehmens. Durch das Aufspüren spezifischer Abläufe, die mit herkömmlichen Methoden in der Regel unentdeckt bleiben, erleichtert Process Mining das Steuern der Prozesspfade. Dies bedeutet, dass die Funktionsweise eines Unternehmens besser analysiert und gesteuert werden kann, sodass die Prozessentwicklung und -optimierung zum Wegweiser von Unternehmen wird.

Der erste Schritt zur kontinuierlichen Verbesserung besteht darin, die besten Prozesse zu ermitteln, die gemeinsam in einem Unternehmen genutzt werden können, oder die Engpässe und Ineffizienzen zu ermitteln, die sich negativ auf Ihr Unternehmensergebnis auswirken.

Neue (Prozess-) Landschaften entdecken

Im Wesentlichen ist Process Mining der nächste Baustein für den Aufbau eines effizienten Prozessmanagements sowie für Prozessoptimierungsprojekte, die Mehrwert schaffen. Es kombiniert auf innovative Weise bewährte Methoden aus Prozessmodellierung und Business Intelligence. Process Mining verbessert die Effizienz und reduziert Risiken, sodass Sie von einem signifikant höheren Mehrwert profitieren können.

Was Process Mining für Initiativen zur digitalen Transformation jedoch noch spannender macht, ist die Möglichkeit, durch unentdeckte Bereiche der Prozesslandschaft zu navigieren. Auf diese Weise können Sie den Prozesswildwuchs reduzieren und genau die Prozesse und Zusammenhänge untersuchen, die bisher auf der Strecke geblieben sind. Hierzu zählen beispielsweise unterschiedliche Abläufe, Extremfälle, Ineffizienzen, Schwachstellen und ähnliches. In der Tat müssen im Rahmen von Initiativen zur Prozessoptimierung und -transformation genau diese Prozessarten am häufigsten ermittelt und analysiert werden. Denn am Ende ist ein Unternehmen nur so stark wie sein schwächster Prozess.

Nur, wenn wir Prozesse über ihre Grenzen hinweg genau analysieren, können wir Engpässe und Schwachstellen aufdecken und die Gründe hierfür verstehen. Ist das Problem beispielsweise ein Mitarbeiter, der Standort oder der Prozess selbst? Oder sind Prozesse immer durch den geschäftlichen Kontext gerechtfertigt  – sollten Fertigungsmaschinen ununterbrochen auch ohne Auftrag anlaufen oder sollten Mitarbeiter die Arbeitsabläufe diktieren?

Versteckter Mehrwert: Verbessern Sie Ihr Kundenerlebnis

Denken Sie daran, dass nicht nur das Datenvolumen wichtig ist, sondern auch, wie Unternehmen diese Daten nutzen. Unternehmen müssen die gewonnenen Informationen zur Verbesserung des Kundenerlebnisses einsetzen, z. B. mithilfe von Customer Journey Mapping (CJM), um die tägliche Entscheidungsfindung zu optimieren und um kontinuierlich Innovationen zu entwickeln. Damit Unternehmen in der Digital Economy von heute wettbewerbsfähig bleiben und gleichzeitig den zukünftigen Erfolg sicherstellen können, müssen sie Prozesse effektiv nutzen und steuern. Jetzt! Zum Beispiel:

  • Sie sorgen für mehr Transparenz und Sichtbarkeit Ihrer operativen Abläufe, überwinden Abteilungssilos und fördern die Kommunikation und Zusammenarbeit.
  • Sie standardisieren bestimmte Aktivitäten in Ihrer Organisation, sodass alle Mitarbeiter/innen sich an verbindliche Abläufe halten und Verantwortlichkeiten wirklich geklärt sind.
  • Sie bringen das ganze Team an einen Tisch und bieten Ihrem Team die Möglichkeit, Teilaufgaben zu automatisieren.

Unternehmen, die der technologischen Entwicklung immer einen Schritt voraus sind, können agile Abläufe aufbauen, um unterschiedliche und anspruchsvollere Kundenerwartungen zu erfüllen. Zugleich können sie die Effizienz der operativen Lieferkette durch bessere Strategien für die Zusammenarbeit und Einbeziehung der Lieferanten gewährleisten.

 

Prozesse für das neue digitale Transformationszeitalter (DTx)

Ob Ihr Unternehmen bereit ist oder nicht, das digitale Transformationszeitalter ist da und die Konvergenz von Mobilität und Cloud-Speicher hat zu einer wahren Explosion an digitalen Daten geführt. Benutzer haben jederzeit, überall und auf unzähligen Geräten Online-Zugriff und generieren jede Minute Unmengen an Informationen. Einer der führenden IT-Marktanalysten, International Data Corporation (IDC), prognostiziert, dass die Welt bis 2025 rund 160 Billionen Gigabyte an Daten erzeugen wird!

Um mit der verbesserten digitalen Kohärenz Schritt zu halten, können Experten für Digitale Transformation und Excellence mithilfe von Process-Mining-Daten faktenbasierte Entscheidungen treffen und schnell auf Veränderungen reagieren. Hierzu zählen eine leichtere Integration transformativer digitaler Technologien, bessere operative Agilität und Flexibilität, optimierte Unternehmensführung und -kultur sowie die Mitarbeiterförderung. Solch ein selbsttragender Ansatz führt zu nachhaltigen Ergebnissen und schafft eine Prozesskultur innerhalb des gesamten Unternehmens.

Aufbau einer Prozesskultur in Ihrem Unternehmen

Process Mining bietet weit mehr als Erkennen, Visualisieren, Analysieren: Anhand Ihrer vorhandenen Daten können Sie die Ausführung von Prozessen automatisch in Echtzeit überwachen. Diese einfache Bewertung per Mausklick ermöglicht ein sofortiges Verständnis komplexer Prozesse. Innerhalb von Transformationsprojekten, die aufgrund ihrer Natur tiefgreifende Änderungen in geschäftlichen und organisatorischen Aktivitäten, Prozessen, Kompetenzen und Modellen erfordern, liefert Process Mining die visuelle Übersicht und ermöglicht sofortige Maßnahmen.

Mit diesen Einsichten gewinnen Sie wertvolle Gesichtspunkte zu Fragen wie:

  • Wie können Sie digitale Datenspuren nutzen, um fundiertere Entscheidungen auf Ihrem Weg der Prozessverbesserung zu treffen?
  • Wie kann die Prozessleistung überwacht und der Soll- mit dem Ist-Zustand verglichen werden?
  • Wie können überflüssige Prozesse beseitigt werden, während die Prozesse erhalten bleiben, die einen echten Mehrwert bieten?

Die Zukunft des Prozesses verstehen

Je weiter die Globalisierung voranschreitet, desto mehr ist von Führungskräften die Bereitschaft gefordert, Prozesse ganzheitlich zu verstehen und sich neuen Denkweisen zu öffnen. Eine Investition in Systeme, Verfahren, Menschen und Technologien wird nur dann erfolgreich sein, wenn es eine progressive Führung und die Offenheit für Veränderungen gibt. 

Process Mining zeichnet sich nicht nur durch umfassende Vorteile aus, sondern auch durch komplexe Möglichkeiten. Der Zugriff auf Prozesse kann jedoch einfach sein. Das Verständnis und die Anpassung an sich schnell ändernde Umstände muss über einmalige, kopflastige Prozesskorrekturen hinausgehen. Stattdessen müssen kontinuierlich Verbesserung stattfinden. Dies bedeutet jedoch auch, dass sich die DNA eines Unternehmens ständig verändert, um für neue Herausforderungen gewappnet zu sein. Ein Entwicklungsprozess, so revolutionär, dynamisch und kontinuierlich wie die konstante Veränderung des Geschäfts … und des Lebens selbst.

Starten Sie Ihre eigene Schatzsuche!

Schöpfen Sie mit Signavio Process Intelligence das Potenzial von Process Mining voll aus und erfahren Sie, wie Ihr Unternehmen den versteckten Mehrwert von Prozessen für sich nutzen, neue Ideen generieren und Zeit und Geld sparen kann. 

Interview – Customer Data Platform, more than CRM 2.0?

Interview with David M. Raab from the CDP Institute

David M. Raab is as a consultant specialized in marketing software and service vendor selection, marketing analytics and marketing technology assessment. Furthermore he is the founder of the Customer Data Platform Institute which is a vendor-neutral educational project to help marketers build a unified customer view that is available to all of their company systems.

Furthermore he is a Keynote-Speaker for the Predictive Analytics World Event 2019 in Berlin.

Data Science Blog: Mr. Raab, what exactly is a Customer Data Platform (CDP)? And where is the need for it?

The CDP Institute defines a Customer Data Platform as „packaged software that builds a unified, persistent customer database that is accessible by other systems“.  In plainer language, a CDP assembles customer data from all sources, combines it into customer profiles, and makes the profiles available for any use.  It’s important because customer data is collected in so many different systems today and must be unified to give customers the experience they expect.

Data Science Blog: Is it something like a CRM System 2.0? What Use Cases can be realized by a Customer Data Platform?

CRM systems are used to interact directly with customers, usually by telephone or in the field.  They work almost exclusively with data that is entered during those interactions.  This gives a very limited view of the customer since interactions through other channels such as order processing or Web sites are not included.  In fact, one common use case for CDP is to give CRM users a view of all customer interactions, typically by opening a window into the CDP database without needing to import the data into the CRM.  There are many other use cases for unified data, including customer segmentation, journey analysis, and personalization.  Anything that requires sharing data across different systems is a CDP use case.

Data Science Blog: When does a CDP make sense for a company? It is more relevant for retail and financial companies than for industrial companies, isn´t it?

CDP has been adopted most widely in retail and online media, where each customer has many interactions and there are many products to choose from.  This is a combination that can make good use of predictive modeling, which benefits greatly from having more complete data.  Financial services was slower to adopt, probably because they have fewer products but also because they already had pretty good customer data systems.  B2B has also been slow to adopt because so much of their customer relationship is handled by sales people.  We’ve more recently been seeing growth in additional sectors such as travel, healthcare, and education.  Those involve fewer transactions than retail but also rely on building strong customer relationships based on good data.

Data Science Blog: There are several providers for CDPs. Adobe, Tealium, Emarsys or Dynamic Yield, just to name some of them. Do they differ a lot between each other?

Yes they do.  All CDPs build the customer profiles I mentioned.  But some do more things, such as predictive modeling, message selection, and, increasingly, message delivery.  Of course they also vary in the industries they specialize in, regions they support, size of clients they work with, and many technical details.  This makes it hard to buy a CDP but also means buyers are more likely to find a system that fits their needs.

Data Science Blog: How established is the concept of the CDP in Europe in general? And how in comparison with the United States?

CDP is becoming more familiar in Europe but is not as well understood as in the U.S.  The European market spent a lot of money on Data Management Platforms (DMPs) which promised to do much of what a CDP does but were not able to because they do not store the level of detail that a CDP does.  Many DMPs also don’t work with personally identifiable data because the DMPs primarily support Web advertising, where many customers are anonymous.  The failures of DMPs have harmed CDPs because they have made buyers skeptical that any system can meet their needs, having already failed once.  But we are overcoming this as the market becomes better educated and more success stories are available.  What’s the same in Europe and the U.S. is that marketers face the same needs.  This will push European marketers towards CDPs as the best solution in many cases.

Data Science Blog: What are coming trends? What will be the main topic 2020?

We see many CDPs with broader functions for marketing execution: campaign management, personalization, and message delivery in particular.  This is because marketers would like to buy as few systems as possible, so they want broader scope in each systems.  We’re seeing expansion into new industries such as financial services, travel, telecommunications, healthcare, and education.  Perhaps most interesting will be the entry of Adobe, Salesforce, and Oracle, who have all promised CDP products late this year or early next year.  That will encourage many more people to consider buying CDPs.  We expect that market will expand quite rapidly, so current CDP vendors will be able to grow even as Adobe, Salesforce, and Oracle make new CDP sales.


You want to get in touch with Daniel M. Raab and understand more about the concept of a CDP? Meet him at the Predictive Analytics World 18th and 19th November 2019 in Berlin, Germany. As a Keynote-Speaker, he will introduce the concept of a Customer Data Platform in the light of Predictive Analytics. Click here to see the agenda of the event.

 


 

How to Ensure Data Quality in an Organization?

Introduction to Data Quality

Today, the world is filled with data. It is everywhere. And, the value of any organization can be measured by the quality of its data. So, what actually is the quality of data or data quality, and why is it important? Well, data quality refers to the capability of a set of data to serve an intended purpose. 

Data quality is important to any organization because it provides timely and accurate information to manage accountability and services. It also helps to ensure and prioritize the best use of resources. Thus, high-quality data will lead to appropriate insights and valuable information for any organization. We can evaluate the quality of data in certain aspects. They include accuracy, relevancy, completeness, and uniqueness. 

Data Quality Problems

As the organizations are collecting vast amounts of data, managing its quality becomes more important every single day. In the year 2016, the costs of problems caused due to poor data quality were estimated by IBM, and it turned out to be $3.1 trillion across the U.S economy. Also, a Forrester report has stated that almost 30 percent of analysts spend 40 percent of their time validating and vetting their data prior to its utilization for strategic decision-making. These statistics indicate that the scale of the problems with data quality is vast.

So, why do these data quality problems occur? The main reasons include manual entry of data, software updates, integration of data sources, skills shortages, and insufficient testing time. Wrong decisions can be taken due to poor data management processes and poor quality of data. Because of this, many organizations lose their clients and customers. So, ensuring data quality must be given utmost importance in an organization. 

How to Ensure Data Quality?

Data quality management helps by combining data, technology, and organizational culture to deliver useful and accurate results. Good management of data quality builds a foundation for all the initiatives of a business. Now, let’s see how we can improve the data quality in an organization.

The first aspect of improving the quality of data is monitoring and cleansing data. This verifies data against standard statistical measures, validates data against matching descriptions, and uncovers relationships. This also checks the uniqueness of data and analyzes the data for its reusability. 

The second one is managing metadata centrally. Multiple people gather and clean data very often and they may work in different countries or offices. Therefore, you require clear policies on how data is gathered and managed as people in different parts of a company may misinterpret certain data terms and concepts. Centralized management of metadata is the solution to this problem as it reduces inconsistent interpretations and helps in establishing corporate standards.  

The next one is to ensure all the requirements are available and offer documentation for data processors and data providers. You have to format the specifications and offer a data dictionary and also provide training for the providers of data and all other new staff. Make sure you offer immediate help for all the data providers.

Very often, data is gathered from different sources and may include distinct spelling options. Hence, segmentation, scoring, smart lists, and many others are impacted by this. So, for entering a data point, a singular approach is essential, and data normalization provides this approach. The goal of this approach is to eliminate redundancy in data. Its advantages include easier object-to-data mapping and increased consistency.

The last aspect is to verify whether the data is consistent with the data rules and business goals, and this has to be done at regular intervals. You have to communicate the current status and data quality metrics to every stakeholder regularly to ensure the maintenance of data quality discipline across the organization.

Conclusion

Data quality is a continuous process but not a one-time project which needs the entire company to be data-focused and data-driven. It is much more than reliability and accuracy. High level of data quality can be achieved when the decision-makers have confidence in data and rely upon it. Follow the above-mentioned steps to ensure a high level of data quality in your organization. 

Body and Soul: Software-Roboter und datenbasierte Prozessauswertung

Software-Roboter liegen im Trend. Immer mehr Unternehmen aus unterschiedlichen Branchen setzen auf Robotic Process Automation (RPA), um zeitintensive manuelle Tätigkeiten zu automatisieren, effizienter zu gestalten und von den Schultern ihrer Belegschaft zu nehmen.

Doch so vielversprechend diese Ambitionen auch klingen: Noch heute scheitern viele RPA-Projekte an der Vorbereitung. Ein Prozessschritt lässt sich schnell automatisieren, doch wurde der Prozess vorher nicht optimiert, resultiert dies oft in hohen Kosten und frustrierten Mitarbeitern. In diesem Beitrag erfahren Sie, wie Sie eine RPA-Initiative richtig angehen, ihren Erfolg messen und langfristige Erfolge erzielen. Lernen Sie, wie Sie Process Mining gewinnbringend einsetzen, um RPA vorzubereiten. Anhand eines Service-Prozesses zeigen wir auf, warum eine Prozessoptimierung das entscheidende Erfolgskriterium für Ihre RPA-Initiative ist.

1.       Die Digitalisierung der Unternehmen: RPA und Process Mining gehen Hand in Hand

Process Mining und Robotic Process Automation (RPA) zählen zu den wichtigsten Werkzeugen für Unternehmen, die auf Digitalisierung setzen, so eine Befragung des deutschen Wirtschaftsmagazins „Computerwoche“ (2019).

Rund die Hälfte der deutschen Unternehmen hat bereits mit der Analyse von Geschäftsprozessen begonnen, während 25% der Unternehmen dem Thema RPA einen hohen Stellenwert beimessen. Innovative Unternehmen verknüpfen beide Methoden miteinander: Sie setzen Software-Roboter als leistungsstarke Automatisierungstechnologie ein; die Richtung gibt die datengestützte Prozessauswertung an.

2.       Anwendungsfall: Wie ein Service-Prozess optimiert und automatisiert wird

Unternehmen aller Branchen stehen vor der Herausforderung, ihre Prozesse zu digitalisieren und effizienter zu gestalten. Signavio unterstützt mehr als 1.000 Organisationen aller Größen und Branchen bei diesem Ziel. Die cloudbasierte Software-Lösung ermöglicht Prozessverantwortlichen und Führungskräften, ihre Prozesse zu verstehen, zu analysieren und bessere Geschäftsentscheidungen zu treffen. 

Wie sich die Prozessoptimierung gestaltet, wird im Folgenden an einem Anwendungsbeispiel gezeigt: Ein Unternehmen der Telekommunikationsindustrie verfügt über zahlreiche Service-Prozesse, darunter auch die Problembehebung im Falle einer gestörten Internetverbindung. Der Prozess gestaltet sich wie folgt:

Sobald sich ein Kunde über eine gestörte Internetverbindung beschwert, wird im Unternehmen ein Service-Prozess ausgelöst. Dieser Prozess besteht aus verschiedenen Teilschritten: Ist das Problem nach mehreren Schritten der internen Prüfung nicht behoben, ist ein Vor-Ort-Besuch eines Service-Mitarbeiters beim Kunden vorgesehen.

Dieser Service-Prozess führte im Unternehmensalltag des Telekommunikationsanbieters in der Vergangenheit regelmäßig zu internen Diskussionen. Die Prozessverantwortlichen äußerten die Vermutung, dass der Service zu viel Zeit benötige und intern hohe Kosten verursache. Im Rahmen einer Prozessinitiative wollten sie dieser Vermutung nachgehen und neue Möglichkeiten der Prozessoptimierung erarbeiten. Die folgenden Fragen waren dabei relevant:

  • Wie identifizieren wir den aktuellen Ist-Zustand des Prozesses?
  • Auf welchem Wege stoßen wir Verbesserungen an?
  • Wo lassen sich Service-Roboter einsetzen, um den Arbeitsalltag des Teams zu erleichtern?

Signavios Technologie bot den Prozessverantwortlichen die Möglichkeit, den kritischen Serviceprozess datenbasiert auszuwerten, zu optimieren und die Automatisierung von Teilschritten durch den Einsatz von Software-Robotern vorzubereiten. Im Kontext dieses Fallbeispiels erhalten Sie im Folgenden einen Einblick in die innovative SaaS-Lösung. 

2.1   Den Service-Prozess im Kontext der Customer Journey verstehen: Operative Abläufe und die Customer Experience visualisieren

Die Bearbeitung einer Kundenanfrage ist nur einer von Hunderten oder sogar Tausenden alltäglichen Prozessen in einer Organisation. Die Signavio Business Transformation Suite ermöglicht Unternehmen aller Branchen, die gesamte Prozesslandschaft zu betrachten und konstant weiterzuentwickeln.

Anhand der unterschiedlichen Komponenten dieser Technologie erarbeiteten die Prozessverantwortlichen des Telekommunikationsunternehmens eine 360°-Grad-Sicht auf alltägliche operative Abläufe:

  • Modellierung, Dokumentation und Visualisierung von Geschäftsprozessen im Kontext der Customer Journey (Signavio Process Manager) 
  • Automatisierung von Prozessschritten (Signavio Workflow Accelerator)
  • Datengestützte Auswertung von Prozessen (Signavio Process Intelligence)
  • Teamübergreifende Prozesssicht entlang der gesamten Value Chain (Signavio Collaboration Hub)

Die Mitarbeiter des Telekommunikationsunternehmens sehen im Signavio Collaboration Hub die gesamte Wertschöpfungskette ihres Unternehmens mitsamt allen Management-, Kern- und Serviceprozessen. Mit Blick auf die Prozesslandkarte navigieren sie die Ansicht auf den jeweils gesuchten Prozess: In unserem Beispiel besteht der Prozess in der Prüfung der Internetverbindung über das Glasfaserkabel.

Im Signavio Process Manager kann dieser Prozess entlang der gesamten Customer Journey eingesehen werden: Eine Persona symbolisiert den Kunden mit dem Problem der gestörten Internetverbindung. So wird seine gesamte Reise entlang unterschiedlicher Prozessschritte bis zur Lösung des Problems visualisiert.

 

Ein weiterer Klick auf den jeweiligen Prozessschritt führt zum hinterlegten Prozessmodell: Dort sind alle operativen Abläufe hinterlegt, die zur Lösung des Problems beitragen. Durch die integrierte Möglichkeit der Prozesssimulation gelingt es, den Prozess anhand verschiedener Datensätze zu prüfen und die Kosten, Durchlaufzeiten und Bottlenecks im Voraus zu berechnen. Dies ist bereits ein guter erster Schritt, um herauszufinden, wie effizient ein Prozess tatsächlich verläuft. Doch um die Ursachen der bestehenden Probleme zu ergründen, bedarf es einer datengestützten Methode der Prozessauswertung.

2.2   Von der datenbasierten Auswertung zur Prozessverbesserung: Process Mining

Die Methode des Process Minings ermöglicht Prozessverantwortlichen einen akkuraten Einblick in alltägliche operative Abläufe: Anhand datenbasierter Auswertungen gelingt es, Schwachstellen in Geschäftsprozessen sowie Optimierungspotenziale zu erkennen und herauszufinden, welche Prozesse sich tatsächlich für die Automatisierung eignen.

In unserem Beispiel wenden die Prozessverantwortlichen des Telekommunikationsunternehmens Process Mining an, um herauszufinden, an welchen Stellen der Prozess der gestörten Internetverbindung dysfunktional ist. Sie möchten herausfinden, ob sich Teilschritte durch den Einsatz von Software-Robotern automatisieren lassen.

Dafür nutzen die Prozessverantwortlichen Process Intelligence, das Analysemodul der Signavio Business Transformation Suite. In einer sogenannten Investigation erhalten sie einen detaillierten Einblick in den kritischen Prozess und können die Erfolgskennzahlen anhand unterschiedlicher Faktoren auswerten: Performance, Time, Occurrence, Variants, Loops usw.

So sehen sie beispielsweise, welche Prozessvarianten im Unternehmensalltag auftreten und auf welche Ursachen sie zurückzuführen sind. Sie greifen auf die Daten aus den ERP-Systemen der Organisation zu, um beispielsweise die Durchlaufzeiten des Prozesses zu bestimmen. Dabei sehen die Prozessverantwortlichen den tatsächlichen Ablauf eines Prozesses – und finden heraus, ob er wirklich funktioniert, wie gewünscht.

In unserem Beispiel zeigt die Datenauswertung etwa: Der Service-Prozess tritt in mehr als 240 Varianten auf – und weicht im Unternehmensalltag somit deutlich von seinem modellierten Idealzustand ab.

In der Signavio Business Transformation Suite können die erhobenen transaktionalen Daten als Overlay direkt auf das Prozessmodell gelegt werden, um die realen Zeiten für einzelne Prozessschritte anzuzeigen. Diese Visualisierung zeigt auf: Obwohl zunächst eine interne Prüfung der Störung vorgesehen ist, wird dieser Schritt im Unternehmensalltag häufig übersprungen: Dies führt dazu, dass zumeist sofort ein Außendienst-Mitarbeiter zu den Kunden fährt und eine Vor-Ort-Analyse durchführt. Dieser Schritt erweist sich häufig als unnötig und verursacht somit regelmäßig Kosten und Prozessverzögerungen.

Mit Blick auf die Ergebnisse der Datenanalyse schlussfolgern die Prozessverantwortlichen, dass Teilschritte der internen Prüfung durch Software-Roboter automatisiert werden können.

2.3   Soul meets Body: Die RPA-Implementierung planen         

Die operativen Daten aus den ERP-Systemen des Unternehmens wurden mit der Prozessdokumentation zusammengebracht. Auf diesem Wege konnte das Telekommunikationsunternehmen wertvolle Erkenntnisse zur Prozessoptimierung gewinnen und herausfinden, an welchen Stellen sich die Automatisierung durch Robotic Process Automation als sinnvoll erweist. Im Collaboration Hub kann nun die RPA-Implementierung geplant und das hinterlegte Prozessmodell angepasst werden:

Im geänderten Prozessmodell ist nun zu sehen: Prozessschritte wie „Netzwerkverbindung prüfen“ werden nicht mehr manuell durchgeführt. Ein Software-Roboter wurde so programmiert, dass er die Aktivität automatisiert anhand von vorgegebenen Eingabeinformationen übernehmen kann. Um zu prüfen, ob die Automatisierung dieser und weiterer Teilschritte sinnvoll ist, kann eine Simulation im Signavio Process Manager gestartet werden und als Testlauf mit den Daten aus Process Intelligence durchgeführt werden. So werden diese Fragen beantwortet:

  • Ist die Automatisierung sinnvoll?
  • Wie verändern Software-Roboter die Performance?
  • Wie hoch sind die Kosten, Durchlaufzeiten und der Ressourcenbedarf?
  • Erhöht sich der Return on Investment? 

3.       Signavio bringt die Prozessdokumentation mit den operativen Daten zusammen

Mit der Signavio Business Transformation Suite ist es dem Telekommunikationsunternehmen gelungen, den Prozess der gestörten Internetverbindung zu analysieren, zu optimieren und durch den Einsatz externer Software-Roboter zu automatisieren. Im Rahmen der Auswertung wurden zudem weitere Aktivitäten gefunden, die perspektivisch von Software-Robotern übernommen werden können: zum Beispiel ein Funktions-Check der Devices oder einzelne Kommunikationsaufgaben wie Bestätigungen. Somit ist der Prozess digitaler und effizienter geworden.

Das Besondere an diesem Anwendungsfall: Erst durch die Visualisierung des Prozesses in der Customer Journey und die folgende Auswertung der ERP-Daten konnte das bestehende Problem identifiziert und eine Lösung gefunden werden. Daher erwies sich der Einsatz der RPA-Technologie erst nach der Untersuchung des Ist-Zustandes als wirklich sinnvoll.

Sie möchten mehr erfahren? Hier erhalten Sie unser kostenloses Whitepaper zum Thema „Process Mining“!