"Qlik on Steroids" für Admins - QIX & Audit Log

Mit dem November 2018 Release hat auch QlikView den QIX-Log bekommen. Bisher war das Verhalten der Qlik Engine eine ziemliche Blackbox. Warum und wodurch wieviel RAM benutzt wird, war sehr schwer zu sehen. Mit dem neuen QIX-Log plus einem aktiven Audit Log können Qlik-Administratoren jetzt tief eintauchen und genau sehen was auf ihren Servern so vor sich geht!

Jedes Objekt und Dokument das bestimmte CPU- oder Memory-Grenzen übersteigt wird im QIX Log protokolliert. Auf Basis dieser Daten kann ein Dashboard gebaut werden, welches die teuren Dashboards & Objekte der gesamten Umgebung aufzeigt, und durch welche Userinteraktionen viel Leistung verbraucht wird.

Heldendaten Analyse QIX und Audit Log
Analyse Applikation zum QIX Log

Der QIX Log wird über die settings.ini des QlikView Servers aktiviert. Eine genaue Beschreibung der Felder und Einstellungsmöglichkeiten finden sich in der QIX Perfomance Log Hilfe

In unserem Beispiel haben wir sehr niedrige Grenzen gewählt. Ein QIX Logeintrag entsteht, wenn:

- Warning wenn Object Process Time > 2 Sekunden
- Error wenn Object Process Time > 4 Sekunden
- Warning Peak Memory wenn mehr als ~500 MB
- Error Peak Memory wenn mehr als ~1GB

Diese Parameter müssen Sie entsprechend Ihrer Umgebung anpassen. Bei 2 Sekunden bekommen Sie wahrscheinlich zu viele Warnings.

QlikView Server settings


Im Beispiel sehen wir, dass das Chart CH454 bis zu 763MB für die Berechnung benötigt.

Heldendaten QIX Analyse
Problemobjekte pro Qlik Anwendung


Das allein ist eine interessante Information, die ohne QIX Log am Server bisher nicht ersichtlich war. Noch spannender wird es, wenn man in der QMC den AuditLog aufgedreht hat. Audit Log und QÍX Log lassen sich nämlich über das gemeinsame Feld "SessionId" verschneiden.


Qlik Audit Log
Audit Log in der QMC


Somit sieht man welcher User in welcher Session mit welchen Selektionen das "teure" Chart verursacht hat. Im "QIX Warnings und Errors" Diagramm am Screenshot unterhalb sieht man, dass der User in der Session das Objekt dreimal aufgerufen hat, und es jedes Mal zu einem QIX-Error geführt hat.


Wählt man nun die betroffene SessionId, kann man sich den genauen Verlauf des Problems ansehen.
In unserem Fall sind die Einträge des QIX-Log rot, die Einträge des AuditLog blau.

Man sieht, dass der User  im Feld "Segment_Long_Name_Filter" "Austria" gewählt hat. Darauf hin rechnet das CH454 für 19 Sekunden und verbraucht 464MB RAM. Danach wählt der User im Feld "Month_Filter" den Wert "Jun", das Chart rechnet 34 Sekunden und verbraucht 763MB RAM.

QIX Audit Log Zeitverlauf einer Session
QIX und Audit Log im Zeitverlauf verschnitten

Im rechten Balkendiagramm sieht man auch, dass am Anfang der Session sehr viele Selektionen getroffen werden (Blaue Balken des Audit Logs). Dies sind wahrscheinlich viele initiale Selektionen die in der QlikView App definiert sind. Danach kommen viele QIX-Alarme (rote Balken). In der Applikation dürfte es also mehrere Objekte auf einem Dashboard geben, die viel Rechenleistung benötigen.

Das QlikView Dashboard finden Sie hier.



Für Qlik Sense existiert ein ähnliches Dashboard. Siehe Video unterhalb. Der Download findet sich auf Github.


QIX und Audit Log bilden eine neue Sicht auf die Performance des Qlik Servers. Mit der gewonnenen Information kann der Qlik Administrator gezieht auf die Entwickler des Dashboards zugehen und auf gewisse Objekte aufmerksam machen. Oft können durch einfache Anzeigebedingungen, oder Überarbeitung der Formeln die größten Performancefresser schnell beseitigt werden.

Zusätzliche Features mit der Qlik Sense Enterprise Lizenz

Die Qlik Sense Enterprise Lizenz schaltet mehr Features & Software Produkte frei als man glauben könnte: Erweiterte Geoanalysen, Webkonnektoren zu Anbietern wie Google Analytics, Microsoft Dynamics CRM  sowie das Qlik Datamarket Essentials Paket. Hier ein kleiner Überblick was man mit der Qlik Sense Lizenz alles machen kann.

Qlik Geo Analytics mit Qlik Sense Lizenz
Qlik Geo Analytics mit Fahrtzeiten. Freigeschalten mit der Qlik Sense Lizenz

Im Qlik Sense LEF File finden sich einige interessante Einträge mit dem Keyword "YES".  Wir  wollen hier Schritt für Schritt darauf eingehen was welcher Eintrag bedeutet.

Die markierten Einträge erlauben es, mit der gleichen Lizenz nicht nur Qlik Sense Enterprise zu aktivieren, sondern auch die Qlik Produkte GeoAnalytics, Webconnectors und Qlik Datamarket Essentials.

Diese Addons sind Akquisitionen die die Qlik in den vergangenen Jahren getätigt hat. Als Qlik Sense Kunde darf man diese nun "mitbenutzen". Die Download stehen auf der Qlik Downloadseite bereit, sofern Ihr Qlik Community User dafür korrekt freigeschalten ist. Ansonsten nehmen Sie bitte Kontakt mit uns auf.


Qlik Datamarket Essentials

Qlik hat Ende 2014 die Firma Datamarket.com gekauft. Mit dem Lizenzeintrag "QDM_ESSENTIALS" wird bei der Qlik Sense Installation ein zusätzliches Datenpaket "Essentials" freigeschalten, das folgende Dateninhalte im Qlik Sense Datamanager bereitstellt.

Qlik DataMarket Essentials Paket
Qlik DataMarket Essentials Paket

Wählt man zum Beispiel "Currency", kann man sich über einen Dialog die Währungsumrechnungen in den Daten ergänzen.

Qlik Datamanager bietet einen Wizard zum Hinzufügen der Daten

Das Paket ist ganz nett, aber gleichzeitig auch recht eingeschränkt. Es gibt weitere kommerzielle Pakete, oder man nutzt andere APIs um zum Beispiel detailliertere Wetterdaten zu bekommen.


Webconnectors

2016 hat Qlik die Firma Industrial Codebox gekauft. Diese hat sich auf die Entwicklung von Konnektoren zu Webservice wie Google Analytics, Facebook, Twitter, Microsoft Dynamics CRM konzentriert.

Die Qlik WebConnectors sind ein eigenes Setup, dass man als Windows Service laufen lassen kann. Das Qlik Ladescript greift dann auf die Daten via HTTP zu und übergibt die Parameter in der URL.

Die Standardkonnektoren kann jeder QlikView und Qlik Sense Kunde frei installieren. Mit der Lizenzzeile "WEBCONNECTORS" können Sie aber auch alle Premium Konnektoren nutzen, und unterliegen nicht dem halbjährlichen Upgradezwang der Standardkonnektoren.

Qlik Sense Lizenz einspielen um Premium Konnektoren zu aktivieren
Qlik Sense Lizenz einspielen um Premium Konnektoren zu aktivieren


Diese zusätzlichen Konnektoren sind nun freigeschalten




Geo Analytics

Qlik hat die skandinavische Geo Analytics Firma Idevio Maps im Jahr 2017 gekauft. Diese bot  kommerzielle Extensions für QlikView und Qlik Sense an. Seither wandern viele Features von Idevio in das Qlik Sense Standard-Kartenobjekt. Die Idevio Funktionalität existiert aber weiterhin und kann mit den Lizenzeinträge GEOPLUS und GEO ANALYTICS installiert & freigeschalten werden.

Unterhalb sieht man wie sich die Qlik Sense Extensions sogar noch als "Idevio" registrieren.



Die Extensions bieten einige interessante Darstellungen wie Fahrzeitanalysen zu Standorten an. Dafür werden jedoch Daten in die Cloud geschickt.

Weiters besteht natürlich das Risiko, dass diese Extensions langsam "sterben", wenn alle Features in das Qlik Sense Standardkartenobjekt wandern. Auch der Druck mit NPrinting und die Integration in Stories ist nicht möglich.

Qlik Geo Analytics Travel Time
Qlik Geo Analytics Travel Time

Catchment area
Qlik Geo Analytics Catchment Area


Qlik Geo Analytics - Potential for new location



Weiters kann man den Geo Analytics Connector Qlik GeoAnalytics Connector im Qlik Datamanager nutzen. Leider ist aber hier die Address Lookup Funktion nicht freigeschalten.

Qlik Geo Analytics Connector


Qlik Geo Analytics Connector - Operatoren



QlikView and Qlik Sense - Important Security Fix now available in new Service Releases and Patches

Bitte folgenden Beitrag auf dem Qlik Support Blog beachten:



https://community.qlik.com/t5/Qlik-Support-Updates-Blog/QlikView-and-Qlik-Sense-Important-Security-Fix-now-available-in/ba-p/1569608


Wenn Sie Unterstützung benötigen, bitte nehmen Sie Kontakt mit uns auf!

Folgende FAQ hat Qlik nun bereitgestellt: https://support.qlik.com/articles/000073349


Implementing version control for Qlik Sense - Layouts

Auf QlikFix ist ein netter Artikel erschienen wie man die Qlik Sense Skripte versionieren kann. Außen vor gelassen wurde aber das Thema, wie man seine Qlik Sense Layouts in sein Versioningtool einchecken kann, ohne das es explodiert.

Das Problem ist, dass Qlik die Dashboarddefinition & das Datensegment in einem großen, binärem File speichert. Auch wenn Ihre Balkendiagramme, Pivottabellen und Geodarstellungen nur ein paar Megabyte benötigen - bei Dashboards mit einigen Millionen Datensätze ist das interne File gerne einige hundert Megabyte oder auch einige Gigabyte groß. Das tut natürlich weh, wenn man diese Dateien in das Versioning System bringen will.

Seit einigen Versionen erlaubt Qlik Sense zumindest die Applikation ohne Datensegment zu exportieren, womit die  Qlik Dashboards nur noch einige Megabyte groß sind.

Zwar ist das exportierte .qvf weiter ein binäres File (für Vergleiche also nur bedingt nutzbar), aber mit dieser Größe lässt es sich besser in Git und Konsorten zwecks Historisierung hinzufügen. Auch für Backups sind diese Dateien komfortabler, weil die Daten normalerweise aus der Quelle oder aus .qvds sowieso wiederhergestellt werden können.

Export QlikSense with no Data
Diesen Haken herausnehmen, dann hat das Dashboard nur wenige Megabyte


Leider erlaubt die QMC immer nur einzelne Qlik Sense Dashboards zu exportieren. Um den Vorgang also zu Automatisieren, bietet sich ein Blick in die Repository APIs an.


Wer sich nicht selbst ein Tool bauen kann oder will, dem ist mit dem Qlik-Cli Powershell Tool sehr geholfen. Unterhalb eine Beschreibung wie man damit automatisiert alle Dashboards ohne Daten aus der QMC exportieren kann:

Mit einer aktuellen Powershell 5 bitte die Anleitung hier beachten.

Qlik Clik install
Load Qlik-Cli

Qlik-Cli bietet viele andere Funktionen die nicht Teil dieses Blogposts sind, ein Blick in die Hilfe könnte aber interessant sein.

Qlik Cli Help
get-help Qlik


Für uns relevant ist die Funktion export-qlikapp mit dem Parameter -SkipData
Setzen wir den Parameter, werden die Qlik Sense Applikationen ohne Datensegment exportiert.

get-help export-qlikapp
get-help export-qlikapp

Wer sich für den Powershell Code interessiert, findet diesen unter C:\Program Files\WindowsPowerShell\Modules\Qlik-Cli\1.14.1\resources\app.ps1

Ich habe einige Debug Statements ergänzt, und dann das Modul mit "import-module Qlik-Cli" neu geladen.




Das eigentliche Exportieren lässt sich jetzt mit der Get-QlikApp Funktion kombinieren. Dort kann man alle relevanten Apps auf einmal filtern, und dann mit einer Pipe an die Export-QlikApp -Skipdata übergeben.

Wie man am Screenshot sieht, entstehen mit dem Befehl alle Qlik Sense Apps aus dem "Everyone" Stream. Die meisten sind zwischen 0.5 und 5 Megabyte. Die Applikation mit 15 Megabyte dürfte einiges an .kml-Dateien direkt enthalten, und ist entsprechend größer.



Andere Beispiele um Applikationen zu exportieren sind:

Export App by name
Get-QlikApp -filter "Name eq 'Operations Monitor'" | Export-QlikApp -Skipdata

Export all Apps of a Stream
Get-QlikApp -filter "stream.name eq 'Everyone'" | Export-QlikApp -Skipdata


Export all Apps of a specific user starts with qlikfinance
Get-QlikApp -filter "owner.name sw 'qlikfinance'" | Export-QlikApp -Skipdata




Welche Filter Sie an die "Get-Qlik" Funktion übergeben können finden Sie unter:

https://help.qlik.com/en-US/sense-developer/September2018/Subsystems/RepositoryServiceAPI/Content/Sense_RepositoryServiceAPI/RepositoryServiceAPI-Filtering.htm

https://community.qlik.com/t5/Qlik-Sense-Integration/QRS-API-Filtering/m-p/895398











heldendaten GmbH,2017