Neues über Datenbanken — Sommer 2018

Bloß nicht den Überblick verlieren: Hier sind die wichtigsten Datenbank-Neuigkeiten der letzten Monate.

SQL weiter im Aufwind

Google’s Sinneswandel hin zu SQL hat schon in meinem letzten Newsletter Erwähnung gefunden. Nun hat Google in einem neuen Artikel eine weitere Eskalationsstufe früherer Aussagen erreicht: In der originalen Spanner-Abhandlung (2012) hieß es noch, dass strenge Konsistenz, wie sie SQL-Datenbanken bietet, zu weniger Problemen führt, als das bei NoSQL-Systemen verbreitete Eventual-Consistency-Modell. Im F1-Paper (2013) wurde eventual consistency dann schon als „inakzeptable Belastung‟ für Entwickler bezeichnet. Diesmal hat es die Botschaft direkt in den Titel geschafft: Why you should pick strong consistency, whenever possible.

Auch Amazon scheut sich nicht, SQL und dem relationalen Modell ein paar Vorzüge zuzugestehen. Bei der letzten AWS re:Invent-Konferenz wurde auf dem offiziellen Twitter-Account verkündet: SQL on the relational schema is orders of magnitude faster than JSON processing.

Der ehemals zugkräftige Marketingbegriff NoSQL verkommt also langsam zum Kennzeichen eines Mangels. Ohne SQL fehlt eben doch etwas. Kein Wunder, dass sich immer mehr Systeme durch die Einführung einer SQL-Schnittstelle von diesem Begriff distanzieren. Vor Kurzem war es mit Elasticsearch ein besonders etabliertes System.

Die weitere Verbreitung von SQL endet nicht NoSQL-Systemen. Auch traditionelle SQL-Datenbanken werden um moderne SQL-Funktionen erweitert. Dazu habe ich anlässlich des Erscheinens von MySQL 8.0 einen ausführlichen Artikel verfasst.

Cloud First

Oracle hat den Versionssprung von 12.2 auf 18 vollzogen und stellt die neue Datenbankversion – wie zuletzt – vorerst nur in der Oracle-Cloud und für Engineered Systems zur Verfügung. Im krassen Gegensatz zu einer bedeutungsvollen Versionierung kennzeichnet der Versionssprung lediglich einen Patchlevel. Nach dem alten Schema wäre es Version 12.2.0.2 geworden. Nur die letzte Stelle hätte sich erhöht. Aus Sicht eines Entwicklers sind die Neuerungen dementsprechend unspektakulär.

Aber nicht jedes Unternehmen liebt die Cloud so sehr wie Oracle. So musste SAP kürzlich die schmerzliche Entscheidung treffen, die Cloud-Lösung SAP Anywhere nach zwei Jahren einzustellen – offenbar konnte man in dieser Zeit nur 30 Kunden gewinnen.

Technologie und Wissenschaft

Das bestimmende technologische Thema war natürlich die Spectre- und Meltdown-Sicherheitslücken. Diese Lücken werfen einen Schatten auf Cloud-Umgebungen, in denen einzelne Server von mehreren Kunden gleichzeitig genutzt werden, weil dadurch die Abgrenzung zwischen den Kunden durchbrochen werden kann, sodass ein böswilliger Nutzer andere Nutzer auf derselben Hardware ausspionieren kann. Da diese Sicherheitslücken einen Hardwarefehler ausnutzen, betreffen sie natürlich nicht nur Datenbanken.

Das „Fsyncgate“ trifft dagegen nur Software, die „buffered IO“ nutzt, um Daten dauerhaft zu speichern – wie z. B. manche Datenbanken. Der Kern des Problems ist, dass Fehler, die beim Zurückschreiben des Betriebssystemcaches auftreten, unter gewissen Umständen verloren gehen können. Die Datenbank kann in diesem Fall keine Fehlerbehandlung durchführen. Entdeckt hatte das Problem Craig Ringer von 2ndQuadrant - einem PostgreSQL Consulting Unternehmen. Der Ursprung des Problems ist wohl eine Unterlassung in der POSIX-Spezifikation von fsync(). Dort wird das weitere Verhalten nach dem Melden eines Fehlers nicht spezifiziert, sodass Anwendungs- und Betriebssystementwickler unterschiedliche Erwartungen hatten. Bezüglich Linux hatte Matthew Wilcox, Linux-Kernel-Hacker bei Microsoft (!), einen Vortrag auf PostgreSQL-Entwickerkonferenz PgCon gehalten und sich für die Probleme entschuldigt.

Frei nach dem Motto „erschießt den Boten“ musste PostgreSQL einige Kritik für Fsyncgate wegstecken. Tatsächlich ist PostgreSQL von diesem Problem besonders betroffen, da es kein direct IO unterstützt. Potentiell betroffen sind aber auch andere Datenbanken – genauer gesagt jegliche Software, wenn sie buffered IO verwendet. Das ist zum Beispiel auch MySQL in der Standardkonfiguration auf zahlreichen Unixderivaten.

Ansonsten gab es für PostgreSQL nur gute Nachrichten: Von DB-Engines.com wurde PostgreSQL zur Datenbank des Jahres 2017 gekürt. Bei einem Vergleich der Sourcecode-Qualität von Firebird, MySQL und PostgreSQL ging PostgreSQL – ex aequo mit Firebird – als Sieger hervor. Mit viermal so vielen Minuspunkten folgt MySQL in diesem Vergleich an zweiter und damit letzter Stelle.

Vonseiten der Wissenschaft hat ein Google-Paper über Indizierung – noch immer meine Leidenschaft, seit ich SQL Performance Explained geschrieben habe – eine verwegene Behauptung aufgestellt: Man hat neuronale Netzwerke trainiert, die um Faktoren kleiner und beim Suchen 70 % schneller sind als traditionelle Indexstrukturen wie der B-Tree. Das gilt jedoch erst, wenn das Netzwerk einmal trainiert ist. Das Trainieren selbst dürfte ein unverhältnismäßig hoher Aufwand sein, sodass die Anwendung dieser Idee vorerst auf statische Datenbestände limitiert ist. Für die Google-Suchmaschine also durchaus in interessantes Konzept – für allgemeine Indizierung eher weniger.

Neue Hauptversionen

In den letzten Monaten gab es zwei beeindruckende Releases:

MySQL 8.0 (April 2018)

Nach unerträglich langen 19 Monaten seit der ersten „development milestone release (DMR)“ im September 2016 hat MySQL 8.0 im April 2018 endlich Produktionsreife erlangt. Die Relevanz dieses Release für alle SQL-Nutzer kann ich nicht genug betonen – daher nochmals der Hinweis auf meinen Artikel „Ein gigantischer Sprung für SQL: MySQL 8.0 veröffentlicht“.

Die bahnbrechenden Neuerungen sind natürlich

• Window-Funktionen und

• Die with-Klausel (auch rekursiv).

Endlich hat sich MySQL über SQL-92 hinaus entwickelt und eröffnet diese modern SQL-Funktionen einer riesigen Benutzergemeinde.

Nach einer so langen Entwicklungszeit gibt es natürlich zahlreiche Neuerungen. Mysqlserverteam.com hat eine übersichtliche Zusammenfassung.

MariaDB 10.3 (Mai 2018)

Besonders nennenswert ist die Einführung von system-versionierten Tabellen entsprechend des SQL-Standards. Diese Funktion hätte jeder schon einmal gebraucht und führt bei meinen „modern SQL“-Vorträgen immer wieder zu besonderem Interesse. Da MariaDB diese Funktion als erste gängige, Gratis-Open-Source Datenbank unterstützt, setzt sie die Mitbewerber damit durchaus unter Druck. Demnächst veröffentliche ich einen detaillierten Artikel über MariaDB 10.3 auf modern-sql.com.

Auf mariadb.com gibt es natürlich die Release-Notes.

Neues auf meinen Webseiten

• Mein Buch „SQL Performance Explained“ ist auf Spanisch erschienen.

• Der komplette Inhalt auf Use The Index, Luke! und modern SQL wurde für MySQL 8.0 überarbeitet.

• Neuer Artikel: NULL in SQL: Platzhalter für fehlende Daten.

• Neuer Artikel: NULL-sichere Vergleiche: is [not] distinct from

• Neuer Artikel: Die dreiwertige Logik von SQL

• Neue Folien: Modernes SQL: Wie PostgreSQL die Konkurrenz aussticht (vorgetragen: FOSDEM und PgConf.de).

• Neuer Artikel: Ein gigantischer Sprung für SQL: MySQL 8.0 veröffentlicht.

• Neuer Artikel und Folien: PostgreSQL Standard-SQL Gap-Analyse (vorgetragen auf der PgCon in Ottawa).

• Neues Video: Aufzeichnung meines „modern SQL“-Vortrages bei den Grazer Linuxtagen 2018

Via Twitter, in aller Kürze (folge mir auf Twitter)

• SQL Server is on Linux, but the Management Studio requires Windows. Now there is the “SQL Operations Studio” which also runs on Linux & Mac.

• mssql-cli: a new interactive command line tool for SQL Server (cross-platform)

• New on my website: a compilation of stuff I have for developers. https://winand.at/developers Websites, slides, events, books, geek-ware, training.

• 3 Reasons I Hate Booleans In Databases • by Jeff Potter (@jpotts18)

• If there is one tip I give junior developers, it is to truly understand these two concepts: - instructions (most do!) - expressions (many don’t)

• KISS should have a third S: keep it simple, stupid and secure. #pgconfde

• Quiz on SQL Window Functions — test your knowledge now! http://www.windowfunctions.com

• Fully agree with this quote from the slides: “When you need to write data back to the database, entities are very useful. For read-only data, you should always use projections!”

• Hmmm...T495, “Combined data change and retrieval” <data change delta table> ::= <result option> TABLE <left paren> <data change statement> <right paren> That one hasn’t crossed my path yet.

• “We all know by heart that PostgreSQL is better than MySQL—we just have to write the code that makes it true.” — @robertmhaas at @PGCon yesterday. (quoted from memory—probably not the exact words).

• Bullshit bingo time. Which of the following buzzwords will make it into my @PGCon talk “Standard SQL Gap Analysis” tomorrow?

• The solution to the Bullshit Bingo is: GDPR because standard system-versioning does not allow deleting historical data (right of erasure?)

• usql — A universal command-line interface for PostgreSQL, MySQL, Oracle Database, SQLite3, Microsoft SQL Server, and other SQL databases inspired by PostgreSQL’s psql.

• Downvoting “poorly phrased” questions on StackOverflow pretty much defeats the rationale of a QA site. If people could phrase their questions better, they might not need to ask in the first place.

• A Primer on MySQL Online Schema Change

• We’re excited to share learnings from a deep-diving training on #PostgreSQL, our go-to database, directly from SQL guru @MarkusWinand

• “How *not* to structure your database-backed web applications: a study of performance bugs in the wild” Yang et al., ICSE’18. A look into some of the performance issues that can creep into codebases when using ORMs...

SQL Renaissance Ambassador

Als SQL Renaissance Ambassador ist es meine Mission, Entwickler auf die Evolution von SQL im 21. Jahrhundert aufmerksam zu machen. Mein Buch „SQL Performance Explained“ ist in fünf Sprachen erschienen und kann online kostenlos auf use-the-index-luke.com gelesen werden. Mein nächstes Buch kann bereits während des Entstehens online gelesen werden (modern-sql.com). Allen SQL-interessierten Unternehmen und Entwicklern stehe ich als Trainer, Sprecher und Berater zur Verfügung. Mehr Infos dazu auf winand.at.