#33 Postgres als DWH

Techtiefen

PostgreSQL (Postgres) gilt als die fortschrittlichste und mächtigste Open Source Datenbank. Dank breiter Unterstützung des SQL-Standards, langjähriger Stabilität und einer großen Community ist sie heute häufig die erste Wahl zur Speicherung tabellarischer Daten.

Hans-Jürgen Schönig arbeitet seit über 20 Jahren als Postgres Consultant und beschreibt im Podcast, wo die Stärken der relationalen Datenbank liegen und wie Transaktionssicherheit für DDLs das Handling großer Systeme erleichtert. Zudem erklärt er, wieso man Performance-Bottlenecks nicht in Load-Graphen sondern in den Abfragen selbst suchen soll und gibt Tipps um die Ausführungszeiten jener zu reduzieren.

Anders als analytische Datenbanken oder etwa Apache Parquet (Folge 31) ist Postgres zeilenorientiert. Dank der Erweiterung Postgres in vielerlei Hinsicht zu erweitern, bietet sich dennoch die Möglichkeit Postgres auch für analytische Workloads wie etwa im DWH-Umfeld einzusetzen. Thomas Richter hat hierfür (Swarm64) gegründet, ein Startup das Postgres um einen Columnstore Index erweitert und mit zusätzlichen Statistiken und Operatoren die Planung und Ausführungszeit von Abfragen reduziert. Thomas gibt im Podcast hierfür Einblicke wie Postgres Abfragen parallel ausführt ohne Konsistenz-Garantien zu verletzen.

Abschließend vergleichen wir gemeinsam die Performance von Postgres mit kommerziellen Konkurrenzprodukten und open source Alternativen wie Greenplum.

Links:

• PostgreSQL performance in 5 minutes Vortrag von Hans-Jürgen Schönig
• Cybertec Blog
• Swarm64 Blog
• Parallelismus in PostgreSQL (praktische Tipps und Tricks)
• Parquet Reader vom Berliner Ad-Tech Start-up Adjust
• Einige Custom Data Types: pg-country, pg-currency, pg-os_name

Hoofdstukken

1. Hallo (00:00:32)

2. Zu Gast: Hans-Jürgen Schönig & Thomas Richter (00:01:18)

3. Frage & Antwort (00:07:40)

4. PostGres (00:09:07)

5. Transaktionen & ACID (00:14:22)

6. Parallele Ausführung (00:19:53)

7. Performance Tuning (00:27:51)

8. Analytische Abfragen (00:35:58)

9. Columnstore Index (00:41:31)

10. Custom Data Types (00:47:47)

11. PostGres Okösystem (00:54:07)

12. Swarm64 Performance (01:06:18)

13. PostGres Alternativen (01:08:38)

14. Plädoyer für Single Database (01:13:29)

15. Exclusion Constraints (01:19:39)

16. Links (01:23:18)