Für die West-Berliner Filialen einer deutschen Großbank sollte ein Echtzeit-Backup-Netz zwischen Berlin und Frankfurt aufgebaut werden. Aufgrund der Masse an Daten/Dateien und der damaligen Netzgeschwindigkeiten war dies schwierig bis unmöglich. So entstand die Idee, diese Daten vor der Übertragung zu komprimieren. Die damals bekannten Verfahren waren hinsichtlich der aufzuwendenden Ressourcen (CPU-Zeit, RAM, etc.) und deren Folgen (Paging, Elapsed Time, Beeinträchtigung anderer Prozesse, etc.) nicht praktikabel.

For the West Berlin branches of a German major bank, a real-time backup network between Berlin and Frankfurt was to be set up. Due to the volume of data/files and the network speeds at the time, this was difficult to impossible. This led to the idea of compressing the data before transmission. The methods known at the time were not feasible in terms of resource requirements (CPU time, RAM, etc.) and their consequences (paging, elapsed time, impact on other processes, etc.).

Tests ergaben, dass typische Daten des damaligen Zahlungsverkehrs um bis zu 95% komprimiert werden konnten, in der Industrie Stücklisten sogar um bis zu 98,5%. Bei Messdaten mit starker Streuung der (binären) Messwerte (ggf. sogar Fließkommawerte plus Mantisse) wurden immerhin noch über 65% erreicht, z.B. im Wetterdienst. Das Verfahren ist für Daten dieser Art als Softwarelösung äußerst performant realisierbar, insbesondere für die in Assembler codierte Großrechnerversion.

Tests showed that typical data in payment transactions at the time could be compressed by up to 95%, and in the industry, part lists even by up to 98.5%. For measurement data with a high variation in (binary) measurement values (possibly even floating-point values plus mantissa), over 65% compression was still achieved, e.g., in weather services. This method is highly efficient as a software solution for such data types, particularly for the mainframe version coded in Assembler.

Die Bank hatte mehr als 40 Rechenzentren mit unterschiedlichen Plattformen und Datenbanksystemen. Für den nächtlichen Abgleich der Änderungen in diesen Datenbanken war eine Kompressionssoftware unerlässlich. Dieser Auftrag besteht bis heute. Die Anwendungsbreite im Konzern wuchs und wächst stetig.

The bank had more than 40 data centers with different platforms and database systems. A compression software was essential for the nightly synchronization of changes in these databases. This contract remains in effect to this day. The scope of applications within the group grew and continues to grow steadily.

Von 1986 bis heute wurde FLAM für 60 Plattformen kompatibel implementiert. Damit wurde die Möglichkeit geschaffen, FLAM in verschiedenen Datenaustauschverfahren, z.B. in Clearingverfahren, zum Standard zu erklären. Dabei musste eine Vielzahl von Konvertierungsproblemen gelöst werden, um die Kompatibilität der Zeichen, Felder, Formate etc. sowie ein übertragungsgerechtes Format der FLAMFILE für das jeweilige FT-Produkt/Verfahren zu gewährleisten. Im Zahlungsverkehr gehörte dazu auch ein Format, das trotz Komprimierung druckbar und für den Filetransfer als Textdatei konvertierbar bleibt (EBCDIC <=> ASCII).

Zu den sehr vielen Plattformen, die für den Standard im Zahlungsverkehr benötigt wurden, kamen noch Vermittlungssysteme (Switches) in globalen Mobilfunknetzen für die Sicherung (lokal) und Übertragung von Messdaten an zentrale IT-Systeme für das internationale Clearing von Mess- und Abrechnungsdaten (Billing Records) von Netzbetreibern und Providern sowie deren Plattformen zur Weiterverarbeitung hinzu, wodurch FLAM auch im GSM-Netz zum Standard wurde. FLAM verbreitete sich schnell in der Kreditwirtschaft, nicht nur bei den Instituten, ihren Verbänden und Verlagen, sondern auch bei Dienstleistern, die dem Bank-, Börsen- und Kreditwesen nahestehen. Hinzu kamen das Clearing der Kartenbetreiber sowie der Umgang mit Karten bei Bestellungen und Authentifizierungen.

Die Benutzer von FLAM brauchen nicht mehr zu wissen, welches Computersystem der „Leser“ hat oder haben wird, um ein mit FLAM erstelltes FLAMFILE zu verarbeiten. So können auch FLAMFILEs dekomprimiert werden, die auf einem System erstellt wurden, das längst nicht mehr existiert. Dabei orientiert sich FLAM bei der Dekomprimierung an den Zeichenkodierungen und der Datenformatierung, die für das jeweilige System Standard sind. Es ist auch möglich, eine konvertierte Ausgabe nach eigenen Vorgaben zu steuern. Dies betrifft auch archivierte Originaldateien aus der „Vergangenheit der IT-Welt“, die mit FLAM lediglich konvertiert werden.

From 1986 to today, FLAM has been implemented to be compatible with 60 platforms. This made it possible to establish FLAM as a standard in various data exchange processes, e.g., in clearing processes. A multitude of conversion issues had to be resolved to ensure the compatibility of characters, fields, formats, etc., as well as a transmission-ready format for FLAMFILE tailored to the respective FT product/process. In payment transactions, this also included a format that remains printable and convertible into a text file for file transfer despite compression (EBCDIC <=> ASCII).

In addition to the numerous platforms required for the payment transaction standard, there were also mediation systems (switches) in global mobile networks for securing (locally) and transmitting measurement data to central IT systems for the international clearing of measurement and billing data (billing records) of network operators and providers, as well as their platforms for further processing. This made FLAM a standard in GSM networks as well. FLAM quickly spread in the financial sector, not only among institutions, their associations, and publishers but also among service providers related to banking, stock exchange, and credit industries. This included the clearing of card operators and the handling of cards for orders and authentications.

FLAM users no longer need to know which computer system the "reader" has or will have to process a FLAMFILE created with FLAM. Thus, FLAMFILEs created on systems that no longer exist can still be decompressed. FLAM aligns its decompression with the character encoding and data formatting standards of the respective system. It is also possible to control a converted output according to custom specifications. This also applies to archived original files from the "past of the IT world" that are simply converted using FLAM.

Um die Integration von FLAM in Anwendungen zu vereinfachen und völlig transparent zu gestalten, wurde ein Subsystem für den Zugriff auf das DMS (Data Management System) des MVS entwickelt, so dass FLAM wie ein I/O-Treiber zwischen Anwendung und MVS integriert werden kann (Zusatzprodukt). Es genügt der Parameter "SUBSYS=FLAM" im DD-Statement. Die Integration kann sowohl in Applikationen mit sequentieller als auch mit indexsequentieller Verarbeitung erfolgen.

Ein Großkunde nutzte dies sofort für die tägliche Verarbeitung von Massendaten - in Form von hunderten VSAM-Dateien. Dabei wurden en passant einige grundlegende VSAM-Probleme zugunsten dieser Zugriffsmethode gelöst. Die Effekte bezüglich Einsparung von CPU-Zeit, Plattenplatz und Latenzzeit in einem komplexen Prozess waren und sind sensationell. Dies liegt allein daran, dass die Kompression in autarken Einheiten (Matrizen) erfolgt, wobei sogar Sätze mit variabler Länge erlaubt sind. FLAM arbeitet mit einem eigenen, stark optimierten VSAM-Schlüsselmanagement, das auch Wiederholungen im Originalschlüssel der Anwendung zulässt.

To simplify and make the integration of FLAM into applications completely transparent, a subsystem was developed for accessing the DMS (Data Management System) of MVS. This allows FLAM to be integrated as an I/O driver between the application and MVS (add-on product). The parameter "SUBSYS=FLAM" in the DD statement is sufficient. The integration can be used for both sequential and indexed sequential processing in applications.

A major customer immediately used this for the daily processing of mass data – in the form of hundreds of VSAM files. In the process, several fundamental VSAM issues were solved in favor of this access method. The effects regarding savings in CPU time, disk space, and latency in a complex process were and still are sensational. This is solely due to the compression in self-contained units (matrices), even allowing records with variable lengths. FLAM works with its own, highly optimized VSAM key management, which also allows repetitions in the original key of the application.

Eine spezielle Anwendung zum verschlüsselten Datenaustausch benötigte eine Lösung, bei der die zu übertragende, beliebig große Datei bei Unterbrechungen durch Störungen nicht die Wiederholung der gesamten Übertragung erfordert, und zwar als in sich voll integrierbarer Prozess inklusive Komprimierung und Verschlüsselung. Durch die Bildung von autarken Einheiten war dies mit FLAM kein Problem. Man kann auf eine solche autarke Einheit, die bereits komprimiert und verschlüsselt übertragen wurde, zurückgreifen und nur den Vorgang komplett wiederholen.

A specific application for encrypted data exchange required a solution where the transmission of a large file, interrupted by disruptions, would not require repeating the entire transfer. This had to be implemented as a fully integrated process, including compression and encryption. By creating self-contained units, this was no problem for FLAM. One can rely on such a self-contained unit that has already been compressed and encrypted and only repeat the interrupted process completely.

Um bei großen Dateien die auf einmal zu übertragende Datenmenge zu begrenzen bzw. parallele Übertragungswege besser ausnutzen zu können, wurde auf Kundenwunsch das parallele und serielle Splitting von FLAMFILES bei deren Erzeugung eingeführt.

To limit the amount of data to be transferred at once for large files or to better utilize parallel transmission paths, parallel and serial splitting of FLAMFILES was introduced at the request of customers during their creation.

Es besteht die Möglichkeit, beliebige Verschlüsselungsverfahren und Schlüsselverwaltungssysteme auf einfache Weise anzupassen. Dazu wird die FKME (FLAM Key Management Extension) verwendet. Damit ist es auch möglich, FLAM mit einem im jeweiligen System vorhandenen HSM (Hardware Security Module) zu verknüpfen. Wenn der Benutzer den Schlüssel und/oder das Verschlüsselungsverfahren ändern muss, ist es ausreichend, die Änderung auf den Header des FLAMFILE zu beschränken. Die verschlüsselten Segmente/Member inkl. MACs müssen nur kopiert werden. Über diese Service Provider Schnittstelle wurde beispielsweise eine PCIDSS-konforme Lösung für die Bestellung von Debit- und Kreditkarten geschaffen, die mittlerweile weltweit im Einsatz ist.

It is possible to adapt any encryption methods and key management systems easily. The FKME (FLAM Key Management Extension) is used for this purpose. This also allows FLAM to be linked with an HSM (Hardware Security Module) present in the respective system. If the user needs to change the key and/or encryption method, it is sufficient to limit the changes to the header of the FLAMFILE. The encrypted segments/members, including MACs, only need to be copied. Through this service provider interface, a PCI DSS-compliant solution for ordering debit and credit cards was created, which is now used worldwide.

Dieses Verfahren kann z.B. auf z/OS über das FLAM-Subsystem in eine Applikation integriert werden; auf anderen Plattformen bietet FLAM die entsprechenden Schnittstellen. Damit steht nun eine perfekte Lösung zur Verfügung, die sicherstellt, dass Klartextdaten die jeweilige Applikation bei ihrer Entstehung nicht verlassen und auch nicht außerhalb einer Applikation entschlüsselt werden. Man muss also immer erst dann entschlüsseln und dekomprimieren, wenn die Klardaten innerhalb der jeweiligen Applikation tatsächlich benötigt werden, ohne dass die Applikation davon etwas mitbekommt. Dies ist die sicherste Lösung für Ende-zu-Ende-Sicherheit. Der Anwender (über-)erfüllt damit die Anforderungen des PCIDSS (Payment Card Industry Data Security Standard).

This method can, for example, be integrated into an application on z/OS via the FLAM subsystem; on other platforms, FLAM offers the appropriate interfaces. This provides a perfect solution to ensure that plaintext data does not leave the application at the time of its creation, nor is it decrypted outside the application. Decryption and decompression only occur when the plaintext data is actually needed within the respective application, without the application being aware of it. This is the most secure solution for end-to-end security. The user meets (or even exceeds) the requirements of the PCI DSS (Payment Card Industry Data Security Standard).

Mit unseren neuen FLAM5-Archiven integrieren wir die bisherige Vollzugriffslösung mit FLAM in unser Archivformat, das nun ein eigenes inkrementelles Dateisystem (jede Änderung führt zu einer neuen Version) darstellt, das mit 3 verschiedenen Schlüsseln arbeitet. Dadurch ist es möglich, den Zugriff auf das Inhaltsverzeichnis, den Zugriff auf den Index der einzelnen Member des Archivs (Suche) und den Zugriff auf die eigentlichen Daten zu trennen. Durch einen zusätzlichen Parameterstring, mit dem der Zugriff auf Member, Formate und Spalten eingeschränkt werden kann, lassen sich verschiedene Sichten auf die Daten realisieren. Dies dient beispielsweise dazu, eine sichere Drittverwendung der Daten in der Cloud zu realisieren, indem bestimmte Spalten mit sensiblen Daten (Kreditkartennummer, personenbezogene Daten) anonymisiert werden.

Die neuen Archive erlauben den vollen Zugriff mit Insert, Update, Delete und Select auf einzelne Datensätze bzw. deren Spalten. Die gesamte Lösung wurde für den Einsatz in und mit der Cloud entwickelt und sichert damit den zukünftigen Nutzen von FLAM für unsere Kunden, indem wir wie bisher die Datenmengen und Datenzugriffe reduzieren, die Sicherheit erhöhen, uns nahtlos integrieren und damit die Kosten massiv senken.

With our new FLAM5 archives, we integrate the previous full-access solution with FLAM into our archive format, which now represents its own incremental file system (each change leads to a new version) that works with 3 different keys. This makes it possible to separate access to the table of contents, the index of individual members (search), and the actual data. Using an additional parameter string that can restrict access to members, formats, and columns, various views of the data can be implemented. This serves, for example, to enable secure third-party use of data in the cloud by anonymizing certain columns with sensitive data (credit card numbers, personal data).

The new archives allow full access with insert, update, delete, and select operations on individual records or their columns. The entire solution was developed for use in and with the cloud and ensures the future utility of FLAM for our customers by continuing to reduce data volumes and data access, increasing security, integrating seamlessly, and thereby massively reducing costs.