CFX

Anwendungsbereich: Finite Elemente

Beschreibung:

ANSYS CFX ist ein leistungsfähiges Finite-Volumen-Programmpaket zur Lösung von strömungsmechanischen Problemen aus dem CFD- (Computational Fluid Dynamics) Anwendungsbereich.

Verfügbar auf RRZN-Systemen:

• RRZN-Computeserver
• Hochleistungsrechner Nord (HLRN)

Betreuer: Gerd Brand

Lizenzmodell: Uni Hannover Institutsrechner

• Allgemeines
• Funktionalität
• Installation auf den RRZN-Computeservern
• Benutzung von ANSYS CFX auf den RRZN-Computeservern
• Dokumentation und Beispiele

Die Programmentwicklung und der Vertrieb von ANSYS CFX erfolgt über ANSYS Inc., USA (siehe die Webseite http://www.ansys.com) bzw. über die deutsche Niederlassung ANSYS Germany (siehe die Webseite http://www.cfx-germany.com ). Desweiteren wird ANSYS in Deutschland (und einigen weiteren Ländern) auch von der CAD-FEM Gmbh (siehe die Webseite http://www.cadfem.de) vertrieben.

Hinweis:

Diese Dokumentation beschreibt die Besonderheiten der Installation und der Verwendung von ANSYS CFX auf den RRZN-Computeservern. Die Nutzung von ANSYS CFX auf dem HLRN-Rechner wird dagegen auf den Webseiten des HLRN beschrieben (siehe http://www.hlrn.de/).Für eine ausführlichere Einführung in ANSYS CFX sei auf die Web-Seite von ANSYS Germany verwiesen.

ANSYS CFX ist ein leistungsfähiges Finite-Volumen-Programmpaket zur Lösung von strömungsmechanischen Problemen aus dem CFD- (Computational Fluid Dynamics) Anwendungsbereich in komplexen Geometrien. Es bietet umfangreiche physikalische Modelle für

• laminare und turbulente Strömungen
• inkompressible und kompressible Fluide
• stationäre und instationäre Vorgänge
• sub, trans- und supersonische Strömungen
• simultane Berechnung stehender und bewegter Bauteile (Rotor-Stator-Interaktion, Moving Mesh)
• Mehrphasenströmungen, freie Oberflächen
• Wärme- und Stofftransport, Wärmedurchgang
• Strahlung
• Verbrennung, chemische Reaktionen
• Verdampfung, Kondensation
• Fluid-Struktur-Interaktion
• freie Konvektion und Schadstoffausbreitung

ANSYS CFX basiert auf modernster Solvertechnologie (coupled MultiGrid-Solver) in Verbindung mit exzellentem Pre- und Postprozessing. Die modular aufgebaute Software vereint die Vorteile von strukturierten und unstrukturierten Rechengittern und zeichnet sich durch exakte physikalische Modelle, ein robustes Lösungsverfahren und effiziente Parallelverarbeitung aus. Die automatische Gittergenerierung und die optimale Anbindung an alle gängigen CAD-Systeme erlauben eine einfache Handhabung von komplexen Geometrien. Für die Simulation von Fluid-Struktur-Interaktion existiert eine integrierte Kopplung zur ANSYS FE-Umgebung.

Eine ausführliche Beschreibung der Modellierungsfähigkeiten und eine Anzahl von Tutorialbeispielen kann man in der Online Dokumentation finden (siehe Punkt 6 „Dokumentation und Beispiele“). Für weitere Informationen über die Merkmale des Paketes und über Beispiele aus der Industrie siehe die Web-Seite von ANSYS Germany (siehe oben).

ANSYS CFX enthält neben dem Löser cfx5solve den Präprozessor cfx5pre (Geometrie- und Netzgenerator) und den Postprozessor cfx5post sowie Schnittstellen zu externen Prä- und Postprozessoren. ANSYS CFX bietet grafische Ausgaben über eine grafische Nutzer-Schnittstelle (GUI) mit Online Unterstützung für das Prä- und Postprocessing an.

Die derzeit auf den RRZN-Computeservern installierten CFX Versionen und die Produkte sind:

• ANSYS CFX 13.0 SP2
• Online Dokumentation

ANSYS CFX auf den RRZN-Computeservern ist ein 64-Bit Programm.

 Die aktuelle Lizenz beinhaltet (für RRZN-Computeserver)

• maximal 16 gleichzeitige Nutzer plus (insgesamt) maximal 200 parallele Prozesse

Die einzelnen Softwarepakete auf den RRZN-Computeservern werden über Modules benutzbar gemacht. Mit dem module-Befehl werden Umgebungen für spezifische Softwarepakete eingerichtet oder auch wieder entfernt. Eine Übersicht ergibt das Kommando module avail . Für mehr Informationen über das Module-Konzept auf den RRZN-Computeservern sei auf die Seite Modules verwiesen.

Das Paket ANSYS CFX 13.0 (Default Version) steht daher nach dem Kommando

 module load cfx

zur Benutzung zur Verfügung.

Wenn Sie planen, ANSYS CFX regelmäßig zu nutzen, sollten Sie die Zeile module load cfx zu Ihrem Benutzerprofil (.profile, .bashrc oder .kshrc) hinzufügen.

Vor der ersten Benutzung: Lizenzen konfigurieren

Sie müssen vor der ersten Benutzung von ANSYS CFX (Version 12.0 und höhere)  folgende (einmalige!) Aktion durchführen: 

Rufen Sie die ANSLIC_ADMIN Utility auf (dazu muss X11-Ausgabe möglich sein):

  /sw/aws/eng/ansys_inc/shared_files/licensing/lic_admin/anslic_admin

oder:

  module load cfx
  anslic_admin

dann "Set License Preferences for User <your username>" anklicken (s. auch Installation auf Institutsrechnern). Anschließend bewegen Sie bitte den Eintrag "ANSYS Academic Research CFD" in der Liste ganz nach oben, indem Sie auf diesen Eintrag klicken und ihn mit dem "Move up"-Button schrittweise nach oben schieben.

Diese sogenannte Client Konfiguration müssen Sie für jede Version von ANSYS CFX einmal durchführen. Sie bezieht sich auf alle ANSYS Produkte (also auch auf ANSYS und ANSYS Fluent).

Ihre Preferences für Version 13.0 werden in der Datei $HOME/.ansys/v130/licensing/license.preferences.xml gespeichert.

Bitte rechnen Sie kleine Modelle (<512.000 Elemente) mit nicht mehr als 4 parallelen Prozessen, Sie können damit die Lizenzen vom Typ "ANSYS Academic Teaching Advanced" benutzen und der Einsatz von mehr als 4 Prozessoren lohnt hier sowieso kaum.

Nutzungsformen

Im Allgemeinen kann ANSYS CFX auf verschiedene Art und Weise verwendet werden: interaktiv (Dialogbetrieb) oder im Batch, seriell oder parallel, mit einer grafischen Nutzer-Schnittstelle (GUI) oder mit einer Kommandozeilen-Schnittstelle. Auf den RRZN-Computeservern sind folgende Kombinationen möglich:

Interaktiv:      auf Orac, und Avon ; auf den Batchrechnern nur über interaktive Batchsitzung; alle Schnittstellen; seriell, im interaktiven Batch auch parallel

Batchbetrieb: Kommandozeilen-Schnittstelle; seriell oder parallel

4.1. Interaktive Nutzung von ANSYS CFX mit der GUI-Version

1. Setzen der Umgebung:

 module load cfx

Evtl. ist es zusätzlich nötig, auf Ihrer Workstation xhost auf orac.rrzn.uni-hannover.de zu setzen und auf Orac selbst die DISPLAY Variable auf die Adresse Ihrer Workstation.

Die nächsten Schritte beschreiben die empfohlenen Vorgehensweisen für den Zugriff auf ANSYS CFX unter X11. Diese Vorgehensweisen verwenden beispielhaft den Fall StaticMixer aus dem von ANSYS CFX mitgelieferten Verzeichnis examples (siehe „Dokumentation und Beispiele“).

 
2. Die Beispieldatei kopieren:

   für CFX 13.0:

        cp /sw/aws/eng/ansys_inc/v130/CFX/examples/StaticMixer.def .

 
3. Aufruf der GUI-Version des Präprozessors:

cfx5pre  

Das startet den Präprozessor, danach folgende Aktionen im GUI ausführen:

File -> Open Simulation -> select StaticMixer.def

File -> Write Solver File; name: test1.def
                                       operation: Write Solver File

File -> Quit cfx5pre

4. Aufruf der GUI-Version des Lösers:

cfx5solve  

Das startet den Löser. Bitte rufen Sie den Löser in dieser Form nur für kleine Testfälle auf, die wenige Ein-/Ausgabedaten und nur wenig Rechenzeit benötigen! Für größere Fälle müssen Sie dagegen wie in Punkt 4.2 beschrieben vorgehen, d.h. Nutzung des Lösers im Batchbetrieb auf den Rechenknoten.

 
Nach dem Start folgende Aktionen im GUI ausführen:

File -> Define Run -> Definition File -> select test1.def

Start Run  (und ein paar Sekunden warten, da das Beispiel klein ist; Ergebnis wird in test1_001.res abgelegt)

File -> Quit cfx5solve

 
5. Aufruf der GUI-Version des Postprozessors:

cfx5post  

Das startet den Postprozessor, danach folgende Aktionen im GUI ausführen:

File -> Load Results -> select test1_001.res

erzeugen Sie z.B. eine einfache Ebene und wechseln Sie den Modus der Farbfelder von
Konstanten zu Variablen

durch das Drücken irgendeiner Taste sollten Sie dann den Kontur Plot des Druckes auf der Ebene sehen

File -> Quit cfx5post

 

Die Optionen, die bei dem Aufruf des Präprozessors, des Lösers und des Postprozessors jeweils angegeben werden können, bekommen Sie durch die Angabe –help:

cfx5pre –help

cfx5solve –help

cfx5post –help

4.2 Aufruf von ANSYS CFX im Batchbetrieb

Eine Berechnung mit ANSYS CFX sollte nur für kleine Testfälle oder Beispiele interaktiv auf Orac ausgeführt werden. Für größere Fälle ist dagegen die Nutzung des Lösers auf den Rechenknoten der Computeserver erforderlich. Diese Rechenknoten sind nicht direkt erreichbar, sondern nur im Batchbetrieb. Hier wird beschrieben, wie der Löser im seriellen Modus oder im parallelen Modus auf den Rechenknoten innerhalb eines Batch-Jobs aufgerufen werden kann. Zur Abgabe von Batch-Jobs steht auf den RRZN-Computeservern das Batchsystem Torque/PBS zur Verfügung.

1. Bereiten Sie ein ausführbares Shellskript (d.h. ein PBS-Batchskript) vor, das PBS-Kommandos und den Aufruf des CFX-Programms enthält. Am Anfang muss die Umgebung wiederum durch module load cfx gesetzt werden.

2. Schicken Sie von Orac aus das Batchskript (z.B. namens jobscript) ab:

qsub jobscript

3. Eine Statusabfrage für diesen Job und andere ist möglich mit dem Kommando:

qstat -a

Für weitere Informationen über nützliche PBS-Kommandos und Einstellungen sei auf die Webseite von Torque/PBS verwiesen.

Der serielle Modus kann für mittelgroße Beispiele oder Testfälle verwendet werden. Punkt 4.2.1 zeigt ein Beispiel für ein entsprechendes Batchskript. Bei größeren Testfällen ist dagegen das Rechnen im parallelen Modus (d.h. auf mehreren Prozessoren gleichzeitig) besser geeignet, um schneller ein Ergebnis zu erhalten. Die Berechnungszeit verkürzt sich dabei im Idealfall proportional zur Anzahl der beteiligten Prozessoren.

Für die parallele Berechnung erzeugt CFX automatisch eine Gebietszerlegung, wobei die Anzahl der Teilgebiete gleich der Anzahl der parallelen Prozesse ist und jeder Prozess dann nur noch auf einem Teilgebiet rechnet und mit den anderen Prozessen benötigte Daten austauscht. Dabei ist zu beachten, dass diese Teilgebiete nicht zu klein gewählt werden, da sonst die erwartete Verkürzung der Berechnungszeit im parallelen Modus nicht erreicht wird. Als Empfehlung wird gegeben: Die Teilgebiete sollten für das parallele Rechnen jeweils pro Prozess minimal 100.000 Zellen enthalten.

4.2.1 Aufruf von ANSYS CFX im Batchbetrieb im seriellen Modus

Bereiten Sie ein Batchskript vor, das vom Login-Knoten aus mit dem Kommando qsub abgeschickt wird.

Beispiel für ein Batchskript, wenn ANSYS CFX seriell auf einem Knoten laufen soll:

      #PBS -S /bin/bash
      #PBS -N testcase.serial
      #PBS -j oe
      #PBS -l walltime=00:20:00
      cd $PBS_O_WORKDIR
      . $MODULESHOME/init/bash
      module load cfx
      # start program for serial run;
      # (assuming that an input file testcase.def has been created before):
      cfx5solve -def testcase.def

Die Optionen, die beim cfx5solve-Aufruf angegeben werden können, können Sie in der Online-Dokumentation nachlesen.

4.2.2 Aufruf von ANSYS CFX im Batchbetrieb für Shared Memory

Hier wird beschrieben, wie ANSYS CFX im parallelen Modus mit gemeinsam adressierbarem Speicher auf genau einem Rechenknoten (nodes=1:ppn=...) innerhalb eines Batch-Jobs aufgerufen werden kann. 

Beispiel für ein Batchskript, in dem vier Rechenkerne (auf einem Knoten!) angefordert werden:

      #PBS -S /bin/bash
      #PBS -N testcase.shared
      #PBS -j oe
      #PBS -l nodes=1:ppn=4
      #PBS -l walltime=00:10:00

      # provide ANSYS CFX through modules call: 
      . $MODULESHOME/init/bash
      module load cfx

      # change to work dir:
      cd $PBS_O_WORKDIR

      # calculate number of threads for shared memory computation
      nthr=$(cat $PBS_NODEFILE | wc -l)
      echo "nthreads = "$nthr

      # start program for local parallel run;
      # (assuming that an input file testcase.def has been created before):
      cfx5solve -def testcase.def -start-method 'HP MPI Local Parallel' -part $nthr

Bitte benutzen Sie die "MPI Local Parallel"-Version genau auf diese Art und Weise (Verwendung der Variablen nthr), da so sichergestellt ist, dass genau die angeforderte Anzahl von Rechenkernen (nodes=1:ppn=..) zum Einsatz kommt.

4.2.3 Aufruf von ANSYS CFX im Batchbetrieb im Distributed Memory Modus

Hier wird beschrieben, wie ANSYS CFX im parallelen Modus mit verteiltem Speicher auf mehreren Rechenknoten innerhalb eines Batch-Jobs aufgerufen wird.

Beispiel für ein Batchskript, in dem zwei Knoten und vier Rechenkerne pro Knoten angefordert werden:

      #PBS -S /bin/bash
      #PBS -N testcase.distr
      #PBS -j oe
      #PBS -l nodes=2:ppn=4
      #PBS -l walltime=00:10:00

      # provide ANSYS CFX through modules call: 
      . $MODULESHOME/init/bash
      module load cfx

      # change to work dir:
      cd $PBS_O_WORKDIR

      # this is for creating the correct HOST string
      create_cfx_machine_file machines
      read HOST < machines
      echo $HOST

      # start program for distributed parallel run;
      # (assuming that an input file testcase.def has been created before):
      cfx5solve -def testcase.def -par-dist $HOST -start-method 'HP MPI Distributed Parallel'

Es gibt eine umfangreiche Benutzerdokumentation mit PDF Dateien, die von ANSYS mitgeliefert wird. Sie ist zu finden als Online Dokumentation.

 Tutorials bzw. Beispieldateien findet man auf Orac in:

/sw/aws/eng/ansys_inc/v130/CFX/examples

Die Beschreibung zu den Tutorials ist in der Benutzerdokumentation enthalten.