skip to main content
OSTI.GOV title logo U.S. Department of Energy
Office of Scientific and Technical Information

Title: Highly-parallelized simulation of a pixelated LArTPC on a GPU

Journal Article · · Journal of Instrumentation
 [1]; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; more »; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; « less
  1. European Organization for Nuclear Research (CERN), Meyrin (Switzerland). DUNE Collaboration.et al.

The rapid development of general-purpose computing on graphics processing units (GPGPU) is allowing the implementation of highly-parallelized Monte Carlo simulation chains for particle physics experiments. This technique is particularly suitable for the simulation of a pixelated charge readout for time projection chambers, given the large number of channels that this technology employs. Here we present the first implementation of a full microphysical simulator of a liquid argon time projection chamber (LArTPC) equipped with light readout and pixelated charge readout, developed for the DUNE Near Detector. The software is implemented with an end-to-end set of GPU-optimized algorithms. The algorithms have been written in Python and translated into CUDA kernels using Numba, a just-in-time compiler for a subset of Python and NumPy instructions. The GPU implementation achieves a speed up of four orders of magnitude compared with the equivalent CPU version. The simulation of the current induced on 10^3 pixels takes around 1 ms on the GPU, compared with approximately 10 s on the CPU. The results of the simulation are compared against data from a pixel-readout LArTPC prototype.

Research Organization:
Brookhaven National Laboratory (BNL), Upton, NY (United States); Lawrence Berkeley National Laboratory (LBNL), Berkeley, CA (United States); Los Alamos National Laboratory (LANL), Los Alamos, NM (United States); Pacific Northwest National Laboratory (PNNL), Richland, WA (United States); SLAC National Accelerator Laboratory (SLAC), Menlo Park, CA (United States); Fermi National Accelerator Laboratory (FNAL), Batavia, IL (United States); Argonne National Laboratory (ANL), Argonne, IL (United States); Virginia Polytechnic Inst. and State Univ. (Virginia Tech), Blacksburg, VA (United States)
Sponsoring Organization:
USDOE Office of Science (SC), High Energy Physics (HEP); USDOE Office of Science (SC), Basic Energy Sciences (BES). Scientific User Facilities (SUF)
Contributing Organization:
DUNE Collaboration; DUNE
Grant/Contract Number:
SC0012704; AC02-07CH11359; AC02-05CH11231; SC0023471
OSTI ID:
1972465
Alternate ID(s):
OSTI ID: 1908209; OSTI ID: 2242418
Report Number(s):
BNL-224272-2023-JAAM; FERMILAB-PUB-22-926-LBNF; arXiv:2212.09807; TRN: US2313801
Journal Information:
Journal of Instrumentation, Vol. 18, Issue 04; ISSN 1748-0221
Publisher:
Institute of Physics (IOP)Copyright Statement
Country of Publication:
United States
Language:
English

References (30)

Volume I. Introduction to DUNE journal August 2020
Argon, krypton, and xenon excimer luminescence: From the dilute gas to the condensed phase journal August 1989
Study of electron recombination in liquid argon with the ICARUS TPC
  • Amoruso, S.; Antonello, M.; Aprili, P.
  • Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment, Vol. 523, Issue 3 https://doi.org/10.1016/j.nima.2003.11.423
journal May 2004
Drift velocity of free electrons in liquid argon journal July 2000
Analysis of the liquid argon purity in the ICARUS T600 TPC
  • Amoruso, S.; Antonello, M.; Aprili, P.
  • Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment, Vol. 516, Issue 1 https://doi.org/10.1016/j.nima.2003.07.043
journal January 2004
Overview of the FLUKA code journal August 2015
LArSoft: toolkit for simulation, reconstruction and analysis of liquid argon TPC neutrino detectors journal October 2017
Gmsh: A 3-D finite element mesh generator with built-in pre- and post-processing facilities journal September 2009
Electromagnetic transient finite element 3D modelling of electrical machines using open-source tools conference September 2016
Deep Underground Neutrino Experiment (DUNE) Near Detector Conceptual Design Report journal September 2021
NEST: a comprehensive model for scintillation yield in liquid xenon journal October 2011
LArPix: demonstration of low-power 3D pixelated charge readout for liquid argon time projection chambers journal October 2018
Scalable parallel programming with CUDA journal March 2008
Effects of Nitrogen contamination in liquid Argon journal June 2010
XXX. Theory of ionization fluctuations journal March 1955
Measurement of longitudinal electron diffusion in liquid argon
  • Li, Yichen; Tsang, Thomas; Thorn, Craig
  • Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment, Vol. 816 https://doi.org/10.1016/j.nima.2016.01.094
journal April 2016
Enhancing neutrino event reconstruction with pixel-based 3D readout for liquid argon time projection chambers journal April 2020
Numba: a LLVM-based Python JIT compiler conference January 2015
A study of electron recombination using highly ionizing particles in the ArgoNeuT Liquid Argon TPC journal August 2013
Array programming with NumPy journal September 2020
Scintillations from Organic Crystals: Specific Fluorescence and Relative Response to Different Radiations journal October 1951
Geant4—a simulation toolkit
  • Agostinelli, S.; Allison, J.; Amako, K.
  • Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment, Vol. 506, Issue 3 https://doi.org/10.1016/S0168-9002(03)01368-8
journal July 2003
Variation of scintillation decay in liquid argon excited by electrons and alpha particles journal April 1978
Currents Induced by Electron Motion journal September 1939
Design, construction and operation of the ProtoDUNE-SP Liquid Argon TPC journal January 2022
Oxygen contamination in liquid Argon: combined effects on ionization electron charge and scintillation light journal May 2010
Effect of ionization density on the time dependence of luminescence from liquid argon and xenon journal May 1983
Optimizing the hit finding algorithm for liquid argon TPC neutrino detectors using parallel architectures journal January 2022
Volume IV. The DUNE far detector single-phase technology journal August 2020
Roofline: an insightful visual performance model for multicore architectures journal April 2009