Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                
Avoid leaking memory during large-scale REASSIGN OWNED BY operations.
authorTom Lane <tgl@sss.pgh.pa.us>
Wed, 1 Dec 2021 18:44:47 +0000 (13:44 -0500)
committerTom Lane <tgl@sss.pgh.pa.us>
Wed, 1 Dec 2021 18:44:47 +0000 (13:44 -0500)
The various ALTER OWNER routines tend to leak memory in
CurrentMemoryContext.  That's not a problem when they're only called
once per command; but in this usage where we might be touching many
objects, it can amount to a serious memory leak.  Fix that by running
each call in a short-lived context.

(DROP OWNED BY likely has a similar issue, except that you'll probably
run out of lock table space before noticing.  REASSIGN is worth fixing
since for most non-table object types, it won't take any lock.)

Back-patch to all supported branches.  Unfortunately, in the back
branches this helps to only a limited extent, since the sinval message
queue bloats quite a lot in this usage before commit 3aafc030a,
consuming memory more or less comparable to what's actually leaked.
Still, it's clearly a leak with a simple fix, so we might as well fix it.

Justin Pryzby, per report from Guillaume Lelarge

Discussion: https://postgr.es/m/CAECtzeW2DAoioEGBRjR=CzHP6TdL=yosGku8qZxfX9hhtrBB0Q@mail.gmail.com

src/backend/catalog/pg_shdepend.c

index d89a9fa2bfcec97bf6c8ac442a9fd54549b52aa8..e9b37383acfda2bf92151e8f92c0ce2b2bff78b0 100644 (file)
@@ -65,6 +65,7 @@
 #include "storage/lmgr.h"
 #include "utils/acl.h"
 #include "utils/fmgroids.h"
+#include "utils/memutils.h"
 #include "utils/syscache.h"
 
 typedef enum
@@ -1549,6 +1550,8 @@ shdepReassignOwned(List *roleids, Oid newrole)
        while ((tuple = systable_getnext(scan)) != NULL)
        {
            Form_pg_shdepend sdepForm = (Form_pg_shdepend) GETSTRUCT(tuple);
+           MemoryContext cxt,
+                       oldcxt;
 
            /*
             * We only operate on shared objects and objects in the current
@@ -1566,6 +1569,18 @@ shdepReassignOwned(List *roleids, Oid newrole)
            if (sdepForm->deptype != SHARED_DEPENDENCY_OWNER)
                continue;
 
+           /*
+            * The various ALTER OWNER routines tend to leak memory in
+            * CurrentMemoryContext.  That's not a problem when they're only
+            * called once per command; but in this usage where we might be
+            * touching many objects, it can amount to a serious memory leak.
+            * Fix that by running each call in a short-lived context.
+            */
+           cxt = AllocSetContextCreate(CurrentMemoryContext,
+                                       "shdepReassignOwned",
+                                       ALLOCSET_DEFAULT_SIZES);
+           oldcxt = MemoryContextSwitchTo(cxt);
+
            /* Issue the appropriate ALTER OWNER call */
            switch (sdepForm->classid)
            {
@@ -1654,6 +1669,11 @@ shdepReassignOwned(List *roleids, Oid newrole)
                    elog(ERROR, "unexpected classid %u", sdepForm->classid);
                    break;
            }
+
+           /* Clean up */
+           MemoryContextSwitchTo(oldcxt);
+           MemoryContextDelete(cxt);
+
            /* Make sure the next iteration will see my changes */
            CommandCounterIncrement();
        }