import datetime
import factory
from dateutil.tz import UTC
from django.db import connection
from django.db.models import QuerySet
from django.test import TestCase
from django.test.utils import CaptureQueriesContext
from factory.fuzzy import FuzzyDateTime
from poll.models import Poll, PollQuestion, PollVote, User, Image
from poll.serializers import PollDetailSerializer
classUserFactory(factory.django.DjangoModelFactory):classMeta:
model = User
first_name = factory.Sequence(lambda n: "Agent %03d" % n)
username = factory.Sequence(lambda n: "Agent %03d" % n)
password = factory.Sequence(lambda n: "Agent %03d" % n)
classPollFactory(factory.django.DjangoModelFactory):classMeta:
model = Poll
head = factory.Sequence(lambda n: "Agent %d" % n)
owner = factory.SubFactory(UserFactory)
end_time = FuzzyDateTime(datetime.datetime(2023, 1, 1, tzinfo=UTC), datetime.datetime(2024, 1, 1, tzinfo=UTC))
classPollTest(TestCase):defsetUp(self):
self.user: User = User.objects.create(**self.create_user())
self.user.image = Image.objects.create(image_url='www.image.com')
self.user.save()
user2 = self.create_user()
user2['username'] = 'user2'
self.user2: User = User.objects.create(**user2)
self.user2.image = Image.objects.create(image_url='www.image.com')
self.user2.save()
defcreate_user(self) -> dict:return {
"username": "leemoney93",
"password": "mememememe",
"first_name": "lee",
"last_name": "money",
}
defcreate_poll(self):
poll: Poll = PollFactory.create()
q1 = PollQuestion.objects.create(poll=poll, content="yes")
q2 = PollQuestion.objects.create(poll=poll, content="no")
PollVote.objects.create(poll=poll, question=q1, owner=self.user)
PollVote.objects.create(poll=poll, question=q2, owner=self.user2)
deftest_poll_create2(self):for i inrange(6):
self.create_poll()
with CaptureQueriesContext(connection) as num_queries:
polls: QuerySet[Poll] = Poll.objects.all()
serializer = PollDetailSerializer(polls, many=True)
self.assertEqual(len(serializer.data), 6)
print(len(num_queries.captured_queries))
print(num_queries.captured_queries)
test_poll_create2 테스트 함수를 보면 6개의 투표들이 잘 직렬화된걸 알 수 있다.
DRF(Django Rest Framework)가 마법을 부려서 알아서 잘 해줬다.
하지만! num_queries를 이용해 얼마나 많은 쿼리가 실행 됐는지 봐라.
무려 49번이나 실행됐다. 기절할 노릇이다. 고작 6개의 투표들을 직렬화 했을때 이정돈데 10개가 되면 도대체 몇개를 호출한단 말인가..
DB가 기절할 노릇이다.
문제점을 파악했으니 정확한 원인을 알아보자.
필자는 위에서 이 마법의 문제를 Lazy Loding으로 인한 부작용, N+1 Problem이라 했다.
DRF 입장에서 PostDetailSerializer는 owner, questions을 추가적으로 직렬화 해야하나 현재 polls 쿼리셋으로는 해당 정보를 공급 해 줄수가 없다. 해서 뒤 늦게 자기가 추가적인 정보를 얻기위해(owner, questions) 쿼리를 실행해 Loading했다. 이를 Lazy Loading이라 한다. 여기서 owner의 UserSerializer 역시 추가적으로 image를 직렬화 한다. 여기서 또 쿼리가 발생한다. 이는 questions 또한 마찬가지다. PollVote 직렬화를 위해 추가적인 쿼리를 생산한다.
마법은 마법인데.. 수동 마법이다.
문제 해결 즉시 로딩 (Eager Loading)
Lazy Loading의 반댓말은 Eager Loading이다.
polls queryset에서 부족한 정보를 미리 공급해 추가적인 쿼리를 발생시키지 않겠다는 말이다.
방법은 여러가지가 있지만 여기서는 PollManager를 생성해 get_queryset 오버라이딩 하는 방식을 취했다.
(django two scoops 책에서 추천하는 방법)
get_queryset에서는 PollDetailSerializer가 필요한 정보를 공급해줘야한다.
