Die With a Smile (300 pts) - Miscellaneous Write-up#

โจทย์#

Before he passed away, an old man — once a brilliant AI vibe-coder — dumped the fragmented memories of his friendships into a single image.

Within this mosaic of faces, he hid his eternal secret, encoded not in pixels, but in smiles and silence.

In this strange new era, emotion is encryption — and only by teaching your model to truly understand a smile can you hope to unlock what he left behind.

Can your classifier uncover the truth… or will it be lost to grayscale eternity?

Hint:

• It is the public dataset
• The QR isn’t broken. You are, until the classifier works.

ดาวน์โหลดไฟล์#

ข้อสังเกต#

• ภาพโมเสกมีขนาด 2112×2112px แบ่งได้ลงตัวเป็น 33×33 ช่อง (QR Version 3)
• แต่ละ tile (≈62×62 พิกเซล) คือใบหน้าใน dataset CelebA
• Attribute สำคัญคือ Smiling (index 31) ของ CelebA
• หากใช้ threshold ค่าเฉลี่ยความสว่างอย่างเดียว ผล QR อาจเพี้ยน
• ต้องใช้ Smile classifier ที่แม่น (เช่น ResNet18 ที่ finetune 2-class not-smile/smile)

แนวคิดการแก้โจทย์#

1. แบ่งภาพโมเสก ออกเป็น 33×33 tiles
2. โหลดโมเดล ResNet18 (2-class) ที่ train บน CelebA (label Smiling)
   • output = 0 (not-smile), 1 (smile)
3. Preprocess tile → resize 128×128 → normalize
4. Predict smile:
   • ถ้า pred=1 → ให้ tile เป็น สีดำ
   • ถ้า pred=0 → ให้ tile เป็น สีขาว
5. รวมผลลัพธ์ → ขยายภาพแบบ nearest → จะได้ QR Code สมบูรณ์
6. สแกน QR Code → อ่าน flag

ขั้นตอน Implementation#

1
from PIL import Image
2
import numpy as np
3

4
img = Image.open('mosaic.png')
5
tiles = []
6
tile_size = 64  # 2112 / 33 ≈ 64
7

8
for row in range(33):
9
    for col in range(33):
10
        x = col * tile_size
11
        y = row * tile_size
12
        tile = img.crop((x, y, x + tile_size, y + tile_size))
13
        tiles.append(tile)

1
import torch
2
import torchvision.transforms as transforms
3
from torchvision.models import resnet18
4

5
# Load pretrained model (fine-tuned on CelebA Smiling)
6
model = resnet18(pretrained=False)
7
model.fc = torch.nn.Linear(512, 2)  # 2 classes
8
model.load_state_dict(torch.load('smile_classifier.pth'))
9
model.eval()
10

11
transform = transforms.Compose([
12
    transforms.Resize((128, 128)),
13
    transforms.ToTensor(),
14
    transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
15
])

1
qr_data = []
2

3
for tile in tiles:
4
    input_tensor = transform(tile).unsqueeze(0)
5
    with torch.no_grad():
6
        output = model(input_tensor)
7
        pred = output.argmax(1).item()
8

9
    # smile=1 → black, not-smile=0 → white
10
    qr_data.append(0 if pred == 1 else 255)
11

12
# Reshape to 33x33
13
qr_array = np.array(qr_data).reshape(33, 33).astype(np.uint8)
14
qr_image = Image.fromarray(qr_array, mode='L')
15
qr_image = qr_image.resize((330, 330), Image.NEAREST)
16
qr_image.save('qr_code.png')

1
import cv2
2
from pyzbar.pyzbar import decode
3

4
qr = cv2.imread('qr_code.png')
5
data = decode(qr)
6
print(data[0].data.decode())

Dataset#

CelebA (CelebFaces Attributes Dataset)

• 200K+ celebrity face images
• 40 binary attributes including Smiling
• Public dataset สำหรับ train smile classifier

Tools ที่ใช้#

ผลลัพธ์#

สแกน reconstructed QR code เพื่อรับ flag

Credits#

Writeup by netw0rk7 | Original Repo