UIO·VFIO 분석 — User-Space Driver와 IOMMU 격리

#한 줄 요약

“UIO는 user space에 MMIO·IRQ를 노출하고, VFIO는 device assignment와 IOMMU 보호를 제공할 수 있다.” Kernel module은 얇은 wrapper로 두고 정책과 fast path를 user space에 두는 패턴입니다.

#어떤 상황에서 쓰나

FPGA 보드의 신규 register block을 일주일 안에 테스트해야 하면, 정식 kernel driver를 정성스럽게 만들기보다 UIO로 노출한 뒤 user space 코드로 동작을 확인하는 편이 훨씬 빠릅니다. Crash가 나도 process만 죽고 kernel은 안전합니다.

NIC·NVMe 같은 고성능 device를 user space에서 다룰 때 UIO/VFIO 기반 구성을 검토할 수 있습니다. DPDK·SPDK의 backend와 성능은 버전·device·설정에 따라 달라지며, IOMMU 사용 여부와 isolation 수준을 확인해야 합니다.

#핵심 개념

UIO와 VFIO는 layer가 다릅니다.

UIO kernel side는 비교적 얇지만 interrupt·resource 정책은 driver가 정의해야 합니다. VFIO는 container·group·device와 IOMMU 설정을 ioctl로 조립합니다. IOMMU가 실제로 활성화된 구성에서 DMA 격리를 제공하며, no-IOMMU 모드는 같은 보호를 제공하지 않습니다.

#코드 / 실제 사용 예

#UIO kernel side 최소 구현

1
#include <linux/uio_driver.h>
2
#include <linux/platform_device.h>
3

4
struct sample_dev {
5
    struct uio_info info;
6
    void __iomem   *regs;
7
};
8

9
static irqreturn_t sample_isr(int irq, struct uio_info *info) {
10
    struct sample_dev *d = container_of(info, struct sample_dev, info);
11
    /* 인터럽트 ack 후 0 반환 = handled */
12
    writel(0x1, d->regs + IRQ_ACK);
13
    return IRQ_HANDLED;
14
}
15

16
static int sample_probe(struct platform_device *pdev) {
17
    struct sample_dev *d = devm_kzalloc(&pdev->dev, sizeof(*d), GFP_KERNEL);
18
    struct resource *r = platform_get_resource(pdev, IORESOURCE_MEM, 0);
19

20
    d->regs = devm_ioremap_resource(&pdev->dev, r);
21
    d->info.name   = "sample-uio";
22
    d->info.version= "1.0";
23
    d->info.mem[0].addr    = r->start;
24
    d->info.mem[0].size    = resource_size(r);
25
    d->info.mem[0].memtype = UIO_MEM_PHYS;
26
    d->info.irq     = platform_get_irq(pdev, 0);
27
    d->info.handler = sample_isr;
28

29
    return uio_register_device(&pdev->dev, &d->info);
30
}

UIO_MEM_PHYS로 등록된 BAR가 /dev/uio0로 노출됩니다. 보통 /sys/class/uio/uio0/maps/map0/size에서 크기를 확인합니다.

#UIO user side

1
#include <fcntl.h>
2
#include <sys/mman.h>
3
#include <unistd.h>
4

5
int fd = open("/dev/uio0", O_RDWR);
6

7
size_t map_size = 4096;
8
void  *regs = mmap(NULL, map_size,
9
                   PROT_READ | PROT_WRITE,
10
                   MAP_SHARED, fd, 0);
11

12
volatile uint32_t *r = regs;
13
r[CTRL]     = 1;
14
uint32_t st = r[STATUS];
15

16
/* IRQ wait: read는 인터럽트 발생까지 블록 */
17
uint32_t count;
18
read(fd, &count, sizeof(count));
19

20
/* UIO는 ack 후 IRQ를 disable 함. 다시 활성화 */
21
uint32_t enable = 1;
22
write(fd, &enable, sizeof(enable));

interrupt loop은 별도 thread로 돌리고, register polling fast path는 mmap pointer로 처리하는 구조가 일반적입니다.

#VFIO PCI device 준비

1
# 기존 driver 분리
2
echo 0000:01:00.0 > /sys/bus/pci/drivers/nvme/unbind
3

4
# vfio-pci 바인딩
5
echo "8086 0a54" > /sys/bus/pci/drivers/vfio-pci/new_id
6

7
# 결과 확인
8
ls /dev/vfio
9
# 0  vfio        ← '0' 이 group id

IOMMU group은 PCIe topology에 따라 결정됩니다. 같은 group의 device들은 한꺼번에 묶여 user에게 위임됩니다.

#VFIO user side 골격

1
#include <linux/vfio.h>
2

3
int container = open("/dev/vfio/vfio", O_RDWR);
4
int group     = open("/dev/vfio/0",   O_RDWR);
5

6
ioctl(group, VFIO_GROUP_SET_CONTAINER, &container);
7
ioctl(container, VFIO_SET_IOMMU, VFIO_TYPE1_IOMMU);
8

9
int dev = ioctl(group, VFIO_GROUP_GET_DEVICE_FD, "0000:01:00.0");
10

11
struct vfio_region_info reg = { .argsz = sizeof(reg), .index = 0 };
12
ioctl(dev, VFIO_DEVICE_GET_REGION_INFO, &reg);
13
void *bar0 = mmap(NULL, reg.size,
14
                  PROT_READ | PROT_WRITE,
15
                  MAP_SHARED, dev, reg.offset);
16

17
/* DMA buffer를 user에서 만들고 IOMMU에 매핑 */
18
void *dma = mmap(NULL, 1 << 20,
19
                 PROT_READ | PROT_WRITE,
20
                 MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
21

22
struct vfio_iommu_type1_dma_map m = {
23
    .argsz = sizeof(m),
24
    .vaddr = (uintptr_t)dma,
25
    .iova  = 0x10000000,
26
    .size  = 1 << 20,
27
    .flags = VFIO_DMA_MAP_FLAG_READ | VFIO_DMA_MAP_FLAG_WRITE,
28
};
29
ioctl(container, VFIO_IOMMU_MAP_DMA, &m);
30

31
/* HW에는 iova(0x10000000)를 알려준다 */
32
((volatile uint32_t*)bar0)[DMA_ADDR] = 0x10000000;

iova는 user가 정한 가상 주소이고, IOMMU가 이를 실제 physical로 변환합니다. user process가 잘못된 영역을 적어도 DMA가 그 영역으로 가지 않습니다.

#DPDK PMD가 VFIO를 쓰는 방식

1
dpdk-devbind.py --bind=vfio-pci 0000:81:00.0
2
sudo ./l3fwd -l 0-3 -n 4 -- -p 0x1 --config="(0,0,1)"

DPDK는 설정된 device backend로 NIC을 연결한 뒤 PMD가 RX queue를 polling할 수 있습니다. latency는 CPU pinning·queue·driver·traffic 조건으로 측정해야 합니다.

#SPDK가 NVMe를 직접 잡는 방식

1
spdk_nvme_probe(NULL, NULL, probe_cb, attach_cb, NULL);
2
/* attach_cb 안에서 namespace를 잡아 read/write 직접 발행 */

SPDK는 user space에서 NVMe queue와 doorbell을 다루는 구성을 제공합니다. backend와 성능은 device·CPU·queue depth·storage 설정에 따라 측정합니다.

#vfio-platform — SoC 내장 IP

1
# Device Tree에서 reserved-memory와 status="okay" 설정 후
2
echo myip > /sys/bus/platform/drivers/vfio-platform/bind
3
ls /dev/vfio

PCIe가 아닌 platform bus의 IP block도 VFIO로 user에 위임할 수 있습니다. ARM SoC의 image accelerator나 video codec을 user space에서 다룰 때 유용합니다.

#측정 / 성능 비교

NVMe SSD를 같은 하드웨어에서 측정한 결과입니다.

10 GbE NIC에서 64-byte packet을 forwarding했을 때입니다.

UIO는 보통 throughput보다 간편함이 이유입니다. FPGA bring-up에서 driver 한 줄도 새로 짜지 않고 register polling을 시작할 수 있다는 점이 큰 가치입니다.

#자주 보는 함정

UIO에서 user가 직접 DMA 주소를 만든 경우

1
HW_REG_DMA_ADDR = (uint32_t)buf;   /* virtual = physical 아님 */

UIO는 DMA mapping을 자동으로 안전하게 제공하지 않습니다. user space 가상 주소와 device DMA 주소를 혼동하면 memory corruption이나 SMMU fault가 발생할 수 있으므로, DMA가 필요하면 VFIO의 mapping 또는 정식 kernel driver를 검토합니다.

VFIO group을 통째로 받지 않은 경우

1
# 같은 group에 있는 다른 device가 host driver에 묶여 있음
2
# → VFIO_GROUP_GET_DEVICE_FD가 -EINVAL

IOMMU group의 모든 device가 vfio-pci에 묶여 있어야 합니다. /sys/kernel/iommu_groups/<id>/devices 목록을 먼저 확인합니다.

IOMMU 비활성 BIOS

1
dmesg | grep -i iommu
2
# DMAR: IOMMU disabled

intel_iommu=on 또는 iommu=pt amd_iommu=on을 kernel cmdline에 추가하거나, ARM 보드에서는 SMMU가 켜져 있는지 확인합니다. IOMMU가 꺼져 있으면 VFIO는 일반 모드로 동작할 수 없습니다.

UIO IRQ를 enable하지 않음

1
read(fd, &count, sizeof(count));   /* 첫 인터럽트는 도착 */
2
/* 그러나 write로 enable 다시 안 함 */

UIO는 ISR 안에서 IRQ를 자동 disable합니다. user가 처리 후 write(fd, &one, 4)로 다시 enable해야 다음 인터럽트가 옵니다.

/dev/mem으로 우회

1
int fd = open("/dev/mem", O_RDWR);
2
void *r = mmap(NULL, 4096, ..., fd, PHYS);

/dev/mem은 전체 물리 메모리에 접근할 수 있어 production에서는 금지입니다. 같은 작업이 UIO·VFIO로 가능합니다.

#정리

• UIO는 user space에서 MMIO와 IRQ를 다루는 가장 단순한 방법이고, FPGA bring-up과 prototyping에 잘 맞습니다.
• VFIO는 IOMMU 격리를 더해 DMA를 안전하게 user space에 위임합니다.
• DPDK는 NIC을 VFIO로 grab해 PMD가 polling으로 packet을 처리하고, SPDK는 NVMe queue를 직접 다룹니다.
• IOMMU group은 PCIe 토폴로지가 결정하며, 같은 group의 device는 함께 vfio-pci로 묶어야 합니다.
• UIO는 IRQ를 자동 disable하므로 처리 후 write(fd, &one, 4)로 다시 enable합니다.
• IOMMU가 꺼져 있거나 group이 분리되지 않으면 VFIO는 setup 단계에서 실패합니다.
• /dev/mem은 부트업 디버그용으로만 두고, 실제 production driver는 UIO·VFIO를 거치는 편이 안전합니다.

다음 편은 sysfs입니다.

#관련 항목

• 4-01: Kernel Module
• 4-02: mmap
• PE 3-03: DMA Performance