drivers/cxl 코드 분석 — 진입점부터 sysfs까지

#디렉터리 구조

mainline(v7.3-rc6 기준) drivers/cxl/ 주요 파일:

#모듈 구성과 순서

cxl_core가 공통 기반이고 나머지는 그 위에 올라갑니다. drivers/cxl/Makefile은 built-in일 때의 순서를 주석으로 밝혀 둡니다.

모듈로 빌드했다면 modprobe가 심볼 의존성(cxl_core 등)을 알아서 먼저 올립니다. cxl_acpi는 MODULE_SOFTDEP("pre: cxl_port")로 cxl_port를 먼저 올리게 해 둡니다.

#진입점 — 모듈별 init

각 모듈의 초기화 함수(발췌):

1
static int __init cxl_acpi_init(void)
2
{
3
  return platform_driver_register(&cxl_acpi_driver);
4
}
5
subsys_initcall_sync(cxl_acpi_init);
6

7
// drivers/cxl/pci.c
8
static int __init cxl_pci_driver_init(void)
9
{
10
  int rc;
11

12
  rc = pci_register_driver(&cxl_pci_driver);
13
  if (rc)
14
    return rc;
15

16
  rc = cxl_cper_register_work(&cxl_cper_work);
17
  if (rc)
18
    pci_unregister_driver(&cxl_pci_driver);
19

20
  return rc;
21
}
22
module_init(cxl_pci_driver_init);
23

24
// drivers/cxl/mem.c
25
module_cxl_driver(cxl_mem_driver);

각 모듈이 다른 bus에 드라이버를 등록합니다 — cxl_acpi는 platform bus, cxl_pci는 PCI bus, cxl_mem·cxl_port는 CXL bus(cxl_driver_register()). cxl_acpi는 module_init()이 아니라 subsys_initcall_sync()를 씁니다. 소스 주석은 dax_hmem이 ‘Soft Reserved’ CXL 범위를 보기 전에 올라와야 하기 때문이라고 설명합니다.

#핵심 자료 구조

주요 struct와 정의 위치(mainline v7.3-rc6):

#probe 흐름 추적

cxl_pci_probe()(drivers/cxl/pci.c)가 부르는 주요 함수, 소스 순서대로:

PCI 오류 처리는 probe에서 등록하지 않고, 드라이버 구조체의 정적 cxl_error_handlers가 맡습니다. ftrace function_graph로 이 흐름을 볼 수 있습니다(Ch 8).

#HDM Decoder commit 코드

drivers/cxl/core/hdm.c의 cxl_decoder_commit() (발췌):

1
static int cxl_decoder_commit(struct cxl_decoder *cxld)
2
{
3
  struct cxl_port *port = to_cxl_port(cxld->dev.parent);
4
  struct cxl_hdm *cxlhdm = dev_get_drvdata(&port->dev);
5
  void __iomem *hdm = cxlhdm->regs.hdm_decoder;
6
  int id = cxld->id, rc;
7

8
  if (cxld->flags & CXL_DECODER_F_ENABLE)
9
    return 0;
10

11
  if (cxl_num_decoders_committed(port) != id) {
12
    dev_dbg(&port->dev,
13
      "%s: out of order commit, expected decoder%d.%d\n",
14
      dev_name(&cxld->dev), port->id,
15
      cxl_num_decoders_committed(port));
16
    return -EBUSY;
17
  }
18

19
  /* (sanitize 진행 중인 endpoint decoder 거부 — 생략) */
20

21
  scoped_guard(rwsem_read, &cxl_rwsem.dpa)
22
    setup_hw_decoder(cxld, hdm);
23

24
  rc = cxld_await_commit(hdm, cxld->id);
25
  if (rc) {
26
    dev_dbg(&port->dev, "%s: error %d committing decoder\n",
27
      dev_name(&cxld->dev), rc);
28
    return rc;
29
  }
30
  port->commit_end++;
31
  cxld->flags |= CXL_DECODER_F_ENABLE;
32

33
  return 0;
34
}

읽을 점:

• 한 port의 decoder는 번호 순서대로 commit해야 합니다. 순서가 어긋나면 -EBUSY.
• 레지스터 쓰기는 setup_hw_decoder()가 하고, cxld_await_commit()이 Committed 비트를 기다립니다. 1 ms 간격으로 최대 COMMIT_TIMEOUT_MS(20)회 확인하고, Commit Error 비트가 서면 -EIO, 시간이 다 되면 -ETIMEDOUT.
• cxl_rwsem.region은 이 함수가 아니라 호출 쪽(region commit 경로)이 쓰기 잠금으로 잡습니다.

#Region 생성 sysfs path

사용자가 cxl create-region 했을 때 cxl-cli가 sysfs에 쓰는 순서와 커널 쪽 경로(drivers/cxl/core/region.c):

endpoint decoder의 DPA 할당(dpa_size·mode)은 3단계 전에 해 둬야 하고, cxl-cli가 이를 대신해 줍니다. region을 System RAM으로 올리는 것은 commit이 아니라 6단계 뒤 dax·kmem 드라이버입니다.

#Mailbox API 구현

공통 진입점은 drivers/cxl/core/mbox.c의 cxl_internal_send_cmd()입니다.

1
int cxl_internal_send_cmd(struct cxl_mailbox *cxl_mbox,
2
        struct cxl_mbox_cmd *mbox_cmd)
3
{
4
  size_t out_size, min_out;
5
  int rc;
6

7
  if (mbox_cmd->size_in > cxl_mbox->payload_size ||
8
      mbox_cmd->size_out > cxl_mbox->payload_size)
9
    return -E2BIG;
10

11
  out_size = mbox_cmd->size_out;
12
  min_out = mbox_cmd->min_out;
13
  rc = cxl_mbox->mbox_send(cxl_mbox, mbox_cmd);
14
  /* ... return code → errno 변환, 출력 크기 검사 ... */
15
}

실제 하드웨어 접근은 mbox_send에 꽂힌 cxl_pci_mbox_send()(drivers/cxl/pci.c)가 합니다.

• mbox_mutex를 잡고 __cxl_pci_mbox_send_cmd()를 부릅니다. 모든 명령이 이 mutex로 직렬화됩니다.
• payload를 쓰고 doorbell을 울린 뒤, doorbell이 내려가길 polling합니다. 한도는 CXL_MAILBOX_TIMEOUT_MS로, 정의는 (2 * HZ)라 jiffies 단위 2초입니다.
• 디바이스가 background 명령으로 응답하면 명령별 poll_interval_ms·poll_count만큼 기다립니다. Sanitize는 예외로, 비동기로 돌리고 사용자 공간이 poll(2)로 완료를 기다립니다.

자주 쓰는 opcode (drivers/cxl/cxlmem.h):

#에러 처리 — pci_error_handlers

drivers/cxl/pci.c의 PCI error handler:

1
static const struct pci_error_handlers cxl_error_handlers = {
2
  .error_detected  = cxl_error_detected,
3
  .slot_reset  = cxl_slot_reset,
4
  .resume    = cxl_error_resume,
5
  .cor_error_detected  = cxl_cor_error_detected,
6
  .reset_done  = cxl_reset_done,
7
};

cxl_error_detected()(drivers/cxl/core/ras.c)는 RAS capability 레지스터를 읽어 기록한 뒤 채널 상태로 나눕니다.

memdev에 드라이버가 붙어 있지 않으면 처리를 포기하고 DISCONNECT를 돌려줍니다.

#NUMA 통합 — dax와 kmem

region이 바로 System RAM이 되지는 않습니다. RAM region은 devm_cxl_add_dax_region()으로 dax region이 되고, 메모리로 붙이는 건 drivers/dax/kmem.c가 합니다.

dax 장치가 system-ram 모드면 kmem이 붙어 numactl --hardware에 노드가 보입니다. daxctl reconfigure-device -m system-ram이 이 전환입니다. cxl_region_probe()는 이미 System RAM으로 올라간 범위면 dax region을 만들지 않습니다.

#동시성 — Lock 사용

lockdep_assert_held_write(&cxl_rwsem.region)이 region.c 곳곳에 있어, lockdep을 켜면 잠금 없이 들어온 경로가 경고로 드러납니다.

#자주 만나는 함정

#정리

• drivers/cxl/는 cxl_core를 기반으로 cxl_port·cxl_acpi·cxl_pmem·cxl_mem·cxl_pci가 올라가는 구조입니다.
• 진입점은 모듈별 초기화 함수이고, 각각 *다른 bus(platform·PCI·CXL)*에 드라이버를 등록합니다.
• 핵심 자료구조는 cxl_port·cxl_decoder·cxl_region·cxl_memdev·cxl_mailbox 등 8가지입니다.
• HDM Decoder commit은 port마다 번호 순서로 진행하고, cxld_await_commit()이 Committed 비트를 기다립니다. cxl_rwsem.region은 호출 쪽이 잡습니다.
• Region 생성은 create_ram_region → 파라미터 → targetN attach → commit → probe → dax → kmem. System RAM 추가는 commit이 아니라 dax·kmem 단계입니다.
• Mailbox는 mbox_mutex로 직렬화되고, doorbell 대기는 공통 2초입니다. 명령별로 다른 것은 background 명령의 poll 간격과 횟수입니다.
• PCI error handler는 채널 상태에 따라 CAN_RECOVER·NEED_RESET·DISCONNECT를 돌려줍니다.

#다음 장 예고

Kernel Debugging 시리즈의 CXL 관련 추가 챕터는 여기까지. 다음 깊이는 Memory Diagnostics와 Postmortem Debugging에 분산된 챕터로 자연 연결.

#관련 항목

• Ch 8: CXL 커널 드라이버 디버깅
• Modern Embedded Recipes Ch 151: Linux CXL 드라이버 분석
• Memory Diagnostics Ch 6: CXL 메모리 진단
• Postmortem Debugging Ch 5: CXL 디바이스 Core Dump 분석
• Linux drivers/cxl/ source on kernel.org