Skip to content
Open
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 4 additions & 0 deletions .Rbuildignore
Original file line number Diff line number Diff line change
Expand Up @@ -22,3 +22,7 @@
^\.jules(/.*)?$
^\.trivyignore\.yaml$
^trivy\.yaml$
^\.semgrepignore$
^test_dummy\.R$
^test_validation\.R$
^\.markdownlint-cli2\.jsonc$
16 changes: 16 additions & 0 deletions .jules/bolt.md
Original file line number Diff line number Diff line change
@@ -1,18 +1,34 @@
## 2024-07-04 - R 언어에서 루프 내 데이터 프레임 탐색 병목 최적화

**Learning:** R에서 루프를 돌면서 매번 데이터 프레임을 서브셋팅(subsetting)하는 작업은 복사 오버헤드로 인해 매우 느려질 수 있습니다. 특히 공통 문항 수가 많아질 경우 O(N^2)의 비효율을 초래합니다.
**Action:** 루프 내에서 수행하던 데이터 프레임 조회를 루프 외부에서 한 번에 `as.character(unlist(...))`로 처리하는 벡터 연산으로 변경하여 타입 변환 없이 O(1) 수준으로 성능을 크게 향상시킬 수 있습니다.

## 2024-07-07 - R 언어에서 데이터 프레임의 특정 항목 탐색을 캐싱하여 O(N) 검색 병목 최적화

**Learning:** R에서 반복문 내부에서 특정 조건을 만족하는 데이터의 위치를 찾기 위해 `which()`를 여러 번 반복 호출하는 것은 O(N) 시간 복잡도를 가져 매번 불필요한 배열 스캔을 유발합니다. 이는 루프의 반복 횟수가 많고, 탐색해야할 데이터가 클 수록 성능 저하의 주 원인이 됩니다.
**Action:** 조건에 맞는 인덱스를 최초 탐색 시 변수에 캐싱(`newIdx`, `oldIdx` 등)하여 저장하고 이후 동일한 데이터 접근 시 캐싱된 인덱스를 사용함으로써 O(1) 수준으로 성능을 향상시킬 수 있습니다. 추가로 스칼라 값에 대한 불필요한 `paste0()` 함수 호출을 제거하여 오버헤드를 줄입니다.

## 2024-07-08 - R 언어에서 루프 내 인덱스 검색(which) O(N) 병목 최적화

**Learning:** R에서 반복문 내부에서 특정 조건을 만족하는 데이터의 위치를 찾기 위해 `which()`를 여러 번 호출하면 매번 O(N)의 선형 탐색(linear scan)이 발생하여 데이터 크기가 클수록 성능이 크게 저하됩니다. 또한 `paste0()`를 이용한 불필요한 배열 단위 문자열 생성은 반복문 오버헤드를 가중시킵니다.
**Action:** 조건에 맞는 인덱스를 최초 한 번 `split(seq_len(nrow(df)), df$column)`를 통해 리스트 형태로 캐싱(dictionary lookup)하여 루프 외부에서 O(1) 검색 체계로 만들고, 스칼라 값에 대한 불필요한 `paste0()` 함수 호출을 최적화(`paste(..., collapse=' ')`)하여 오버헤드를 줄입니다.

## 2026-07-11 - R 언어에서 루프 내 벡터 동적 확장 및 조건부 탐색 최적화

**Learning:** R에서 for 루프 내에 동적으로 벡터 크기를 늘리면서 (`vector[i] <- value`) 조건을 검사하는 것은 O(N^2)의 복사 오버헤드(copy-on-modify)를 발생시키며 매 반복마다 `match()` 스캔을 수행하면 성능 저하를 초래합니다.
**Action:** 루프 외부에 벡터화된 `match()`를 한 번만 수행하여 유효한 인덱스를 찾고, 벡터 인덱싱(`vector[idx]`)으로 한 번에 데이터를 추출하여 불필요한 루프 오버헤드 및 동적 메모리 재할당을 방지하여 O(1) 수준으로 성능을 개선해야 합니다.

## 2024-07-12 - R 언어에서 데이터프레임 서브셋팅 시 불필요한 which() 및 반복 평가 제거

**Learning:** 데이터 프레임의 특정 로우(row)를 변경할 때 `df[which(df$col == "val"), ]`와 같이 `which()`를 사용하면 내부적으로 추가 함수 호출 및 논리 벡터 평가 오버헤드가 발생합니다. 또한, 여러 값을 업데이트하기 위해 동일한 조건식을 연속으로 사용하면 매번 동일한 O(N) 논리 벡터 평가가 중복해서 일어납니다. 불필요한 `paste0("GROUP")` 호출도 오버헤드를 더합니다.
**Action:** `which()`를 생략하고 직접 논리 인덱싱(`df$col == "val"`)을 사용하며, 동일한 조건식을 두 번 이상 연속으로 사용할 경우 해당 논리 벡터를 변수에 캐싱(`idx <- df$col == "val"`)하여 여러 번 재사용함으로써 중복된 O(N) 선형 스캔을 피하고 성능을 최적화해야 합니다. 또한 불필요한 문자열 연산을 제거합니다.

## 2025-02-12 - R 언어에서 반복적인 mirt 모델 생성 시 불필요한 데이터프레임 부분집합 추출 최적화

**Learning:** R에서 데이터프레임의 특정 열을 추출하는 작업(`df[cols]`)은 O(N)의 메모리 복사를 수반합니다. `autoFIPC`에서 `mirt` 모델의 파라미터를 설정하거나 호출하는 과정 중에 `newformXDataK[colnames(newFormModel@Data$data)]` 코드가 반복해서 사용되었고, 심지어 `ncol()`을 위해 단순히 개수를 구할 때도 사용되어 불필요한 메모리 할당과 오버헤드를 초래했습니다.
**Action:** 조건문이나 반복문 내부에서 불필요하게 데이터프레임 부분집합 연산이 반복되지 않도록 외부에서 한 번만 `linkedFormData <- newformXDataK[colnames(newFormModel@Data$data)]`로 캐싱(caching)한 뒤, `ncol(linkedFormData)`와 `data = linkedFormData` 형태로 재사용하여 메모리 복사와 O(N) 오버헤드를 방지해야 합니다.

## 2024-05-24 - [데이터 프레임 서브셋팅을 intersect로 대체하여 컬럼 이름 추출 최적화]

**Learning:** 데이터 프레임을 서브셋팅(예: `colnames(df[cols])`)하여 컬럼 이름을 추출하면 데이터의 O(N) 메모리 복사가 발생합니다.
**Action:** 데이터를 복사하지 않고 일치하는 컬럼을 효율적으로 검색하려면 `intersect(cols, colnames(df))`를 사용해야 합니다. 참고로 `intersect(A, B)`는 `A` 요소의 순서를 유지하므로, 의도한 컬럼 순서를 보존하려면 `cols`가 첫 번째 인수가 되어야 합니다.
2 changes: 2 additions & 0 deletions .jules/palette.md
Original file line number Diff line number Diff line change
@@ -1,7 +1,9 @@
## 2024-06-24 - Pure R Backend Package

**Learning:** The aFIPC repository is a pure R backend package without any frontend web components or UI. Therefore, standard micro-UX enhancements such as ARIA labels, loading states, and CSS styling cannot be applied.
**Action:** Stop and do not create a PR, as no suitable web UX enhancements can be identified.

## 2026-06-30 - No Frontend Surface

**Learning:** The package contains R calibration code and package metadata, not HTML, React, CSS, or other UI surfaces.
**Action:** Palette tasks should stop after recording that no UX enhancement applies unless a future frontend artifact is introduced.
1 change: 1 addition & 0 deletions .jules/sentinel.md
Original file line number Diff line number Diff line change
@@ -1,4 +1,5 @@
## 2024-07-12 - Fix missing parameter validations

**Vulnerability:** Unvalidated inputs passed to `if()` statements can cause process crashes (`condition has length > 1`) or unexpected coercion vulnerabilities.
**Learning:** In R, optional boolean parameters that default to `NULL` should be validated using explicit runtime type validation (e.g., `if (!is.null(flag) && (!is.logical(flag) || length(flag) != 1 || is.na(flag)))`).
**Prevention:** Always implement explicit runtime type validation for optional boolean parameters.
6 changes: 6 additions & 0 deletions .markdownlint-cli2.jsonc
Original file line number Diff line number Diff line change
@@ -0,0 +1,6 @@
{
"config": {
"line-length": false,
"first-line-h1": false
}
}
10 changes: 6 additions & 4 deletions R/aFIPC.R
Original file line number Diff line number Diff line change
Expand Up @@ -620,8 +620,9 @@ autoFIPC <-
IPDItemCount <- 0

# IPD target item checking
newFormColNames <- colnames(newformXDataK[colnames(newFormModel@Data$data)])
oldFormColNames <- colnames(oldformYDataK[colnames(oldFormModel@Data$data)])
# ⚡ Bolt: Extract column names using intersect() to avoid O(N) dataframe memory copy
newFormColNames <- intersect(colnames(newFormModel@Data$data), colnames(newformXDataK))
oldFormColNames <- intersect(colnames(oldFormModel@Data$data), colnames(oldformYDataK))
Comment on lines +623 to +625

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

🎯 Functional Correctness | 🟠 Major | ⚡ Quick win

존재하지 않는 공통 문항을 조용히 제외하지 말고 입력 오류로 처리하세요.

intersect()는 양쪽 데이터에 모두 존재하는 이름만 반환합니다. 요청된 문항이 한쪽 모델에 없으면 valid_idx가 해당 쌍을 제거하고, 아래 linking 루프의 !is.na() 조건도 같은 쌍을 건너뜁니다. 그 결과 checkIPD = FALSE인 경로에서도 일부 문항만 연결된 모델이 오류 없이 반환될 수 있습니다.

if (checkIPD) 전에 두 교집합을 한 번 계산하고, 모든 요청 이름이 존재하는지 검증한 뒤 두 경로에서 재사용하세요. 누락된 이름이 있으면 stop()으로 보고해야 합니다. 누락 이름을 검증하는 회귀 테스트도 추가하세요.

권장 수정 예시
+newFormColNames <- intersect(
+  colnames(newFormModel@Data$data),
+  colnames(newformXDataK)
+)
+oldFormColNames <- intersect(
+  colnames(oldFormModel@Data$data),
+  colnames(oldformYDataK)
+)
+
+missing_new <- setdiff(as.character(newformCommonItemNames), newFormColNames)
+missing_old <- setdiff(as.character(oldformCommonItemNames), oldFormColNames)
+if (length(missing_new) > 0L || length(missing_old) > 0L) {
+  stop("Common item names are missing from the corresponding model data")
+}

Also applies to: 753-755

🤖 Prompt for AI Agents
Verify each finding against current code. Fix only still-valid issues, skip the
rest with a brief reason, keep changes minimal, and validate.

In `@R/aFIPC.R` around lines 623 - 625, Update the column-name handling around
newFormColNames and oldFormColNames to compute both intersections before the
checkIPD branch, validate that every requested name exists in its corresponding
model, and stop with an input-error message listing missing names. Reuse the
validated intersections in both linking paths so missing question pairs cannot
be silently filtered; add a regression test covering missing requested names.


# ⚡ Bolt: Vectorized match() to avoid dynamic array growth overhead inside a for loop
idxNew <- match(newformCommonItemNames, newFormColNames)
Expand Down Expand Up @@ -749,8 +750,9 @@ autoFIPC <-
}
}

newFormColNames <- colnames(newformXDataK[colnames(newFormModel@Data$data)])
oldFormColNames <- colnames(oldformYDataK[colnames(oldFormModel@Data$data)])
# ⚡ Bolt: Extract column names using intersect() to avoid O(N) dataframe memory copy
newFormColNames <- intersect(colnames(newFormModel@Data$data), colnames(newformXDataK))
oldFormColNames <- intersect(colnames(oldFormModel@Data$data), colnames(oldformYDataK))

# ⚡ Bolt: Cache parameter indices to avoid O(N) linear search inside loop
newScaleParmsItemIdxCache <- split(seq_len(nrow(NewScaleParms)), NewScaleParms$item)
Expand Down
Loading