Kim doing's Ai factory

FAITHFUL EXPLANATIONS OF BLACK-BOX NLP MODELSUSING LLM-GENERATED COUNTERFACTUALS

Kim doing — Sun, 13 Apr 2025 20:13:22 +0900

Introduction

To ensure the safe and trustworthy deployment of NLP models, it is essential to provide explanations that reflect the true reasoning behind a model’s predictions. Traditional explanation methods often rely on correlation rather than causation, which can result in misleading interpretations. This paper proposes two model-agnostic approaches for generating faithful explanations using counterfactual reasoning: (1) counterfactual generation via large language models (LLMs) that modify a specific concept in a text while preserving confounding variables, and (2) a more efficient matching-based approach that learns a causal embedding space using LLM-generated counterfactuals at training time. These methods aim to estimate the causal effect of high-level concepts on model predictions, offering faithful and generalizable insights into black-box models.

Background

NLP models are often black-boxes, making their internal decision-making processes hard to interpret.
Traditional explanation methods (e.g., feature attribution, probing) mostly focus on what is encoded in the model, not what is actually used.
This leads to correlation-based explanations, which may not reflect the true causal reasoning of the model.
Counterfactual explanations—how the output changes when a concept is altered—offer a more causally grounded approach.
However, previous counterfactual generation methods were limited by:
- Simplistic local editing (e.g., word replacement)
- Costly manual annotation
Large Language Models (LLMs) can overcome these limitations by:
- Generating high-quality counterfactuals
- Enabling model-agnostic explanation methods that are both faithful and efficient

Method

1. MODEL EXPLANATION WITH COUNTERFACTUALS

The goal of this method is to explain black-box NLP models by estimating the causal effect of high-level concepts (like "ambiance" or "service") on a model’s prediction.

These equations define the average (CaCE) and individual (ICaCE) causal impact of changing a concept in the data generating process.

The method assumes access to a causal graph (not the full DGP), representing relationships among variables like concepts, text, and prediction.
Since true counterfactuals are not available, the model uses approximated counterfactuals to estimate the causal effect.

These equations show how to estimate causal effects using approximate counterfactuals. ICaCE is the difference between the prediction for the counterfactual and the original input. CaCE is the average of these differences across multiple examples.

To improve robustness, the model employs Top-K counterfactual matching, averaging over the K most similar matched texts

This equation uses Top-K matching , averaging the causal effects over the K most similar counterfactuals. It helps make the explanation more stable and reliable.

This equation uses Top-K matching, averaging the causal effects over the K most similar counterfactuals.
It helps make the explanation more stable and reliable.

2. COUNTERFACTUALS AS AN IDEAL MODEL EXPLANATION

A faithful explanation should reflect how the model actually makes its decisions—not just what it has learned.
Many existing explanation methods focus on what features are encoded, not what features are used in predictions, leading to correlation-based (not causal) explanations.
Counterfactual explanations directly show why a prediction was made by answering:
“What would the model predict if this concept were different?”
The authors introduce a key property:
Order-Faithfulness:
If an explanation method says concept A has more impact than concept B, the actual causal effect of A should be higher than B.
(This ensures the explanation ranks concepts correctly.)
Formal definition of Order-Faithfulness:

This equation formally defines Order-Faithfulness . It means that if an explanation method ranks concept C1C_1C1 as having more impact than C2C_2C2 , then the true causal effect of C1C_1C1 must be greater than that of C2C_2C2 , and vice versa.

Counterfactual-based methods (like the one proposed) satisfy Order-Faithfulness, while many non-causal methods do not.
Therefore, counterfactuals are ideal for faithful explanations, especially in tasks like model comparison, fairness analysis, and debugging.

3.LLM-GENERATED COUNTERFACTUALS

This section introduces the first method for approximating counterfactuals:
->Generating counterfactuals using a Large Language Model (LLM), such as ChatGPT.
Given a causal graph and an intervention (e.g., changing “service” from bad → good), the LLM is prompted to rewrite the input text by modifying only the target concept while keeping other variables fixed.

Original: "Great pizza and vibe, but the waiter was rude."
Counterfactual: "Great pizza and vibe, and the waiter was friendly."

This is achieved by:
- Identifying confounders using the back-door criterion (adjustment set)
- Avoiding changes to mediators and colliders, which could distort the effect,

Figure 1 shows the causal graph used in the CEBaB dataset. It illustrates how four high-level concepts— Food (F) , Service (S) , Ambiance (A) , and Noise (N) — affect both the text (X) and the rating prediction (Y) . The model fff predicts YYY using only the text XXX . This graph helps determine which variables should be changed or held fixed when generating counterfactuals.

For direct causal effect, the prompt asks the LLM to change the target concept but keep confounders and mediators fixed For total causal effect, mediators are allowed to change based on the intervention
To improve precision, the LLM prompt can also include:
- Which concepts to change
- Which concepts to hold constant
- The causal context
Multiple counterfactuals can be generated using Top-K sampling
→ This supports more robust estimation by reducing variability.
Limitation: While effective, LLM-based generation is:
- Slow (autoregressive decoding)
- Costly (requires API calls)
- Potentially restricted by privacy or deployment constraints

4.CAUSAL REPRESENTATION LEARNING FOR MATCHING

This section presents the second method for counterfactual approximation:
Matching, which finds similar real examples instead of generating counterfactuals with an LLM.
The idea is to build a causal embedding space, where:
- Valid counterfactuals and matched examples are close to the input,
- Invalid or irrelevant examples are far apart.
To achieve this, the model uses a learned text encoder ϕ(⋅) (e.g., RoBERTa or Sentence-BERT).
Given an input xt the model searches in a control group (where the concept value is t′)
to find the best match x′

Matching objective

The similarity function s(⋅,⋅) is cosine similarity:

The encoder is trained using contrastive loss that:
- Pulls together true counterfactuals and valid matches,
- Pushes apart misspecified or invalid samples.
Training uses four sets:
- XC: LLM-generated counterfactuals
- XM: valid matches (same confounders)
- X¬CF: counterfactuals from the wrong intervention
- X¬M: mismatched samples (wrong confounders)
After training, inference is very efficient—just a similarity search, no generation.
It’s up to 1000× faster than LLM generation.
To train the encoder ϕ(x), the model uses a contrastive loss,
which makes the representation of a query example closer to positive examples (true counterfactuals or valid matches) and farther from negative ones (misspecified or invalid examples).

Contrastive loss function

Where:

x: query example
X+: positive set (e.g., counterfactuals, valid matches)
X−: negative set (e.g., misspecified counterfactuals or invalid matches)
τ: temperature hyperparameter (controls softmax sharpness)

Final loss

This complete objective encourages:

Similarity with correct CFs and matches
Dissimilarity with incorrect ones
Robustness across varied candidate sets

training precedure

Step 1: Prepare training set with concept annotations
(or predict concept values using a zero-shot LLM if human labels are unavailable)
Step 2: For each example xtx_t, construct the four sets:XCF,XM,X¬CF,X¬M
Step 3: Sample one example from each set and compute the loss in Equation (8)
Step 4: Train the encoder (e.g., RoBERTa or Sentence-BERT) for multiple epochs
Step 5: Select the best checkpoint based on validation loss

EXPERIMENTAL SETUP

-Benchmark Dataset: CEBaB (Causal Estimation-Based Benchmark)

A high-quality benchmark for evaluating causal explanations in NLP.
Based on OpenTable restaurant reviews.
For each original review:
- Human annotators rewrote it with a counterfactual edit (e.g., change “service” from negative → positive).
- Each version received a 5-star sentiment rating and concept-level annotations for:
  - Food (F), Service (S), Ambiance (A), Noise (N)

Total examples:

Train (exclusive): 1,463 (split in half: 731 train / 732 candidate set)

Dev: 1,672

Test: 1,688

-Evaluation Pipeline

For each input example xtx_t, and intervention T:t→t′, the method estimates ICaCE using:
- The approximated counterfactual
- Or, the matched example
This is compared to a ground-truth counterfactual written by humans:
The error is calculated as the distance between:

-Evaluation Metrics (3 types of distance)

1. L2 Distance

2. Cosine Distance

3. Norm Difference (ND)

Final score = average error over 24 interventions (4 concepts × 6 value changes)

-Models Explained

Three fine-tuned models for 5-star sentiment prediction:
- DistilBERT
- BERT
- RoBERTa
Two zero-shot LLMs:
- LLaMA-2 7B
- LLaMA-2 13B

-Explanation Methods Compared

Generative methods:

Zero-shot LLM (ChatGPT)
Few-shot LLM
Fine-tuned T5

Matching methods:

Random Match
Propensity Score Matching
Approx (baseline from CEBaB)
Pretrained RoBERTa & S-BERT matching
Our proposed Causal Representation Matching

RESULTS

Table 1

LLM-generated counterfactuals = SOTA explainers
- Fine-tuned T5 shows best results among generative methods
- Few-shot > Zero-shot
- But LLM generation is slow & expensive at inference
Our causal matching model outperforms all other matching methods
- Performs better than Approx (CEBaB baseline) and pretrained matching with RoBERTa/S-BERT
- When using ground-truth CFs in the candidate set, our causal model even beats generative methods (see first row in Table 1)
Top-K matching universally improves all methods
- K = 10 significantly reduces error compared to K = 1
- Performance gains apply to both matching and generative approaches

DISCUSSION

Faithful explanations require causality
→ Truly understanding why a model makes a decision requires causal reasoning, not just correlational patterns.
LLMs are powerful for counterfactual generation
→ LLMs (e.g., ChatGPT, GPT-4) generate high-quality counterfactuals that outperform other explanation methods.
But LLMs are inefficient for inference
→ They are slow, costly, and sometimes infeasible for real-time or privacy-sensitive applications.
Matching offers a fast, scalable alternative
→ Matching with learned causal representations allows fast, model-agnostic, and still faithful explanations.
Top-K matching consistently improves all methods
→ Using multiple matched counterfactuals increases robustness and lowers variance in causal effect estimates.
Future benchmarks can be built using LLMs
→ Instead of manually collecting counterfactuals, GPT-4 can be used to generate realistic and diverse counterfactual benchmarks .

CONCLUSION

The paper introduces a framework for faithful, model-agnostic explanations based on counterfactual reasoning.
Two methods are proposed:
1. LLM-based counterfactual generation: highly effective, but costly at inference time.
2. Matching using causal representations: efficient and scalable, while maintaining faithfulness.
A new theoretical property is proposed: Order-Faithfulness,
which ensures explanation rankings reflect actual causal impact.
Experiments show that:
- LLM-generated counterfactuals are state-of-the-art explainers.
- Matching methods trained on causal objectives closely rival LLMs and are 1000× faster at inference.
- Top-K counterfactuals improve performance across the board.
GPT-4 can be used not only for explanations, but also to automatically generate benchmark datasets, enabling new standards for explainability research.

OWN REVIEW

This paper presents a highly valuable contribution to the explainability field by combining strong theoretical grounding with practical applicability. It balances two worlds: LLM-powered explanations that achieve state-of-the-art performance, and matching-based methods that offer scalability. The introduction of the “Order-Faithfulness” principle is not only elegant but actionable—it sets a new standard for what it means to be “faithful” in explanation. While LLM-based generation is powerful, its cost still limits adoption. The matching approach, on the other hand, is both fast and interpretable. This work will likely influence future research in interpretable AI, counterfactual reasoning, and benchmark creation.

REFERENCES

1.Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals

Main paper. Proposes model-agnostic causal explanations using counterfactuals generated via LLMs and learned matching.
https://arxiv.org/abs/2310.00603

Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals

Causal explanations of the predictions of NLP systems are essential to ensure safety and establish trust. Yet, existing methods often fall short of explaining model predictions effectively or efficiently and are often model-specific. In this paper, we addr

arxiv.org

2.CEBaB: Estimating the Causal Effects of Real-world Concepts on NLP Model Behavior

Introduces the CEBaB dataset, which is used as the benchmark in this paper for causal evaluation.
https://papers.nips.cc/paper_files/paper/2022/hash/701ec28790b29a5bc33832b7bdc4c3b6-Abstract-Conference.html

3.Causality: Models, Reasoning and Inference

The foundational work on causal inference, including the do-calculus and causal graphs used throughout this paper.
Pearl, Cambridge University Press.

4.Learning the Difference That Makes a Difference with Counterfactually-Augmented Data

Demonstrates how counterfactual examples improve model robustness and fairness. A key precedent for counterfactual data generation.
https://arxiv.org/abs/1909.12434

[Cloud Server] HDFS (Hadoop Distributed File System)

Kim doing — Thu, 27 Mar 2025 11:38:55 +0900

HDFS (Hadoop Distributed File System)?

- 대용량 데이터를 여러 컴퓨터에 분산해서 저장하고 관리하는 파일 시스템

특징

- 분산 저장(Distributed Storage)

: 데이터를 여러 개의 서버(노드)에 나누어 저장함으로써 대규모 데이터 저장이 가능, 데이터 처리 속도 향상

- 고장 허용(Fault Tolerance)

: 데이터의 복제(replication)를 통해 노드 장애가 발생하더라도 데이터 손실을 방지해. 일반적으로 데이터를 여러 노드에 복제해서 저장하기 때문에, 하나의 노드가 고장 나도 다른 노드에서 데이터를 읽을 수 있음.

- 데이터 지역성(Data Locality)

: 데이터를 처리하는 애플리케이션이 가능한 한 저장된 데이터 근처(같은 노드 또는 근처 노드)에서 실행되도록 설계해서 데이터 이동을 최소화해 성능을 높이는 방식임.

- 확장성( Scalability)

: 새로운 노드를 추가하거나 제거하는 방식으로 쉽게 시스템의 용량과 성능을 확장할 수 있음.

fig1. HDFS 전체 아키텍처 구조

HDFS 아키텍처 구성요소

- Client

: 사용자의 요청을 보내는 주체. 파일을 읽거나 쓰기 위해 HDFS에 접근함.

- NameNode

: HDFS의 중심 뇌. 파일의 메타데이터(어디에 저장이 되어 있는지, 어떠한 블록으로 나누어져 있는지 등)를 관리, 직접 데이터를 저장하지 않음.

- Secondary NameNode

: 흔히 오해되지만 백업 서버는 아님. NameNode 의 로그를 병합해 주는 역할을 수행하며 , 장애 복구 시 중요한 역할.

- DataNodes

: 실제 데이터 블록이 저장되는 노드들임. 클러스터 안에 여러 개 존재, 데이터는 이들 사이에 나뉘어 저장됨.

- Cluster Membership

: 클러스터에 어떤 노드가 참여 중인지, 정상적으로 작동하고 있는지를 관리하는 기능.

데이터의 흐름(fig1 참조)

1. Client가 파일 이름으로 데이터를 요청

2. NameNode가 해당 파일이 저장된 블록의 위치정보를 반환

3.Client는 실제 데이터를 DataNode에서 직접 읽음

fig2. HDFS 내부 데이터 이동

HDFS 데이터의 핵심 흐림(fig2참조)

- Client => NameNode

: 사용자가 파일을 읽거나 쓸 때, 우선 NameNode에 메타 데이터 요청을 보냄

- 쓰기(Write)

: NameNode가 어떤 DataNode에 데이터를 저장할지 정해줌. 이때 데이터는 여러 노드에 복제되며 보통 3개의 복제본이 생성됨.

- 복제 흐름

: 데이터를 쓰는 클라이언트는 첫 번째 DataNode에 데이터를 전송하고 그 DataNode는 또 다른 노드로 데이터를 전달함. 이 과정을 통해 데이터는 체인처럼 여러 곳에 자동 복제 됨.

- 읽기(Read)

: 사용자는 NameNode로부터 블록위치를 전달받고 , 가장 가까운 DataNode에서 직접 데이터를 읽음

※ Rack Awareness

:fig2에서는 Rack 1, Rack 2로 구성되어 있음. 이는 HDFS가 서버들이 어떤 랙(물리적 위치 그룹)에 있는지 알고 데이터를 분산시킨다는 뜻임. 이로써 장애가 발생하더라고 다른 랙에서 데이터를 복구할 수 있어 내결함성을 확보함.

HDFS 활용 분야

- 빅데이터 처리(Hadoop, Spark 등과 함께 사용)

- 대규모 로그 분석

- 데이터 웨어하루징 및 데이터 분석 플랫폼 등

==> HDFS는 빅데이터를 효율적으로 처리하고 관리하기 위한 핵심 기반 시스템

[study] Thompson Sampling

Kim doing — Tue, 25 Mar 2025 16:29:16 +0900

의사결정의 딜레마: 탐색과 활용의 균형

- 요즘 시대의 급변하는 환경 속 , 기업과 연구자들은 데이터 기반 의사결정을 통해 최적의 선택을 내리기 위해 고군분투 하고 있습니다. 특히 여러 옵션 중 하나를 선택할 때 발생하는 탐색(Exploration) 과 활용(Exploitation) 사이의 균형문제는 매우 중요한 과제로 대두됨

[Ex]

활용의 숫자가 늘어나면 탐색의 숫자가 줄어들고 활용의 숫자가 줄어들면 탐색의 숫자가 늘어남

- 어떠한 예로 온라인 광고 캠페인을 진행한다고 할 때, 이미 검증된 광고에 계속 투자하는 '활용' 전략은 안정적인 결과를 보장하지만, 동시에 새로운 광고 형식이나 창의적인 아이디어를 시도라는 '탐색'의 기회를 놓칠 위험이 있음, 반대로 , 모든 자원을 새로운 시도에만 투자하면 과거의 성공 사례에서 얻을 수 있는 안정적인 이익을 포기할 수밖에 없습니다.

이처럼, 단순히 과거의 성과만을 따르거나 모든 가능성을 무작정 시도하는 방식은 장기적인 성공을 보장하지 않습니다. 적절한 균형을 유지하는 것이 핵심이며, 이를 통해 리소스의 효율적 배분과 함께 잠재적인 성장 기회를 극대화할 수 있습니다.

이러한 딜레마를 해결하기 위해 제안된 접근법 중 하나가 바로 톰슨 샘플링 입니다.

Thonpson Sampling

톰슨 샘플링 이란?

- 톰슨 샘플링은 탐색과 활용 문제를 효과적으로 해결하기 위한 확률론적 접근법입니다. 이 알고리즘은 각 옵션의 성공 확률을 베이지안 업데이트 방식으로 추정하며, 이를 바탕으로 매 순간 최적의 선택을 합니다.

사전지식

- 베이지안 확률(Bayesian Probability)

: 베이지안 확률은 사전확률(prior)을 기반으로, 새로운 데이터를 관측할 때마다 이를 업데이트 하여 사후 확률(posterior)을 도출하는 접근 방식 입니다.

이 과정을 통해, 불확실한 상황에서도 점진적으로 확신을 높여갈 수 있습니다.

출처:https://bioinformaticsandme.tistory.com/47

- 확률 분포 및 베타 분포

: 확률 분포는 어떤 사건이 발생할 가능성을 수치적으로 표현하는 도구임, 이론적으로 여러 형태가 있지만 톰슨 샘플링에서는 선택지의 성공률을 나타내는데 사용됩니다.

베타 분포는

이진 성공/실패 문제에서 많이 두 매개변수 α와 β에 따라 [0,1] 구간에서 정의되는 연속 확률 분포들의 가족임, 특히 이진 문제에 많이 사용되는데 0과1 사이의 값을 가지며, 다양한 모양을 통해 불확실성을 효과적으로 표현할 수 있습니다.

베타 분포의 여러 형태

-멀티암드 밴딧 문제 (Multi-Armed Bandit Problem)

: 멀티암드 밴딧 문제는 여러 개의 슬롯 머신(또는 선택지) 중에서 최대의 보상을 주는 옵션을 찾는 문제로, 탐색(새로운 옵션 시도)과 활용(현재 최고 옵션 활용) 사이의 균형이 핵심입니다.

톰슨 샘플링의 주요 개념 및 작동 원리

-톰슨 샘플링은 베이지안 접근 방식을 활용하여 탐색과 활요문제를 해결하는 알고리즘입니다. 여기서는 그 작동 원리를 단계별로 살펴 보겠습니다.

1.베이지안 확률 모델 업데이트

Beta(1,1)은 균등한 초기 상태를, Beta(5,1)은 성공 데이터를 반영해 오른쪽으로 치우친 분포를, 그리고 Beta(1,5)는 실패 데이터를 반영해 왼쪽으로 치우친 분포를 보여줍니다.

-사전 확률 설정(prior): 알고리즘은 각 선택지에 대해 초기에 사전 확률 분포를 할당합니다. 예를 들어, 이진 성공/실패 문제에서는 베타 분포를 많이 사용합니다.

-데이터 관측 및 업데이트: 각 선택지를 시도한 후, 성공 혹은 실패와 같은 결과가 관측됩니다 . 이 데이터를 바탕으로 베이지안 업데이트가 진행되어, 각 선택지의 사후 확률(posterior)이 재계산됩니다.

2. 확률 분포 샘플링

-무작위 샘플링: 업데이트된 사후 확률 분포에서 무작위로 샘플링을 진행합니다. 이때, 각 옵션으로부터 하나씩 샘플을 뽑아, 가장 높은 값을 가진 옵션을 선택합니다.

==> 단순히 평균값이나 최빈값만 보는 것이 아니라, 분포 전체의 모양과 불확실 성을 함께 반영합니다.

3. 동적 의사결정 및 균형 유지

-탐색과 활용의 균형: 톰슨 샘플링은 불확실성이 큰 옵션에서도 무작위 샘플링을 통해 선택될 가능성을 남겨두므로, 새로운 옵션을 탐색할 여지를 제공합니다. 동시에, 지금까지의 데이터가 풍부한 옵션은 더 높은 확률로 선택되어 활용됩니다.

-환경 변화에 대한 적응: 데이터가 계속 업데이트됨에 따라, 알고리즘은 환경의 변화에 유연하게 반응할 수 있습니다. 초기에는 탐색을 많이 하다가, 데이터가 축적됨에 따라 점차 활용에 초점을 맞추게 됩니다.

정리

- 이러한 과정을 통해 톰슨 샘플링은 단순한 탐욕적 선택 방법보다 더 정교하게 의사 결정을 수행합니다. 베이지안 업데이트와 확률 분포 샘플링을 결합함으로써, 불확실성을 자연스럽게 반영하며 최적의 선택을 내릴 수 있게 됩니다.

[Study] Greedy algorithm

Kim doing — Tue, 16 Jul 2024 16:27:52 +0900

● Greedy Algorithm이란?

선택 순간마다 당장 눈앞에 보이는 최적의 상황만을 쫓아 최종 해답에 도달하는 알고리즘입니다.
각 단계마다 최적의 선택을 하지만, 이러한 선택이 최종 해답이 최적임을 보장하지는 않습니다.
특정 단계(그 지역 및 범위)에서는 최적의 선택을 하지만, 전체적으로 최적의 해답을 보장하지 않을 수 있습니다.

● 문제 해결 방법

선택 절차 (Selection Procedure): 현재 상태에서 최적의 해를 선택합니다.
적절성 검사 (Feasibility Check): 선택한 해가 문제의 조건을 만족하는지 검사합니다.
해답 검사 (Solution Check): 선택한 해가 전체 문제를 해결하는지 검사합니다. 만약 해결하지 못할 경우 다시 선택 절차로 돌아갑니다.

● 성립 조건

탐욕적 선택 속성 (Greedy Choice Property): 각 단계에서의 선택이 이후 선택에 영향을 미치지 않고 독립적으로 이루어집니다.
최적 부분구조 (Optimal Substructure): 문제에 대한 최종 해결 방안이 부분 문제들의 최적 해결 방안으로 구성될 수 있습니다.

탐욕적 선택 속성은 각 단계에서 최적의 선택을 하는 것이 이후 단계의 최적 선택에 영향을 미치지 않음을 의미합니다. 이 속성이 있어야 탐욕 알고리즘이 작동할 수 있습니다.

최적 부분구조는 문제가 부분 문제로 나누어질 수 있고, 각 부분 문제의 최적 해가 전체 문제의 최적 해를 구성할 수 있는 성질을 말합니다. 이 속성이 있어야 탐욕 알고리즘이 전체 문제의 최적 해를 구성할 수 있습니다.

● 추가 설명

탐욕 알고리즘은 항상 최적의 결과를 도출하지 않을 수 있지만, 최적에 근사한 값을 빠르게 도출하는 장점이 있습니다. 이러한 이유로 탐욕 알고리즘은 근사 알고리즘으로 사용될 수 있습니다.
탐욕 알고리즘을 적용해도 언제나 최적해를 구할 수 있는 매트로이드(matroid) 구조가 있습니다. 이러한 문제에 대해 탐욕 알고리즘을 사용하면 빠른 계산 속도로 답을 구할 수 있습니다.

탐욕 알고리즘은 때때로 최적해가 아닌 근사해를 제공하는 경우가 있습니다. 이는 문제의 성질에 따라 다르며, 특히 매트로이드 구조와 같은 특수한 경우에 탐욕 알고리즘은 최적해를 보장합니다.

※매트로이드: 그리디 알고리즘으로 최적해가 보장되는 공간 구조

※근사 알고리즘:최적해를 구하는 것이 어려운 문제에서 최적해에 가까운 해를 빠르게 구하는 알고리즘으로, 근사 비율을 통해 성능을 평가